1. 网页抓取基础从零开始获取HTML刚开始接触网页抓取时很多人会被各种专业术语吓到。其实说白了网页抓取就是让程序代替我们手动复制粘贴网页内容。想象一下你要收集某高校过去10年的招生数据手动操作需要打开几十个网页一个个复制表格不仅耗时还容易出错。而用Python写个爬虫脚本喝杯咖啡的功夫就能搞定所有数据。我常用的工具是Python的requests库比urllib更简单直观。比如要获取招生信息网的页面只需要几行代码import requests url https://www.example-university.edu.cn/admission/scores response requests.get(url) with open(admission.html, w, encodingutf-8) as f: f.write(response.text)这里有个新手常踩的坑字符编码。很多中文网站用GB2312或GBK编码如果直接用utf-8保存会出现乱码。我建议先用chardet检测编码import chardet encoding chardet.detect(response.content)[encoding] html response.content.decode(encoding)实际项目中你可能会遇到反爬机制。最简单的应对方法是设置请求头让爬虫看起来像普通浏览器访问headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64), Accept-Language: zh-CN,zh;q0.9 } response requests.get(url, headersheaders)2. 精准定位目标数据解析HTML的三种武器拿到HTML只是第一步就像得到了一本厚厚的书我们需要快速找到关键章节。HTML解析我主要用三种方法各有适用场景。BeautifulSoup是我的首选它的语法最接近人类思维。比如要提取所有表格数据from bs4 import BeautifulSoup soup BeautifulSoup(html, lxml) tables soup.find_all(table) for table in tables: rows table.find_all(tr) for row in rows: cells [cell.get_text(stripTrue) for cell in row.find_all(td)] print(cells)XPath适合处理复杂的嵌套结构像XML文档或动态生成的页面。用lxml库执行XPath查询from lxml import etree tree etree.HTML(html) # 获取所有包含分数线文本的表格 tables tree.xpath(//table[contains(., 分数线)])正则表达式虽然强大但容易出错我一般只在提取简单模式时使用比如抓取特定格式的URLimport re url_pattern re.compile(rhref(/admission/\d{4})) year_links url_pattern.findall(html)实际项目中我建议先用浏览器开发者工具F12检查目标元素的CSS选择器或XPath。Chrome的Copy selector功能能直接生成查询语句省去手动编写的麻烦。3. 处理动态内容当静态抓取失效时现代网站越来越多地使用JavaScript动态加载内容这时候传统的requestsBeautifulSoup组合就失效了。我遇到过最极端的情况是目标网站的所有数据都通过API异步加载HTML里只有个空壳。Selenium是解决这类问题的利器。它能模拟真实浏览器行为等JavaScript执行完再获取最终HTMLfrom selenium import webdriver driver webdriver.Chrome() driver.get(url) # 等待表格加载完成 table driver.find_element_by_css_selector(.score-table) html driver.page_source driver.quit()不过Selenium速度慢且占用资源多。对于纯API请求的网站更高效的方法是直接调用背后的接口。用Chrome开发者工具的Network面板观察XHR请求api_url https://api.example.edu.cn/admission/scores params {year: 2023, province: 北京} response requests.get(api_url, paramsparams) data response.json()最近我在处理一个教育类网站时发现他们的API虽然没加密但用了时间戳签名。解决方法是在请求头中加入服务器预期的时间格式import time timestamp int(time.time() * 1000) headers {X-Timestamp: str(timestamp)}4. 数据清洗与结构化从原始文本到分析就绪数据抓取到的原始数据往往杂乱无章需要经过多步清洗才能使用。我常用的pandas库提供了强大的数据处理能力。假设我们抓取到了这样的录取分数线表格省份 文科最低分 理科最低分 北京 620 650 上海 635 645 ...首先转换为DataFrameimport pandas as pd df pd.read_html(admission.html)[0] # 读取第一个表格常见的数据问题包括缺失值显示为-或暂无不一致的格式如650分和650混用错误的分类型数据如把内蒙古写成内蒙我的清洗流程一般是统一文本格式df[文科最低分] df[文科最低分].str.replace(分, )处理特殊值df df.replace([暂无, -], None)类型转换df[理科最低分] pd.to_numeric(df[理科最低分], errorscoerce)标准化分类数据df[省份] df[省份].str.replace(内蒙, 内蒙古)对于时间序列数据如历年分数线我会增加时间维度df[年份] 2023 # 从URL或文件名中提取实际年份 df[采集日期] pd.Timestamp.now()最终存储时我偏好用Parquet格式它比CSV更节省空间且保留类型信息df.to_parquet(admission_scores_2023.parquet)5. 反爬策略应对实战经验分享做爬虫开发这些年我遇到过各种反爬手段。有些网站会封禁频繁请求的IP有些会用验证码拦截还有些会故意返回虚假数据。IP轮换是最基础的应对方案。我通常使用免费的代理IP池配合随机延时import random import time proxies [ {http: http://proxy1.example.com:8080}, {http: http://proxy2.example.com:8080} ] for url in urls: proxy random.choice(proxies) try: response requests.get(url, proxiesproxy) time.sleep(random.uniform(1, 3)) # 随机等待1-3秒 except: continue对于验证码简单的图片验证码可以用OCR库尝试识别import pytesseract from PIL import Image image Image.open(captcha.png) text pytesseract.image_to_string(image, langeng)更复杂的滑块验证码就需要借助第三方打码平台了。不过要注意自动化绕过验证码可能涉及法律风险商业项目务必谨慎。最近遇到的一个高级反爬手段是行为指纹识别。网站会检测鼠标移动轨迹、点击间隔等特征。应对方法是使用Selenium的ActionChains模拟人类操作from selenium.webdriver.common.action_chains import ActionChains element driver.find_element_by_css_selector(.next-page) ActionChains(driver).move_to_element(element).pause(1).click().perform()6. 爬虫项目管理与长期维护写爬虫脚本不难难的是长期稳定运行。我维护的一个高校数据采集系统已经连续运行3年期间目标网站改版了5次。以下是几点经验之谈1. 配置与代码分离把URL、选择器、请求头等易变参数放在配置文件中# config.yaml targets: - name: 招生分数线 url: https://www.example.edu.cn/admission selectors: table: .score-table rows: tr headers: User-Agent: Mozilla/5.02. 完善的日志系统记录每次运行的详细情况方便排查问题import logging logging.basicConfig( filenamescraper.log, levellogging.INFO, format%(asctime)s - %(levelname)s - %(message)s ) try: response requests.get(url) except Exception as e: logging.error(f请求失败: {url}, 错误: {str(e)})3. 自动化监控设置异常检测当数据异常或爬虫失败时自动通知if len(df) 30: # 正常情况下应有31个省份数据 send_alert_email(数据量异常减少)4. 增量采集策略对于定期更新的数据只采集新增部分last_record db.get_latest_record() new_data [d for d in data if d[date] last_record[date]]7. 法律与道德边界注意事项技术是把双刃剑爬虫用得不当可能惹上麻烦。这些年我总结了几条红线绝对不能碰尊重robots.txt如果网站在robots.txt中明确禁止爬取某些路径务必遵守控制请求频率间隔至少1秒以上避免对目标服务器造成负担不爬取个人隐私数据如学生姓名、身份证号等敏感信息遵守网站条款有些网站的使用条款明确禁止自动化采集有个真实案例某公司爬取公开招聘网站数据后用于商业分析虽然数据本身是公开的但因违反网站使用条款被起诉。最终法院判决赔偿经济损失。商业项目中使用爬虫数据前我建议做三个检查数据来源是否允许爬取数据使用是否符合原始目的是否涉及第三方权益对于重要的项目最好咨询专业律师。我现在的做法是对任何不确定的情况宁可放弃数据也不冒险。