写爬虫写了这么多年最大的感受就是现在写个爬虫比写业务代码还难。以前改个User-Agent就能跑通的时代一去不复返了现在随便一个稍微有点流量的网站都给你整上全套反爬JS加密、指纹检测、行为分析、滑块验证、IP封禁…一套组合拳下来能把你整得怀疑人生。很多人遇到反爬第一反应就是去搜某某网站怎么爬然后抄一堆别人的代码改改参数就跑。结果没过两天网站一更新代码又挂了。然后又开始新一轮的搜素、复制、粘贴…陷入无限循环。其实问题的根源在于大多数人都是站在爬虫开发者的角度去思考反反爬而没有真正站在网站防御者的角度去理解他们为什么要这么做他们的底层逻辑是什么。如果你能搞懂网站防御的思路你就会发现很多反爬措施其实都是纸老虎反反爬也不是什么玄学。网站防御的三层核心架构先给大家看一张我画的网站反爬防御体系架构图这是我这么多年和各种反爬斗智斗勇总结出来的基本上所有网站的反爬都是围绕这三层来做的。是否是否是否用户请求接入层防御是否拦截?返回错误页面/验证码应用层防御是否异常?触发风控策略业务层防御是否违规?账号封禁/数据脱敏返回正常数据IP黑白名单请求频率限制基础协议校验设备指纹检测JS环境检测请求签名验证行为轨迹分析账号权限控制数据访问限制内容混淆加密看懂这张图你就看懂了90%的反爬。所有的反爬措施本质上都是在这三层中的某一层或者某几层做文章。反反爬的核心就是找到每一层防御的薄弱点然后针对性地突破。很多人觉得反爬很复杂是因为他们把所有的反爬措施都混在一起看了。其实只要你把它们拆解到这三层里就会发现每一层的防御逻辑都很清晰对应的突破方法也很明确。接入层防御最基础也是最容易被误解的一层接入层是网站防御的第一道大门也是大多数爬虫最先遇到的反爬。很多人一上来就被IP封禁搞怕了觉得这是最难搞的反爬。但实际上接入层防御是所有防御中成本最低、效果最差、也是最容易突破的一层。接入层防御的核心逻辑非常简单通过请求的网络特征来区分正常用户和爬虫。它能看到的只有你的IP地址、请求频率、请求头信息这些最基础的东西。它根本不知道你是用浏览器访问的还是用Python写的脚本访问的。所以接入层的所有反爬措施本质上都是基于一个假设正常用户的请求频率不会太高请求头是标准的浏览器请求头同一个IP不会在短时间内发起大量请求。这个假设在十年前可能还成立但在今天这个假设已经千疮百孔了。先说说IP封禁。很多网站会封禁短时间内请求量过大的IP。于是很多人就去买代理IP什么短效代理、长效代理、隧道代理…各种代理买了一大堆结果发现还是被封。为什么因为你用的代理IP别人也在用。那些公开的免费代理IP早就被无数爬虫爬烂了网站的IP黑名单里早就有了。其实IP封禁的底层逻辑是基于IP的请求频率阈值。只要你的IP在单位时间内的请求量超过了这个阈值就会被封禁。这个阈值不是固定的不同的网站、不同的时间段、不同的页面阈值都不一样。所以突破IP封禁最有效的方法不是买更多的代理IP而是精准控制请求频率。我见过很多人写爬虫一上来就开100个线程疯狂请求结果不到一分钟IP就被封了。然后就开始骂网站反爬太严其实这根本不是反爬严是你自己太蠢了。正常用户浏览一个页面至少需要几秒钟的时间。你一秒钟请求十几个页面傻子都知道你是爬虫。所以把请求频率控制在合理范围内比你买100个代理IP都管用。再说说请求头校验。很多人写爬虫只会改个User-Agent然后就觉得万事大吉了。结果一跑就被封。然后就开始纳闷我明明改了User-Agent啊为什么还能检测到我是爬虫因为请求头里不只有User-Agent。还有Accept、Accept-Language、Accept-Encoding、Referer、Cookie等等一大堆字段。这些字段的顺序、值的格式不同的浏览器都是不一样的。举个最简单的例子Chrome浏览器的Accept字段是text/html,application/xhtmlxml,application/xml;q0.9,image/avif,image/webp,image/apng,*/*;q0.8,application/signed-exchange;vb3;q0.9而Python requests库默认的Accept字段是*/*。你觉得网站的反爬系统会分不清这两个的区别吗更狠一点的网站还会校验请求头字段的顺序。比如Chrome浏览器的请求头字段顺序是Host、Connection、Cache-Control、Upgrade-Insecure-Requests、User-Agent、Accept、Accept-Encoding、Accept-Language、Cookie而requests库默认的请求头字段顺序是User-Agent、Accept-Encoding、Accept、Connection、Host、Cookie。只要顺序不对直接判定为爬虫。所以突破请求头校验的正确方法不是只改User-Agent而是完整复制浏览器的所有请求头包括字段顺序。最简单的方法就是在浏览器的开发者工具里把请求头直接复制下来然后原封不动地用到你的爬虫里。应用层防御真正的战场也是反爬技术的核心如果说接入层防御只是开胃菜那么应用层防御就是真正的主菜了。现在绝大多数网站的反爬核心都在应用层。这也是反爬技术发展最快、最卷的地方。应用层防御的核心逻辑是通过客户端的环境特征和行为特征来区分正常用户和爬虫。它不再只看你的请求是什么样的而是看你是谁你在做什么。这就是为什么很多人用了代理改了请求头还是被检测到的原因。因为你的客户端环境和行为特征已经暴露了你是爬虫的身份。应用层防御主要分为四个部分设备指纹检测、JS环境检测、请求签名验证、行为轨迹分析。我们一个一个来说。设备指纹检测给你的电脑发一张身份证设备指纹是现在最主流、也是最有效的反爬技术之一。它的原理是通过收集你浏览器和设备的各种特征信息生成一个唯一的标识符也就是设备指纹。这些特征信息包括但不限于浏览器的User-Agent、语言、时区屏幕分辨率、颜色深度系统字体列表插件列表Canvas指纹WebGL指纹AudioContext指纹WebRTC指纹硬件加速信息电池信息传感器信息把这些信息组合起来就可以生成一个几乎唯一的设备指纹。即使你换了IP清了Cookie只要你的设备指纹不变网站还是能认出你。很多人觉得设备指纹很神秘其实它的原理非常简单。就是在你的浏览器里运行一段JS代码收集上面这些信息然后发送给服务器。服务器根据这些信息计算出一个指纹值和数据库里的指纹进行比对。如果你的指纹在数据库里被标记为爬虫那么不管你怎么换IP怎么改请求头都会被拦截。那么怎么突破设备指纹检测呢最笨的方法是模拟所有的指纹信息。但这几乎是不可能的因为指纹信息太多了而且每个网站收集的指纹信息都不一样。你永远不知道网站到底收集了哪些信息用了哪些算法来生成指纹。最有效的方法是使用真实的浏览器环境。既然设备指纹是基于浏览器环境生成的那我就用真实的浏览器来跑爬虫这样生成的指纹就是真实的用户指纹网站根本无法区分。这就是为什么现在Selenium、Playwright、Puppeteer这些自动化工具这么流行的原因。它们可以控制真实的浏览器生成和正常用户完全一样的设备指纹。当然网站也不是傻子。它们也在想办法检测这些自动化工具。这就引出了我们下一个话题JS环境检测。JS环境检测识别自动化工具的照妖镜JS环境检测的核心逻辑是自动化工具的浏览器环境和真实用户的浏览器环境是有区别的。只要找到这些区别就能识别出自动化工具。比如Selenium它会在浏览器中注入一些特殊的变量和函数。最经典的就是window.navigator.webdriver这个变量。在正常的浏览器中这个变量的值是undefined而在Selenium控制的浏览器中这个变量的值是true。早期的Selenium反爬只要检测到这个变量为true就直接判定为爬虫。后来大家都知道了这个漏洞就开始在JS中把这个变量改成undefined。于是网站又开始找其他的区别。比如window.chrome对象的属性document.documentElement.getAttribute(webdriver)navigator.plugins的长度navigator.languages的长度performance.timing的各种时间差鼠标事件的坐标精度键盘事件的时间间隔这些区别非常多而且一直在更新。今天你改了这个变量明天网站又会检测另一个变量。这就是为什么很多人觉得Selenium反爬很难搞的原因。那么怎么突破JS环境检测呢最好的方法是使用已经做好了反检测的自动化工具。比如undetected-chromedriver它专门针对Selenium的各种检测点做了修复可以绕过绝大多数网站的JS环境检测。还有Playwright它本身就比Selenium更难被检测到因为它是直接和浏览器的CDP协议通信而不是通过webdriver。而且Playwright也有很多反检测的插件比如playwright-stealth。当然最根本的方法还是自己去分析网站的检测代码。找到网站到底检测了哪些变量和函数然后针对性地去修改。这需要一定的JS逆向能力但一旦掌握了你就再也不怕任何JS环境检测了。请求签名验证让你的请求无法被伪造请求签名验证是现在很多大型网站都在使用的反爬技术。它的原理是客户端在发送请求之前会把请求的参数、时间戳、随机数等信息通过一个加密算法生成一个签名值然后把这个签名值一起发送给服务器。服务器收到请求后会用同样的算法和参数重新计算一遍签名值然后和客户端发送过来的签名值进行比对。如果不一致就直接拒绝请求。这个反爬技术的厉害之处在于它把反爬的逻辑从服务器端转移到了客户端。只要你不知道客户端的加密算法和密钥你就无法伪造合法的请求。这就是为什么很多人抓包抓到了请求参数但是自己构造请求却总是失败的原因。因为你少了那个签名值或者你的签名值计算错了。突破请求签名验证的唯一方法就是逆向分析客户端的JS代码找到签名算法然后用Python或者其他语言重新实现一遍。这听起来很难但实际上并没有你想象的那么难。大多数网站的签名算法都不是自己写的而是用的标准的加密算法比如MD5、SHA1、HMAC、AES等等。只是在标准算法的基础上做了一些小小的修改。逆向分析的关键是找到签名算法的入口点。通常可以通过搜索签名参数的名字来找到。比如签名参数叫sign你就可以在JS代码中搜索sign:或者sign很快就能找到签名算法的位置。找到算法之后剩下的就是把JS代码翻译成Python代码。这需要一定的JS和Python基础但只要多练几次你就会发现其实都是套路。行为轨迹分析最难突破的反爬技术行为轨迹分析是现在最高级、也是最难突破的反爬技术。它的核心逻辑是正常用户的行为是有规律的而爬虫的行为是机械的、没有规律的。网站会收集你在页面上的所有行为数据比如鼠标的移动轨迹点击的位置和时间间隔滚动页面的速度和距离键盘输入的速度和间隔在每个页面停留的时间页面的访问顺序然后通过机器学习算法对这些行为数据进行分析建立正常用户的行为模型。如果你的行为和正常用户的行为模型偏差太大就会被判定为爬虫。比如正常用户点击一个按钮鼠标会从当前位置移动到按钮位置这个移动过程是有轨迹的而且速度是不均匀的。而爬虫点击按钮通常是直接点击按钮的坐标没有移动过程或者移动过程是匀速的直线。再比如正常用户输入一个用户名会一个字符一个字符地输入而且每个字符之间的时间间隔是不一样的。而爬虫输入用户名通常是一次性把整个字符串粘贴进去或者每个字符之间的时间间隔是固定的。这些细微的差别人眼可能看不出来但机器学习算法一眼就能看出来。突破行为轨迹分析的方法就是尽可能地模拟正常用户的行为。比如模拟鼠标移动的时候不要用匀速直线运动而是用贝塞尔曲线来模拟真实的鼠标移动轨迹。模拟点击的时候在点击之前先移动鼠标到按钮附近然后再点击。模拟输入的时候每个字符之间的时间间隔随机化不要固定。还有不要总是按照固定的顺序访问页面不要总是在固定的时间间隔发送请求。要加入一些随机的等待时间偶尔返回上一页偶尔点击一些无关的链接让你的行为看起来更像一个真实的人。当然这只是基础。对于一些非常严格的网站仅仅模拟这些还不够。你还需要建立自己的行为模型通过大量的正常用户行为数据训练出一个和真实用户几乎一样的行为模型。这需要非常深厚的机器学习功底也是现在反反爬领域的前沿方向。业务层防御最后的防线也是最容易被忽视的一层很多人觉得突破了应用层防御就万事大吉了。其实不然。很多网站还有最后一道防线业务层防御。业务层防御的核心逻辑是即使你是一个真实的用户你也不能做违反业务规则的事情。比如一个正常用户一天最多只能查看100条商品详情而你一天查看了1000条即使你的设备指纹是真实的你的行为也是正常的网站还是会限制你的访问。再比如一个正常用户只能查看自己的订单信息而你试图查看别人的订单信息即使你通过了前面所有的防御网站还是会拒绝你的请求。业务层防御通常和账号系统结合在一起。很多网站会根据你的账号等级、注册时间、历史行为等因素给你分配不同的权限和访问限制。新注册的账号限制会比较多老账号限制会比较少。所以突破业务层防御的方法就是养号。通过模拟正常用户的行为把你的账号养成熟提高账号的权重。这样即使你访问的频率稍微高一点网站也不会限制你。还有不要用同一个账号做太多的事情。最好是多个账号轮换使用每个账号每天的访问量控制在合理范围内。反反爬的优化方向从对抗到共生讲了这么多突破反爬的方法其实我想告诉大家的是反爬和反反爬从来都不是零和博弈。网站做反爬不是为了阻止所有的爬虫而是为了阻止那些恶意的、会影响网站正常运行的爬虫。对于那些友好的、遵守规则的爬虫大多数网站其实是默许的。所以反反爬的最高境界不是和网站硬刚而是和网站达成一种共生关系。具体来说有以下几个优化方向第一控制请求频率不要给服务器造成太大的压力。这是最基本的也是最重要的。如果你把网站爬崩了网站肯定会想尽一切办法来对付你。第二遵守robots.txt协议。虽然robots.txt协议没有法律约束力但它是网站和爬虫之间的一种约定。遵守这个约定会让你看起来更像一个友好的爬虫。第三使用官方提供的API。如果网站提供了官方的API优先使用API来获取数据。API通常比爬取网页更稳定更高效也不会触发反爬。第四缓存数据不要重复爬取相同的内容。对于那些不会经常变化的数据爬取一次之后就缓存起来下次直接从缓存中读取。这样既可以减轻服务器的压力也可以提高你的爬虫效率。第五尊重网站的知识产权。不要把爬取到的数据用于商业用途不要泄露用户的隐私信息。这是一个程序员最基本的职业道德。写在最后反爬和反反爬是一场永无止境的博弈。今天你突破了这个反爬明天网站就会更新那个反爬。没有永远有效的反爬技术也没有永远有效的反反爬技术。但万变不离其宗。只要你能站在网站防御者的角度理解他们的底层逻辑你就能在这场博弈中始终占据主动。记住反反爬不是比谁的技术更厉害而是比谁更了解对方。