Selenium爬虫被识别？5个隐藏WebDriver特征的实用技巧
最近在和一些做数据采集的朋友聊天，发现大家普遍遇到一个头疼的问题：明明用Selenium模拟浏览器操作已经非常“拟人”了，但目标网站还是能精准识别出你是自动化脚本，轻则返回假数据，重则直接封禁IP。这背后的“罪魁祸首”，往往就是那些我们容易忽略的浏览器指纹特征，尤其是window.navigator.webdriver这个标志。对于需要处理JavaScript渲染页面的开发者来说，这几乎成了绕不开的一道坎。这篇文章，我就结合自己踩过的坑和摸索出的经验，分享5个真正能有效隐藏WebDriver特征、提升爬虫“隐身”能力的实战技巧。无论你是刚接触Selenium的新手，还是已经和反爬机制斗智斗勇许久的老兵，相信都能找到一些新的思路。
1. 理解浏览器指纹：你的爬虫为何“裸奔”
在深入技巧之前，我们得先搞清楚对手是谁。为什么一个简单的driver.get()操作，网站就能知道你不是真人？这背后是一套被称为“浏览器指纹”的检测技术。
简单来说，当你用浏览器访问网站时，JavaScript可以获取到大量关于你浏览器环境的信息：用户代理（User Agent）、屏幕分辨率、安装的插件列表、字体、时区、语言设置，甚至显卡的WebGL渲染信息。这些信息组合起来，就像一个人的指纹一样，具有很高的唯一性。而自动化工具如Selenium，在启动浏览器驱动时，会不可避免地留下一些“非人类”的痕迹。
最广为人知的一个标志就是window.navigator.webdriver属性。在普通Chrome中，这个值是undefined或false；但一旦通过Selenium驱动，它就会被设置为true。这几乎成了反爬系统检测自动化脚本的“金标准”。
提示：你可以手动在Selenium打开的浏览器控制台输入
console.log(navigator.webdriver)来验证这一点。看到true，就意味着你已经暴露了。
但这只是冰山一角。更先进的检测会综合多项指标：
| 检测维度 | 正常浏览器典型值 | Selenium默认可能暴露的特征 |
|---|---|---|
| User Agent | 包含完整浏览器版本信息 | 可能包含“HeadlessChrome”或明显的测试框架标识 |
插件列表 (navigator.plugins) | 丰富的插件数组 | length可能为0，或列表异常 |
| 语言与时区 | 跟随系统设置 | 可能与IP地址所在地不匹配 |
| WebDriver属性 | undefined/false | true |
| Chrome运行时特性 | 存在chrome对象，但属性有限 | 可能暴露cdc_等自动化相关对象 |
理解这些，我们才能有的放矢。隐藏WebDriver特征不是简单地改一个属性，而是对整个浏览器环境进行“化妆”，让它看起来像一个普通用户正在使用的、充满个性的浏览器。
2. 基础伪装：启动参数与实验性选项的魔法
最直接、也最容易被忽视的防线，就在Selenium的启动配置里。通过给浏览器驱动添加特定的启动参数（ChromeOptions或EdgeOptions）和实验性选项，我们可以屏蔽掉一大批低级别的检测信号。
首先，禁用自动化控制信息栏是基本操作。那个写着“Chrome正受到自动测试软件控制”的提示栏本身就是一个信号。
from selenium import webdriver from selenium.webdriver.chrome.options import Options chrome_options = Options() # 基础隐身三件套 chrome_options.add_argument('--disable-blink-features=AutomationControlled') chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"]) chrome_options.add_experimental_option('useAutomationExtension', False)--disable-blink-features=AutomationControlled这个参数至关重要，它能阻止浏览器暴露某些自动化特征。而excludeSwitches中的"enable-automation"则是为了移除导航栏上的控制提示。
接下来，我们需要处理用户代理（UA）。虽然直接修改UA字符串已经人尽皆知，但关键在于真实性和一致性。不要随便编一个UA，最好从最新的真实浏览器中获取，并确保其与浏览器版本、平台信息匹配。
# 一个示例：使用一个看起来正常的Windows Chrome UA user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36" chrome_options.add_argument(f'user-agent={user_agent}')此外，还有一些参数可以优化指纹：
--disable-web-security和--disable-site-isolation-trials：谨慎使用，可能影响页面功能，但有时能绕过基于安全上下文的检测。--disable-dev-shm-usage：在容器环境（如Docker）中避免共享内存问题，有时能提升稳定性。--no-sandbox：同样是容器环境常用，但会降低安全性，仅在必要时使用。
仅仅这些还不够。我们还需要通过execute_cdp_cmd（Chrome DevTools Protocol命令）来直接修改核心的navigator对象属性。这是隐藏webdriver标志的关键一步。
driver = webdriver.Chrome(options=chrome_options) # 关键：使用CDP命令覆盖navigator.webdriver属性 driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', { 'source': ''' Object.defineProperty(navigator, 'webdriver', { get: () => undefined }); // 也可以一并修改其他可能暴露的属性，如plugins, languages Object.defineProperty(navigator, 'plugins', { get: () => [1, 2, 3, 4, 5] }); ''' })这段代码会在每个新页面加载任何其他脚本之前，先执行一段JavaScript，将navigator.webdriver重新定义，使其返回undefined。这比在页面加载后尝试修改要有效得多，因为很多检测脚本执行得非常早。
3. 进阶策略：使用第三方插件与无头模式优化
当基础伪装遇到更强大的检测时，我们就需要借助“外挂”了。这里主要介绍两种思路：一是使用专门的反检测插件，二是优化无头（Headless）模式下的行为。
思路一：集成Stealth插件虽然原始资料提到了Puppeteer的puppeteer-extra-plugin-stealth，但Selenium同样可以受益于其思想。我们可以将类似的JS脚本注入到浏览器中。网络上有很多开源社区维护的“stealth.min.js”脚本，它们集成了大量的补丁。
操作步骤是：
- 找到一个可靠的stealth.js脚本（注意安全，审查代码）。
- 将其保存为本地文件，或直接以内联字符串形式使用。
- 在浏览器启动时，通过
addScriptToEvaluateOnNewDocument注入。
# 假设我们已经将stealth.js的内容读取为字符串 `stealth_script` driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', { 'source': stealth_script })这种脚本通常会做更多事情，比如：
- 伪装WebGL Vendor和Renderer。
- 修改屏幕分辨率、颜色深度的报告值。
- 填充合理的插件（Plugin）和MimeType数组。
- 覆盖
Notification.permission、PermissionsAPI等。
思路二：无头模式的深度伪装新版Chrome的无头模式（--headless=new）已经比旧版隐蔽很多，但仍有特征。如果你使用无头模式，需要额外注意：
chrome_options.add_argument('--headless=new') # 使用新的Headless模式 chrome_options.add_argument('--window-size=1920,1080') # 设置一个常见的窗口大小 chrome_options.add_argument('--disable-gpu') # 在某些虚拟化环境中可能需要 # 禁用一些可能暴露无头模式的特性 chrome_options.add_argument('--no-first-run') chrome_options.add_argument('--no-service-autorun') chrome_options.add_argument('--no-default-browser-check')更重要的是，无头模式下，一些行为特征如鼠标移动轨迹、点击精度等可能与真人不同。高级检测会监控这些交互模式。虽然Selenium难以完美模拟人类的不规则移动，但可以避免过于“机械”的操作，比如在点击之间加入随机延迟，使用ActionChains进行稍微复杂的移动。
from selenium.webdriver.common.action_chains import ActionChains import time import random element = driver.find_element(...) # 稍微拟人化的移动和点击 actions = ActionChains(driver) actions.move_to_element(element).pause(random.uniform(0.1, 0.5)).click().perform()注意：过度复杂的模拟有时会适得其反，增加被行为分析模型识别的风险。保持简单、有效、适度的随机化是关键。
4. 环境仿真：让浏览器指纹“丰满”起来
一个真实的浏览器环境是“嘈杂”的，充满了各种属性。而一个刚启动的、干净的Selenium浏览器实例则显得过于“干净”。环境仿真的目标就是把这些“噪音”加回去，让指纹看起来更自然。
本地存储与Cookie模拟：真人访问网站会留下Cookie、LocalStorage等。你可以在访问目标站之前，先访问几个无关的、常见的网站（如搜索引擎、资讯站），让浏览器产生一些背景流量和存储数据。或者，更直接地，通过CDP命令预设一些Cookie。
# 访问目标页面前，先访问一个普通网站 driver.get('https://www.google.com') time.sleep(2) # 或者，直接设置一个看起来正常的Cookie（需针对目标域名） driver.execute_cdp_cmd('Network.setCookie', { 'domain': '.example.com', 'name': 'normal_cookie', 'value': 'some_value', 'path': '/', 'secure': True, 'httpOnly': False })时区与语言本地化：确保浏览器的时区、语言设置与你的代理IP所在地匹配。如果使用美国IP，但浏览器报告的是北京时间，就很可疑。
chrome_options.add_argument('--lang=en-US') # 通过CDP设置时区（示例为纽约时间） driver.execute_cdp_cmd('Emulation.setTimezoneOverride', {'timezoneId': 'America/New_York'}) # 设置地理位置（需谨慎，非必要不用） # driver.execute_cdp_cmd('Emulation.setGeolocationOverride', { # 'latitude': 40.7128, # 'longitude': -74.0060, # 'accuracy': 100 # })Canvas与WebGL指纹：这是高级指纹检测的重要手段。Canvas指纹通过让浏览器绘制一幅隐藏的图片，并计算其哈希值来识别设备。WebGL指纹则查询显卡信息。完全欺骗它们很难，但可以尝试注入JS代码来覆盖标准的渲染输出，返回一个常见的、非唯一的哈希值。这通常需要借助上述的Stealth脚本，因为它们已经包含了相关补丁。
一个简单的思路是重写HTMLCanvasElement.prototype.toDataURL和WebGLRenderingContext.prototype.getParameter等方法，但要注意兼容性和稳定性。
5. 终极组合与动态维护：没有一劳永逸的方案
没有任何一种单一技巧能永远有效。反爬系统在不断升级，检测点也在增加。因此，最可靠的策略是组合使用多种技巧，并建立动态维护机制。
组合拳示例： 一个相对健壮的启动配置可能长这样：
def create_stealth_driver(): opts = Options() # 1. 基础参数 opts.add_argument('--disable-blink-features=AutomationControlled') opts.add_experimental_option("excludeSwitches", ["enable-automation"]) opts.add_experimental_option('useAutomationExtension', False) opts.add_argument('--disable-dev-shm-usage') opts.add_argument('--no-sandbox') # 仅限测试或容器环境 # 2. 真实的UA和窗口 opts.add_argument('user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...') opts.add_argument('--window-size=1920,1080') # 3. 语言偏好 opts.add_argument('--lang=en-US,en;q=0.9') driver = webdriver.Chrome(options=opts) # 4. 核心属性覆盖 driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', { 'source': ''' Object.defineProperty(navigator, 'webdriver', {get: () => undefined}); // 可选：覆盖plugins, languages等 ''' }) # 5. 注入增强的stealth脚本（如果有） # driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {'source': stealth_js_content}) # 6. 可选：设置时区 driver.execute_cdp_cmd('Emulation.setTimezoneOverride', {'timezoneId': 'America/Los_Angeles'}) return driver动态维护：
- 定期更新UA和浏览器版本：跟随主流Chrome版本更新你的UA字符串和可能的CDP命令。
- 测试你的隐身效果：定期访问像
bot.sannysoft.com这样的测试网站（注意，频繁测试可能被该站封IP），或使用puppeteer-extra的检测套件来评估你的配置在哪些检测点上暴露了。 - 轮换策略：不要始终使用同一套指纹参数。可以准备多套配置（不同的UA、屏幕尺寸、时区），在每次启动或每天任务开始时随机选择一套。
- 关注社区：反爬与反反爬是持续对抗。关注GitHub上相关项目（如
puppeteer-extra、selenium-stealth等）的更新和Issue讨论，了解最新的检测手段和绕过方法。
最后，必须认识到，技术手段有极限。当面对极其严格、综合了行为分析、流量模式、甚至机器学习模型的顶级反爬系统时，仅靠客户端伪装可能不够。这时需要考虑结合高质量的住宅代理IP、更分散的请求节奏、甚至模拟更完整的用户会话（登录、浏览多个页面）来提升成功率。记住，我们的目标是让爬虫行为“融入”正常用户的流量中，而不是追求绝对的、不可检测的“隐身”。
