问题
首先回顾前两篇selenium系列selenium爬虫使用了代理为什么还是被服务器判定为机器人?以及selenium爬虫使用代理情况下不设置这几个参数,代理就白加了,正确的关闭webrtc以及设置成代理的时区和地理位置,可以很好的帮我们的浏览器伪装成正儿八经的正常浏览器,犹如滤镜可以把王大妈变身成风靡万千宅男的乔碧萝。但是,这还不够,风控系统有各种方式可以将你揪出来。所以应粉丝的要求,今天动笔了:
怎么如德芙般丝滑地去掉selenium烦人的webdriver痕迹?
原因
原因很简单,我们使用selenium+chromedriver启动chrome的时候,会在chrome的navigator以及document对象里注入一些属性,如果web服务器返回的js代码里有对这些属性的检测,那我们就会被识别为机器人在访问。
解决方案
解决方案逻辑上很简单,就是selenium额外加了什么我们去除掉什么。
我们先上没有去掉webdriver的selenium代码
from selenium import webdriver
chrome_options = webdriver.ChromeOptions()
chrome_options.add_experimental_option(
"excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option('useAutomationExtension', False)
chrome_options.add_argument('lang=zh-CN,zh,zh-TW,en-US,en')
chrome_options.add_argument(
'user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36')
driver = webdriver.Chrome(
"./chromedriver", chrome_options=chrome_options)
driver.get("https://bot.sannysoft.com/")
测试结果截图:
我们可以看到,webdriver被检测出来了,也就是说服务器知道你使用了selenium访问其网站。
我们上去掉webdriver的代码的selenium代码
from selenium import webdriver
chrome_options = webdriver.ChromeOptions()
chrome_options.add_experimental_option(
"excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option('useAutomationExtension', False)
chrome_options.add_argument('lang=zh-CN,zh,zh-TW,en-US,en')
chrome_options.add_argument(
'user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36')
chrome_options.add_argument("disable-blink-features=AutomationControlled")#就是这一行告诉chrome去掉了webdriver痕迹
driver = webdriver.Chrome(
"./chromedriver", chrome_options=chrome_options)
driver.get("https://bot.sannysoft.com/")
测试结果截图:
我们可以看到通过在chrome启动的时候加一个disable-blink-features=AutomationControlled的flag就可以实现降维打击,移除掉webdriver的痕迹,妈妈再也不用担心你加班了……
如果你们认为做到以上:关闭webrtc、设置浏览器时区和地理位置、去掉webdriver就高枕无忧了吗?
No,这还不够,服务器还能揪出你,你只能给老板发送以下短信。
然后继续加班。 想知道更多的反检测方式,咱们下期见!
图片源于:页游
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。