Selenium被检测为爬虫,怎么屏蔽和绕过

Selenium 操作被屏蔽

使用selenium自动化网页时,有一定的概率会被目标网站识别,一旦被检测到,目标网站会拦截该客户端做出的网页操作。

比如淘宝和大众点评的登录页,当手工打开浏览器,输入用户名和密码时,是能正常进入首页的,但是如果是通过selenium打开, 会直接提示验证失败,点击框体重试。

image-20220319155653945

实际上,浏览器被检测为webdriver程序的特征并不止这一个,这意味着,就算你通过修改属性,也不一定能绕过网站的检测。

我们可以通过 sannysoft 来检测浏览器指纹,如果浏览器是通过selenium等自动化程序打开的,访问这个网址后会有很多特征暴露这些指纹,这些特征的值和手工打开后的值是不一样的,因此可以很轻易被别人检测出来。

image-20220319160459845

有人也试图不用selenium,换成puppeter和playwright这样的自动化工具,但是结局都是一样的。

Selenium避免被检测方法

浏览器在启动时就会带上指纹特征,如果使用自动化程序启动时已经被标记,那为什么不直接用手工启动,然后用Selenium连接已经启动的浏览器呢/p>

那手工打开浏览器要做什么操作才能让Selenium连接呢elenium又是怎样连接手工打开的浏览器呢/p>

我在 Selenium连接已存在的浏览器1 这篇文章详细记录了需要的步骤,概括起来:

1、打开浏览器时添加以下参数:

2、selenium中设置浏览器选项,通过上面设置的 9222端口连接浏览器:

通过 subprocess 运行浏览器

当然,做自动化程序一般不会手工点击图标来打开浏览器,我们可以用命令行启动浏览器,然后再用 selenium 连接。

粉丝交流群已开放,不定期分享面试题和视频教程,点击下方卡片加群。

文章知识点与官方知识档案匹配,可进一步学习相关知识Python入门技能树网络爬虫Selenium208347 人正在系统学习中

Selenium被检测为爬虫,怎么屏蔽和绕过 微信公众号 Selenium被检测为爬虫,怎么屏蔽和绕过 全套软件测试技能分享

来源:九柄说测试

声明:本站部分文章及图片转载于互联网,内容版权归原作者所有,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2022年6月18日
下一篇 2022年6月18日

相关推荐