技术学习:Python(21)|爬虫篇|selenium自动化操作浏览器

/p>

活动地址:CSDN21天学习挑战赛

前言

Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera,Edge等。这个工具的主要功能包括:测试与浏览器的兼容性——测试应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成.Net、Java、Perl等不同语言的测试脚本。

1 selenium环境搭建

官方网址:https://www.selenium.dev/,可以参考官方提供信息来做相对应的操作,此处为学习知识而做的记录。

1.1 下载模块

打开终端,输入下载命令,安装以及依赖项。

关于其他语言或版本,请参考这里:https://www.selenium.dev/downloads/

1.2 安装浏览器驱动WebDriver

WebDriver 以本地方式驱动浏览器,就像用户在本地或使用 Selenium 服务器在远程机器上一样,这标志着浏览器自动化方面的飞跃。
Selenium WebDriver 指的是语言绑定和单个浏览器控制代码的实现。这通常被称为WebDriver。

Selenium WebDriver 是W3C 推荐的。

  • WebDriver 被设计为一个更简洁的编程接口。
  • WebDriver 是一个紧凑的面向对象的 API。
  • 它有效地驱动浏览器。

下面在mac中,安装谷歌浏览器WebDriver驱动。
首先按照官方的地址,下载软件,下载地址如下:

Ghrome/Chromium驱动程序下载地址:https://chromedriver.storage.googleapis.com/index.html

FireFox驱动程序下载地址:https://github.com/mozilla/geckodriver/tags

Edge驱动程序下载地址:https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/

IE驱动程序下载地址:https://www.selenium.dev/downloads/

Safari驱动程序下载地址:内置

Opera 驱动程序:不支持 w3c 语法,建议使用 chromedriver 与 Opera 一起工作。

查看自己机器浏览器的版本

技术学习:Python(21)|爬虫篇|selenium自动化操作浏览器

下载WebDriver的版本

技术学习:Python(21)|爬虫篇|selenium自动化操作浏览器
技术学习:Python(21)|爬虫篇|selenium自动化操作浏览器

2 使用WebDriver驱动程序

2.1 驱动管理软件

完整的示例请参考:GitHub示例

2.2 加入到环境变量

首先手工下载,然后将路径放在机器环境变量:,其中是路径地址,如下:

2.3 在Python中直接引用

这里其实也是手工下载,然后在编码中直接使用。其中 同 中的一致。

2.4 打开谷歌(Chrome)浏览器

  • 界面模式(Chrome)浏览器

在执行时比较慢,后续就比较快些。我使用这个打开火狐浏览器出现了错误。

  • 无界面模式(Chrome)浏览器

2.5 元素定位

2.6 元素操作

2.7 前进/后退

2.8 执行js脚本

2.9 页面等待

  • 页面显示等待(常用模式)

  • 页面隐式等待

3 进阶操作

3.1 使用代理IP

3.2 修改请求头

3.3 隐藏指纹特征

文章知识点与官方知识档案匹配,可进一步学习相关知识Python入门技能树网络爬虫Selenium208940 人正在系统学习中

来源:六月暴雪飞梨花

声明:本站部分文章及图片转载于互联网,内容版权归原作者所有,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2022年7月18日
下一篇 2022年7月19日

相关推荐