爬虫学习4——Xpath爬取网页信息

xpath是在XML文档中搜索内容的一门语言，我们常见的html是xml的一个子集

目录

安装lxml模块

获取网页数据

text()拿文本 。xpath使用[1]选择同种标签的第一个。/a[@href=”]根据属性href的值选择特定标签

//表示后代（子标签，孙子标签，重孙子标签）。*表示任意的节点，通配符。使用@拿到属性值

./表示当前节点

安装lxml模块

获取网页数据

本次实验选择了代码中的网站，获取下面雇佣和招标的信息

text()拿文本 。

xpath使用[1]选择同种标签的第一个。

/a[@href=”]根据属性href的值选择特定标签

//表示后代（子标签，孙子标签，重孙子标签）。

*表示任意的节点，通配符。

使用@拿到属性值

./表示当前节点

输出结果如下： 

[[‘需要企业管理SaaS’], [‘n找人做SaaSn’], [‘通用类’], [‘农林牧渔’], [‘上海’], [‘￥20.00’], [‘n’, ‘nn’, ‘nn’]]
[[‘需要B2B电商小程序’], [‘n标准的B2B商城：n需要能开票、合同的解决方案n收款方式需要有对公转账（或者提供解决方案）n积分方案需要可以针对单一商户设置n有能对接ERP系统（比如财务的用友办公）n其余标准B2B商城所带有的必需功能等n不要SAAS，不要重新定制n’], [‘网站定制开发’], [‘农林牧渔’], [‘南昌’], [‘￥150000.00’], [‘n’, ‘nn’, ‘nn’]]
[[‘微信小程序开发公众号H5设计APP定制网站建设saas软’], [‘n微信小程序开发公众号H5设计APP定制网站建设saas软件n’], [‘小程序开发’], [‘IT行业’], [‘上海’], [‘￥3000.00’], [‘雇佣服务商：玖魅科技’]]
[[‘教育培训在线排课约课系统成品SaaS账号’], [‘n教育培训在线排课约课系统成品SaaS账号年费服务n’], [‘APP开发’], [‘广州’], [], [‘￥8440.00’], [‘雇佣服务商：邻米网络’]]
[[‘需要软件测试’], [‘n测试工程师n公司开发了一套SaaS系统，需要测试前端和后台功能n’], [‘测试服务’], [‘IT行业’], [‘无锡’], [‘￥3500.00’], [‘n’, ‘nn’, ‘nn’]]
[[‘【软件开发】ERP|CRM|OA|SaaS管理软件定制开’], [‘n【软件开发】ERP|CRM|OA|SaaS管理软件定制开发n’], [‘行业软件开发’], [‘深圳’], [], [‘￥1000.00’], [‘雇佣服务商：鲸蓝互联科技’]]
[[‘SAAS小程序电商系统开发（微信支付宝抖音百度H5公众号’], [‘nSAAS小程序电商系统开发（微信支付宝抖音百度H5公众号商城n’], [‘小程序开发’], [‘批发零售’], [‘合肥’], [‘￥6688.00’], [‘雇佣服务商：猫灵网络-国家高企双软挂牌企业’]]
[[‘软件UI界面web管理系统saas平台后台客户端终端页面’], [‘n软件UI界面web管理系统saas平台后台客户端终端页面设计n’], [‘软件界面设计’], [‘互联网服务’], [‘南昌’], [‘￥500.00’], [‘雇佣服务商：轻妙视觉’]]
[[‘软件UI界面web管理系统saas平台后台客户端终端页面’], [‘n软件UI界面web管理系统saas平台后台客户端终端页面设计n’], [‘软件界面设计’], [‘南昌’], [], [‘￥500.00’], [‘雇佣服务商：轻妙视觉’]]
[[‘软件UI界面web管理系统saas平台后台客户端终端页面’], [‘n软件UI界面web管理系统saas平台后台客户端终端页面设计n’], [‘软件界面设计’], [‘南昌’], [], [‘￥500.00’], [‘雇佣服务商：轻妙视觉’]]
[[‘软件UI界面web管理系统saas平台后台客户端终端页面’], [‘n软件UI界面web管理系统saas平台后台客户端终端页面设计n’], [‘软件界面设计’], [‘南昌’], [], [‘￥500.00’], [‘雇佣服务商：轻妙视觉’]]
[[‘新零售电商佣金O2O微商分销系统软件开发’], [‘n新零售电商佣金O2O微商分销系统软件开发电商saas租赁系统n’], [‘企业管理软件开发’], [‘IT行业’], [‘湖南’], [‘￥10000.00’], [‘雇佣服务商：指环掌柜’]]
[[‘我需要saas 软件系统开发’], [‘nsaas 软件系统开发n’], [‘企业管理软件开发’], [‘泉州’], [], [‘可议价’], [‘n’, ‘nn’, ‘nn’]]
[[‘【软件开发】ERP|CRM|OA|Saa’], [‘n【软件开发】ERP|CRM|OA|SaaS管理软件定制开发n’], [‘行业软件开发’], [‘IT行业’], [], [‘￥1100.00’], [‘雇佣服务商：鲸蓝互联科技’]]
[[‘【软件开发】ERP|CRM|OA|Saa’], [‘n【软件开发】ERP|CRM|OA|SaaS管理软件定制开发n’], [‘行业软件开发’], [‘能源供应’], [], [‘￥1500.00’], [‘雇佣服务商：鲸蓝互联科技’]]
[[‘企业模板网站制作/公司官网SAAS建站/网站建设/网页设’], [‘n未填写n’], [‘模板建站’], [‘深圳’], [], [‘￥898.00’], [‘雇佣服务商：文纳网络科技’]]
[[‘saas支付宝微信公众号小程序商城H5python开发定’], [‘nsaas支付宝微信公众号小程序商城H5python开发定制作n’], [‘小程序开发’], [‘安徽’], [], [‘￥1880.00’], [‘雇佣服务商：千界科技-国家高企双软企业’]]
[[‘saas支付宝微信公众号小程序商城H5python开发定’], [‘n未填写n’], [‘小程序开发’], [‘安徽’], [], [‘￥3300.00’], [‘雇佣服务商：千界科技-国家高企双软企业’]]
[[‘saas支付宝微信公众号小程序商城H5python开发定’], [‘n未填写n’], [‘小程序开发’], [‘安徽’], [], [‘￥2680.00’], [‘雇佣服务商：千界科技-国家高企双软企业’]]
[[‘saas支付宝微信公众号小程序商城H5python开发定’], [‘nsaas支付宝微信公众号小程序商城H5python开发定制作n’], [‘小程序开发’], [‘金融保险’], [‘安徽’], [‘￥3000.00’], [‘雇佣服务商：千界科技-国家高企双软企业’]]
[[‘微信抖音支付宝Saas模板小程序成品分销商城h5源码定制’], [‘n微信抖音支付宝Saas模板小程序成品分销商城h5源码定制开发n’], [‘小程序开发’], [‘临沂’], [], [‘￥33660.00’], [‘雇佣服务商：数字引擎-为创业者而生’]]
[[‘saas支付宝微信公众号小程序商城H5python开发定’], [‘nsaas支付宝微信公众号小程序商城H5python开发定制作n’], [‘小程序开发’], [‘安徽’], [], [‘￥2800.00’], [‘雇佣服务商：千界科技-国家高企双软企业’]]
[[‘saas支付宝微信公众号小程序商城H5python开发定’], [‘nsaas支付宝微信公众号小程序商城H5python开发定制作n’], [‘小程序开发’], [‘安徽’], [], [‘￥3800.00’], [‘雇佣服务商：千界科技-国家高企双软企业’]]
[[‘saas支付宝微信公众号小程序商城H5python开发定’], [‘nsaas支付宝微信公众号小程序商城H5python开发定制作n’], [‘小程序开发’], [‘合肥’], [], [‘￥1900.00’], [‘雇佣服务商：千界科技-国家高企双软企业’]]
[[‘招商文案’], [‘n我需要招商文案，该PPT仅供参考，要求：有过SAAS产品，起码有过互联网产品的包装或策划案例，无相关成功案例者勿扰！n’], [‘商业策划’], [‘IT行业’], [], [‘￥2000.00’], [‘n’, ‘nn’, ‘nn’]]
[[‘【小程序开发】微信电商商城/团购/教育/定制小程序/Sa’], [‘n【小程序开发】微信电商商城/团购/教育/定制小程序/SaaSn’], [‘小程序开发’], [‘广东’], [], [‘￥1500.00’], [‘雇佣服务商：丰数网络-互联网技术专家’]]
[[‘混业型文化空间业态小程序矩阵开发’], [‘n1、该企业跨越文化、餐饮、教育、演艺、项目5类行业混合经营，以零售为主，但包含部分对公业务；n2、小程序矩阵包括：商城小程序、会员小程序、点餐小程序、课程预约小程序、演艺活动预约小程序、项目小程序（按需定制）等n3、小程序之间支持跳转n4、小程序需支持打通主流SaaS ERP（具体详谈）n5、因涉及梳理业务，青岛本地服务商优先n’], [‘小程序开发’], [‘批发零售’], [‘青岛’], [‘￥300000.00’], [‘n’, ‘nn’, ‘nn’]]
[[‘需要其它工具软件’], [‘n本公司急需搭建saas平台，平台需满足以下用途：具体如图所示。n’], [‘工具软件’], [‘IT行业’], [‘盐城’], [‘￥200000.00’], [‘n’, ‘nn’, ‘nn’]]
[Finished in 1.0s]

来源：爱打羽毛球的小怪兽