爬取众工业平台数据

案例说明

本案例利用SYSWARE.IDE封装一个爬取众工业平台数据的APP，众工业网址为
http://www.indapps.com.cn/#
/emarket/technologyApp/index，网页截图如下图所示：

众工业平台

用户只需要在模板界面输入众工业平台APP的类别，即可快速获取该类别下，所有APP的名字，价格，浏览量，产品ID以及购买次数等信息，同时本APP可以将爬取的信息数据自动保存到EXCEL文件中，如下图所示，表格数据为一键爬取的行业-制导武器类型的所有工业APP信息。

爬取的数据

应用价值

爬虫的价值不言而喻，网络爬虫(web crawler)就是按照一定规则从互联网上抓取信息的程序，爬虫与用户正常访问信息的区别就在于：用户是缓慢、少量的获取信息，而爬虫是大量的获取信息。爬虫作为数据的来源，后面还有很多方向可以发展，比如可以往大数据分析、数据展示、机器学习等方面，如果利用SYSWARE.IDE将网站爬取程序封装起来，就可以让企业内部不精通编程的人才直接使用，从而避免大量重复劳动。

实施路径

1界面设计

本模板在界面设计时有3个重要技巧

技巧一：如何条件隐藏或显示界面中的控件

动图展示效果

实现目标：要求选中专业时，仅显示专业选择下拉列表列；选中产品时，仅显示产品下拉列表选择列；选中行业时，仅显示行业选择下拉列表列。

实现方法：

以专业为例，产品，行业的实现方法相同。

设置专业控件的选中属性，添加专业下拉列表可见属性为True,行业布尔属性为选中为False,产品布尔属性选中我False,如下图所示：

设置专业控件的未选中属性，添加专业下拉列表的可见属性为False，如下图所示：

技巧二：如何条件选中或者取消选中

动图展示效果

实现目标：要求全部，免费以及收费三个控件仅有一个为选中状态。

实现方法：

以全部控件为例，收费与免费控件的属性设置方法相同。

设置全部控件的选中事件，收费选中属性为False,免费选中属性为False.

技巧三：如何动态生成列表集合

动图展示效果

实现目标：要求，点击下拉列表时，能自动实时爬取网站平台的所有分类标签，爬取对象如下图所示：

爬取对象

实现方法：

以行业为例，专业与产品的动态获取分类标签方法相同。

首先创建一个数组类型参数，用于存放爬取到的分类标签集合；

其次，利用Python组件，编写一个自动从网页获取标签名的代码，将爬取到的标签名集合industry_list传递给行业结合，这样就可以实现动态爬取。

2程序设计

流程包括控制流程和数据流程创建，如下图所示：

控制流程图

3参数设计

参数设计表

产品展望

本案例介绍了SYSWARE.IDE在人工智能方面的一个简单应用， 说明IDE平台不仅仅可以封装工程应用软件，也可以封装AI领域的APP，当然这离不开Python组件的支持。

来源：工业技术软件化