5
新手入门 功能点介绍

【流程图模式】在任务中断的前提下如何继续采集数据

2019-12-12 15:47:04
浏览 797 次

摘要:本文介绍如何使用后羿采集器的流程图模式,免费采集在数据采集中断的前提下如何继续采集数据,我们以中国证券投资基金业协会为例。 免费下载软件

本文介绍如何使用后羿采集器的流程图模式,免费采集在数据采集中断的前提下如何继续采集数据,我们以中国证券投资基金业协会为例。

采集工具简介:

后羿采集器(www.houyicaiji.com)是一款基于人工智能技术的网页采集器,只需要输入网址就能够自动识别网页数据,无需配置即可完成数据采集,是业内首家支持三种操作系统(包括Windows、Mac和Linux)的网络爬虫软件

该软件是一款真正免费的数据采集软件,对采集结果导出没有任何限制,没有编程基础的小白用户也可轻松实现数据采集要求。

采集对象简介:

中国证券投资基金业协会(amac.org.cn)成立于2012年6月6日,是基金行业相关机构自愿结成的全国性、行业性、非营利性社会组织。会员包括基金管理公司、基金托管银行、基金销售机构、基金评级机构及其他资产管理机构、相关服务机构。协会秉承“服务、自律、创新”理念,自觉接受会员大会和理事会的监督,严格按照国家有关法律规定和协会章程开展工作。

采集字段:

编号、 私募基金管理人名称、 私募基金管理人名称链接 、法定代表人/执行事务合伙人(委派代表)姓名、 注册地、 登记编号、 成立时间、登记时间、 组织机构代码、 注册地址、 办公地址、 注册资本(万元)、 企业性质、机构类型 、员工人数、 是否为符合提供投资建议条件的第三方机构 、高管情况

功能点目录:

什么是行为组件

采集结果预览:

下面我们来详细介绍一下在任务采集中断前提下如何继续采集数据,我们以中国证券投资基金业协会为例,为大家演示在网页地址不变前提下,如何跳转到相应界面进行数据继续采集。

相关链接:

如何免费采集中国证券投资基金业数据

上面这个链接是使用智能模式采集中国证券投资基金业的公示数据,在采集过程中有时候由于时间关系,在采集到一部分数据之后需要停止再继续采集,但是后羿采集器现在断点采集的功能还在开发中,暂时还不能断点继续采集,此时我们可以采取下面的方式来实现断点采集。

步骤一:复制智能模式任务为流程图模式任务。

选中之前设置好的任务,右击然后选择复制任务。

在跳转出的复制任务界面勾选“转换为流程图模式”

设置过程如下动态度所示:

步骤二:添加选择页数组件

软件已经自动将智能模式下采集的字段转换为流程图模式的组件,我们不需要更改后面的组件字段。

首先我们选中打开网页组件,注意要选中这个组件,否则新添加的组件会跑到循环后面去,这样子还要将组件再拖动回来,会比较麻烦。

然后选中网页上的页数输入框,在跳转出的提示中输入所要跳转的页面,我们在这里输入“100”跳转到100页进行数据采集。

紧接着我们点击跳转页数的那个按钮,在跳转出来的提示框内选中“点击该元素”组件。

完整组件设置效果如下:

步骤四:设置并启动采集任务

1、启动采集任务

点击“开始采集”按钮,可在弹出的启动设置页面中进行一些高级设置,包括“开启定时、开启防屏蔽、开启自动导出、开启图片下载、开启加速引擎”功能,输入框内为默认设置,如果需要设置具体的功能,勾选相应功能跳转界面去设置,本次采集任务没有使用到这些功能,直接点击“启动”运行爬虫工具。

点此深入了解什么是定时采集。

点此深入了解什么是自动入库。

点此深入了解如何下载图片。

【温馨提示】免费版本可以使用非周期性定时采集功能,下载图片功能是免费的。个人专业版及以上版本可以使用高级定时功能和自动入库功能。

2、运行任务提取数据

任务启动之后便开始自动采集数据,我们从界面上可以直观的看到程序运行过程和采集结果,采集结束之后会有提醒。

步骤五:导出并查看数据

数据采集完成后,我们可以查看和导出数据,后羿采集器支持多种导出方式(手动导出到本地、手动导出到数据库、自动发布到数据库、自动发布到网站)和导出文件的格式(EXCEL、CSV、HTML和TXT),同时还支持导出具体条数,也可以在数据中选择想导出的条数,然后点击“确认导出”。

点此深入了解如何查看和清空采集数据。

点此深入了解如何导出采集结果。

【温馨提示】:所有手动导出功能都是免费的。个人专业版及以上版本可以使用发布到网站功能。

 

再为您推荐几个教程:

如何免费采集同花顺圈子评论数据

如何采集搜狐股票数据

如何免费采集网贷之家网贷平台数据

 

分享到: