5
新手入门 功能点介绍

【智能模式】【流程图模式】如何配置采集任务

2019-11-29 10:53:35
浏览 733 次

摘要:本教程为大家介绍如何配置采集任务 免费下载软件

在编辑任务界面,点击右下角“开始采集”按钮,跳转到任务启动界面,我们可以在任务启动界面对任务进行配置

1、定时启动

定时采集功能是指用户通过使用该功能,可以设置循环采集或者给采集任务设置一个固定的启动和停止时间点,并且周期性地按照这个时间点进行数据采集,定时启动功能包括循环采集和定时启动两个功能设置。

更多详情内容,请参考以下教程:

如何设置定时采集

2、防屏蔽

防屏蔽设置包含代理设置、智能防屏蔽设置、手动防屏蔽设置,这部分功能主要是用来避免各种可能遇到的网站屏蔽问题。

更多详情内容,请参考以下教程:

如何设置防屏蔽

3、自动导出

通过使用该功能,可以实现在采集数据的过程中自动导出采集结果到本地文件、数据库和网站,不需要等到任务运行结束后手动导出数据。

更多详情内容,请参考以下教程:

如何设置自动导出

4、文件下载

软件支持在采集的过程中下载文件,文件类型包括:图片、音频、视频、文档及其他文件,用户可以选择保存路径,并且按照规则创建独立文件夹或重命名下载的文件。

更多详情内容,请参考以下教程:

如何设置文件下载

5、加速引擎

加速引擎功能可以对采集任务进行加速,加速效果和网页加载速度以及采集任务的设置有关,通常可以达到3~10倍的加速效果。

更多详情内容,请参考以下教程:

如何使用加速引擎

6、数据去重

数据去重功能是指在任务采集过程中,将可能遇到的重复数据筛除,只留下有效数据。软件的数据去重功能需要先采集下所有数据再进行筛除,因此开启此项功能会造成采集速度变慢,大家请谨慎使用。

更多详情内容,请参考以下教程:

如何设置数据去重

7、开发者设置

后羿采集器支持Webhook功能,通过使用该功能,后羿采集器可以将采集到的数据发布到HTTP地址。

更多详情内容,请参考以下教程:

如何设置Webhook功能

分享到: