5
新手入门 功能点介绍

批量网址如何采集

2019-12-12 17:38:29
浏览 849 次

摘要:本教程介绍使用后羿采集器,如何采集多个网址(以采集大众点评多个商家为例) 免费下载软件

在进行网站采集的时候,可能需要采集批量网址,或者需要批量生成一批网址。比如采集携程网上的一批酒店、采集不同搜索关键词的搜索结果、以及批量生成分页地址等。下面我们就这种情况进行具体说明,以采集大众点评网的商家为例。

首先请从官网下载后羿采集器最新版,然后安装到电脑上(支持windows、mac和linux)。

采集的网址:

http://www.dianping.com/shop/4584320

http://www.dianping.com/shop/4581757

http://www.dianping.com/shop/95936566

http://www.dianping.com/shop/92657756

http://www.dianping.com/shop/3908515

采集步骤:

步骤1,新建采集任务,输入多个网址

打开后羿采集器,选择“智能模式”,点击“创建任务”,输入以上网址。

 

注意:

1、输入多个网址的时候保持一行一个!

2、后羿采集器也支持动态生成批量网址。点击“批量添加”,然后输入网址,将需要动态变化的部分改为【地址参数】,设置变化范围即可:

步骤2,提取数据

创建任务后,软件会自动加载第一个网址,然后默认会使用列表模式自动识别要提取的数据。

我们需要改成“单条模式”,然后清空所有字段,点击“添加字段”,重新点选要提取的数据:商家名称、商家地址、商家电话。

步骤3,开始采集,导出数据

点击“开始采集”,在弹出的对话框中还可以设置浏览器类型、图片下载等。点击启动采集后,软件会自动采集所有网址内要提取的数据啦~

 

点击“导出”,可以将采集的数据导出到本地文件和数据库中。下面是导出到excel2007的文件截图:

分享到: