5
新手入门 功能点介绍

如何采集携程网的团购酒店和图片

2019-12-12 15:48:04
浏览 1498 次

摘要:使用后羿采集器的智能模式一键采集携程网团购酒店信息和图片等 免费下载软件

携程旅行网是中国领先的在线旅行服务公司,提供酒店、机票、车票、线路、门票、玩乐、用车、签证……一站式专业预订服务。特别是携程上有大量酒店的团购信息,对于酒店和团购采集来说,非常方便。

 

本文使用后羿采集器的智能采集模式,自动解析酒店列表和分页。让您只需要输入单个或多个列表首页url,便能自动翻页采集所有的列表项,不需要手动点选和配置,是最简单的网页采集方式!

同时,后羿也支持一键下载采集的图片链接到本地文件夹等高级功能。

 

在开始采集之前,请先从官网下载并安装好后羿采集器,windows、mac和linux操作系统都支持~

 

采集网址:https://tuan.ctrip.com/group/hotel/city_shanghai/#ctm_ref=hog_hp_cat_def_t#ctm_ref=hog_hp_catpart_def_t

采集数据:酒店名称、评价和已售数、等级、位置、价格、评分、图片、采集时间

使用功能点

1、智能采集,自动识别列表数据和分页

2、采集中自动下载图片

3、自定义修改数据字段

 

采集步骤

第一步,打开后羿采集器,输入网址,智能采集

 

第二步,等页面加载完成,会自动识别出列表数据和分页

 

可以在底部,修改字段名称、删除字段、修改字段取值等:

 

点击右上角的“添加字段”,然后设置字段取值为“使用当前时间”,便会在采集时加上采集时间这一字段:

 

 

经过修改后的字段,是这样子滴,你可以根据实际情况修改:

 

第三步,保存,点击“开始采集”,开启“下载图片”。

采集结束或者手动停止采集后,导出数据

因为我们需要在采集的过程中,自动下载酒店的图片。所以在启动采集前,需要开启图片下载并设置图片保存的位置:

 

下面是软件采集中的截图:

 

下面是导出数据时候的截图:

 

导出后的数据文件截图如下:

P.S. 因为图片已经保存到了本地,所以采集的数据中的图片链接字段会自动更新成本地相对路径

 

下面给大家看下咱们在采集过程中自动下载的图片:

 

讲解完毕,大家应该都学会了如何用后羿采集器一键采集分页列表和图片了吧~真的是 so so so easy~

 

不过呢,携程是有反爬的,如果需要稳定批量地爬取,还是需要做一些反爬措施并且切换ip去爬的,有兴趣的童鞋可以使用神箭手提供的携程云爬虫方案:

http://www.shenjian.io/index.php?r=market/search&keyword=%E6%90%BA%E7%A8%8B

分享到: