5
新手入门 功能点介绍

数据没有全部采集到就停止采集了怎么办?

2022-12-27 17:07:01
浏览 93 次

摘要:关于“数据没有全部采集到就停止采集了怎么办?”问题的回答。 免费下载软件

问题:

数据没有全部采集到就停止采集了怎么办?

回答:

1. 先确认网站的采集是否需要登录。浏览器里复制到的链接是不会保存登录状态的,所以需要在软件再次进行登录。登录在软件的右上角预登录里进行。

详情请参考预登录的教程:

预登录和预执行操作

2. 确认网页上实际能查看到多少,不是显示搜索到的数据而是实际能在网页上查看到的数据量。 有些网站显示有上万条数据,但是实际只能查看到几千条,建议是手动跳转到最后一页看看实际的数据量。

3. 点击“查看网页”按钮,确认一下网页实际运行时的打开情况,是否被限制,是否有弹窗

4. 确认网页的翻页识别是否正确,自动识别可能会有误差,建议手动识别一下试试。翻页识别应该识别下一页按钮而不是第二页的按钮。

具体操作请参考教程:

如何设置分页

5. 如果全部数据都能在网页上查看到,且没有被限制,那么原因可能是网速问题,软件重复采集几次没有加载出来网页,这时候则可以试着在智能策略中设置等待时长

6. 上诉步骤全部都操作过了还是没有采集到全部数据,查看一下随着页码变动网址会不会跟着变动,如果会变动,直接复制采集结束位置的网址,粘贴到软件中,从停止的部分开始采集。

参考断点续采的教程:

如何实现断点续采

分享到:
python数据采集 批量下载图片 网页内容关键字提取 php爬虫 正则匹配邮箱 批量下载视频 网页下载成word 批量生成网址 数据自动整理成excel python爬虫
关闭