对微博某一用户的所有微博数据进行抓取,出现抓取不全或者不断重复的问题

在微博上对某一用户的数据抓取的时候,第一次发现抓取了三百多条后开始了重复采集,第二次把去重开启,到了379条就无法采集新的数据了
还有一种情况是虽然显示了采集完成,但是采集结果明显不全
已邀请:
您好,按照您的描述我们无法具体定位您的问题,您可以把您的任务上传一下,方便我们定位问题。如何上传任务可参考教程http://www.houyicaiji.com/?type=post&pid=875
感谢您对后羿采集器的支持,祝您生活愉快(*^▽^*)

Deadshot

赞同来自:

你好,这是我的采集任务

Deadshot

赞同来自:

更新一下,我尝试了一下在网页上登录账号再次爬取,这次到45条左右就无法继续采集下去了

后羿客服-樱桃子

赞同来自:

您好,我这边测试了一下没有登录直接采集,可以采集到400多条,建议在开始采集-防屏蔽里面设置手动防屏蔽-逐行滚动加载一下,这个可能是网站加载比较慢的缘故,另外微博可能也有反爬,所以会造成这个情况,建议也可以结合代理使用。
 

Deadshot

赞同来自:

您好,请问这种情况是不是无法继续下去了...

后羿客服-樱桃子

赞同来自:

如果是ip被封了的话,要重启猫来试试看

要回复问题请先登录注册