/ 详情

重复抓取报“队列元素重复”

Done
Opened this issue  
2016-11-08 12:24

log:
[Spiderman][警告][net.kernal.spiderman.queue.RepeatableChecker]2016-11-08 12:18:32
队列元素重复[group=关键字搜索, key=download_http://weixin.sogou.com/weixin?query=%E6%81%B6%E6%90%9E&sug_type=&sug=n&type=1&page=1&ie=utf8#http://weixin.sogou.com/weixin?query=%E6%81%B6%E6%90%9E&sug_type=&sug=n&type=1&page=9&ie=utf8]

期望重新启动线程时能重复抓取以的数据

Comments (1)

这个提交按照你需求的实现了,现在重启爬虫会删掉持久化的数据,可以采集重复数据了。

https://gitee.com/l-weiwei/Spiderman2/commit/c0417945986b26315f624f1adc2b46a59657378e
自风 closed 任务

Sign in to comment

状态
Assignees
Milestones
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
Branches
Planed to start   -   Planed to end
-
Top level
Priority
参与者(2)
117 l weiwei 1578913730