609 Star 2.1K Fork 745

自风 / Spiderman2

 / 详情

重复抓取报“队列元素重复”

已完成
创建于  
2016-11-08 12:24

log:
[Spiderman][警告][net.kernal.spiderman.queue.RepeatableChecker]2016-11-08 12:18:32
队列元素重复[group=关键字搜索, key=download_http://weixin.sogou.com/weixin?query=%E6%81%B6%E6%90%9E&sug_type=&sug=n&type=1&page=1&ie=utf8#http://weixin.sogou.com/weixin?query=%E6%81%B6%E6%90%9E&sug_type=&sug=n&type=1&page=9&ie=utf8]

期望重新启动线程时能重复抓取以的数据

评论 (1)

这个提交按照你需求的实现了,现在重启爬虫会删掉持久化的数据,可以采集重复数据了。

https://gitee.com/l-weiwei/Spiderman2/commit/c0417945986b26315f624f1adc2b46a59657378e
自风 关闭了任务

登录 后才可以发表评论

状态
负责人
里程碑
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
开始日期   -   截止日期
-
置顶选项
优先级
参与者(2)
117 l weiwei 1578913730
Java
1
https://gitee.com/l-weiwei/Spiderman2.git
git@gitee.com:l-weiwei/Spiderman2.git
l-weiwei
Spiderman2
Spiderman2

搜索帮助