/ 详情

关于任务持久化和调度采集的问题

Done
owner
Opened this issue  
2016-02-18 17:26

目前,对于一些页面的采集结果是需要持久化,并且不能重复采集,但是对于另外一些页面(比如分页列表页面),在第二次调度重新采集的时候是允许重复采集的(因为有可能有内容更新),而在同一个调度周期内,这些页面又不能重复采集,因此,这个要求队列提供一个可以根据某个group清除相关页面持久化的操作,否则会导致无法合理的调度采集更新。

Comments (2)

已开发实现。

Status changed to closed

Sign in to comment

状态
Assignees
Milestones
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
Branches
Planed to start   -   Planed to end
-
Top level
Priority
参与者(1)
117 l weiwei 1578913730