现在如果把列表页也加入去重，由于持久化了，会导致无法做增量更新，因为列表页URL一般都不会变化的，但是内容却会变化，而去重一般都是以URL作为key。 为了解决这个问题，是否可以考虑对于某些Page的去重可以配制成不持久化，这样通过调度器每次重新从种子开始抓取的时候，就可以清空这些Page记录。 落地实现，可以考虑将Store分为可清空与不可清空两种。然后在Page里面增加一个配置项isClearable
最新变化：将持久化的消息分组，组映射到Page，由Page的isPersisted属性决定此分组是否要永久持久化。
此处可能存在不合适展示的内容，页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容，可点击提交进行申诉，我们将尽快为您处理。
不需要永久持久化的，会在Spiderman重启或者重新调度的时候自动删除。
状态更改为 已关闭
登录 后才可以发表评论
