/ 详情

单机版支持队列持久化,重启可从断点位置继续抓取

Done
owner
Opened this issue  
2015-12-31 08:57

目前的单机版的任务队列不支持持久化,每次重启后都会重新开始抓取,希望能增加持久化支持,断点位置颗粒度可以大一点,比如不用要求在下载到一半的时候做断点,只要下载成功后才算一个有效可恢复的断点。

Comments (4)

或者可以考虑进程内的缓存框架?支持持久化到硬盘那种

@Neoman 嗯,类似#ehcache# ?

已解决,通过BDb来做持久化。

Status changed to closed

Sign in to comment

状态
Assignees
Milestones
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
Branches
Planed to start   -   Planed to end
-
Top level
Priority
参与者(2)
117 l weiwei 1578913730