/ 详情

分布式版的队列实现选型

Done
owner
Opened this issue  
2015-12-31 09:26

分布式版的队列,根据讨论,老A希望可以支持基于主题式的队列关注,比如某些节点它只想处理某个主题的队列,其它队列任务就不要分配给该节点,另外,任务本身也要区分优先级(级别可以减少,比如就搞两种级别,一种是符合target规则的,一种是不符合的即可),具体实现的时候不要对队列元素进行排序来达到这个优先效果,可以考虑用两条队列分别代表两种优先级的方式来实现,利用空间换取不需要排序的时间消耗,毕竟分布式运行后队列会非常庞大!

Comments (3)

###讨论了一下队列选型的原则,总结如下:

  1. 高性能(包括:出入队列),高并发,高可用,高可靠。
  2. 流量控制,保证分布式队队列节点的高可用性。
  3. 支持持久化
  4. 支持分布式
  5. 支持优先级,topic
  6. 轻量,丰富的语言的API接入
  7. 日志能方便的获取,实时看到各个爬虫worker的工作状态,包括任务队列的堆积,分配,完成情况,还有节点拓扑以及节点往来的消息日志
  8. 有优秀的管理控制台

嗯,大家讨论之后的结论是选择:#zbus#

Status changed to closed

Sign in to comment

状态
Assignees
Milestones
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
Branches
Planed to start   -   Planed to end
-
Top level
Priority
参与者(2)
117 l weiwei 1578913730