/ 详情

根据各自需求和经验参与讨论投票项目架构设计

Done
owner
Opened this issue  
2015-12-18 09:30

根据各自对爬虫的需求以及平时使用过程中的经验,对Spiderman2做一次深度讨论,讨论产出为确认项目架构设计,以及项目的特性列表。以备第二次实现计划的讨论。

Comments (3)

特性列表基本确认为:

  1. Java API方式配置
  2. XML方式配置
  3. Db方式配置
  4. 分布式支持
  5. 状态持久化支持,可支持重新从关机状态开始采集
  6. 使用Java8语法,不支持8以下
  7. 下载和解析过程分离,异步处理,严格要求性能
  8. 提供默认解析器实现,包括HtmlCleaner,JavaXML

Status changed to closed

已有结论。

Sign in to comment

状态
Assignees
Milestones
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
Branches
Planed to start   -   Planed to end
-
Top level
Priority
参与者(1)
117 l weiwei 1578913730