609 Star 2.1K Fork 742

自风 / Spiderman2

 / 详情

根据各自需求和经验参与讨论投票项目架构设计

已完成
拥有者
创建于  
2015-12-18 09:30

根据各自对爬虫的需求以及平时使用过程中的经验,对Spiderman2做一次深度讨论,讨论产出为确认项目架构设计,以及项目的特性列表。以备第二次实现计划的讨论。

评论 (3)

特性列表基本确认为:

  1. Java API方式配置
  2. XML方式配置
  3. Db方式配置
  4. 分布式支持
  5. 状态持久化支持,可支持重新从关机状态开始采集
  6. 使用Java8语法,不支持8以下
  7. 下载和解析过程分离,异步处理,严格要求性能
  8. 提供默认解析器实现,包括HtmlCleaner,JavaXML

状态更改为 已关闭

已有结论。

登录 后才可以发表评论

状态
负责人
里程碑
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
开始日期   -   截止日期
-
置顶选项
优先级
参与者(1)
117 l weiwei 1578913730
Java
1
https://gitee.com/l-weiwei/Spiderman2.git
git@gitee.com:l-weiwei/Spiderman2.git
l-weiwei
Spiderman2
Spiderman2

搜索帮助

14c37bed 8189591 565d56ea 8189591