Issues · 自风/Spiderman2 - Gitee.com

开源项目 > WEB应用开发 > Web爬虫 &&

在Idea里由于pom的依赖scope为provided导致运行时无法找到zbus类的问题

置顶

bug

#IBP4P

如何保存某个xpath下包含html标签的内容

置顶

question

#IBZ99 3

提过问题：我配置了一个抽取模板，抽取页面上的一个小说页面列表数据，要保存书名，作者等等信息。问题是，你这框架怎么做的循环解析页面上的每本书籍信息的。

置顶

question

#IBC98 5

需要登录的网站能爬吗？

置顶

question

#I8WFG 7

根据各自需求和经验参与讨论投票项目架构设计

question

#I82HL 3

负责人：

maven pom里缺少jdk8的指明

bug

#I860G 2

负责人：

单机版支持队列持久化，重启可从断点位置继续抓取

feature

#I865C 4

负责人：

分布式版的队列实现选型

feature

#I865G 3

负责人：

关于URL去重的思路

feature

#I872A 2

负责人：

改进配置文件设计

feature

#I87JY 2

关于插件扩展的思考

feature

#I87KY 3

Spiderman2整个架构的设计思路

question

#I87LZ 12

支持动态代理

feature

#I8992 1

负责人：

全面转向Java8

enhancement

#I89VH 3

改用事件机制来驱动Worker的工作，避免使用任何的Thread.sleep操作

wontfix

#I8AC1 7

对于关键词搜索结果的采集需求

feature

#I8B70 2

K.readLine和所有的new File操作都存在一个路径问题

bug

#I8BJO 2

部分测试留下的代码清理

enhancement

#I8BNP 2

在不去重场景下的问题

bug

#I8BZ0 7

单篇文章分页支持

feature

#I8CTP 3

Java

1

https://gitee.com/l-weiwei/Spiderman2.git

git@gitee.com:l-weiwei/Spiderman2.git

l-weiwei

Spiderman2

Spiderman2