Issues · 自风/Spiderman2 - Gitee.com

以AI为帆，启航新时代，Gitee11周年直播特别活动将于今晚八点开始，点击了解更多

开源项目 > WEB应用开发 > Web爬虫 &&

提过问题：我配置了一个抽取模板，抽取页面上的一个小说页面列表数据，要保存书名，作者等等信息。问题是，你这框架怎么做的循环解析页面上的每本书籍信息的。

置顶

question

#IBC98 5

在Idea里由于pom的依赖scope为provided导致运行时无法找到zbus类的问题

置顶

bug

#IBP4P

如何保存某个xpath下包含html标签的内容

置顶

question

#IBZ99 3

关于元素重复问题的集中回复

置顶

question

#IFI1C

负责人：

Chrome获取XPath的方法

置顶

question

#IG3B4

需要登录的网站能爬吗？

置顶

question

#I8WFG 7

关于Spiderman对于【深度优先、广度优先】的解释说明

置顶

question

#IG3D0

ChromeDriver下载地址

置顶

question

#IBZBR

根据各自需求和经验参与讨论投票项目架构设计

question

#I82HL 3

负责人：

maven pom里缺少jdk8的指明

bug

#I860G 2

负责人：

单机版支持队列持久化，重启可从断点位置继续抓取

feature

#I865C 4

负责人：

分布式版的队列实现选型

feature

#I865G 3

负责人：

关于URL去重的思路

feature

#I872A 2

负责人：

改进配置文件设计

feature

#I87JY 2

关于插件扩展的思考

feature

#I87KY 3

Spiderman2整个架构的设计思路

question

#I87LZ 12

支持动态代理

feature

#I8992 1

负责人：

全面转向Java8

enhancement

#I89VH 3

改用事件机制来驱动Worker的工作，避免使用任何的Thread.sleep操作

wontfix

#I8AC1 7

记录几个思考

feature

#I8AJC 4

Java

1

https://gitee.com/l-weiwei/Spiderman2.git

git@gitee.com:l-weiwei/Spiderman2.git

l-weiwei

Spiderman2

Spiderman2