471 flashsword20 1578913802
webmagic 是一个无须配置、便于二次开发的爬虫框架,它提供简单灵活的API,只需少量代码即可实现一个爬虫。
over 2 years ago 53 issues
117 l weiwei 1578913730
强力 Java 爬虫,列表分页、详细页分页、ajax、微内核高扩展、配置灵活
8 months ago 4 issues
291351 ssssssss team 1589614030
新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。
15 days ago 13 issues
117 l weiwei 1578913730
二代蜘蛛侠,此版本完全重新开发,比上一代更加强大(性能,易用,架构,分布式,简洁,成熟)
over 1 year ago 30 issues
666978 xtuhcy 1578930371
Gecco 是一款用java语言开发的轻量化的易用的网络爬虫,整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架。
1 month ago 6 issues
429922 mail osc 1578923571
扒网站工具,看好哪个网站,指定好URL,自动扒下来做成模版。所见网站,皆可为我所用!
over 1 year ago 4 issues
分布式爬虫系统,简单使用,高级配置。可扩展,减轻开发量,能docker化,适应各种急切需求核心框架:WebMagic, Spring Boot ,MongoDB, ActiveMQ ,Spring + Quartz,Spring Jpa , Druid,Redis, Ehcache ,SLF4J、Log4j2, Bootstrap + Jquery 等,不详细列举了
over 1 year ago 3 issues
493224 liinux 1596087533
专门用来解决爬虫采集相关网站数据时模拟自动登录,验证码自动识别的问题;欢迎加入一起开发完善。
8 months ago
400404 zhiyubujian 1578922729
风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。
3 days ago 优化任务停止机制 updated on Jun 30 2 issues
357525 zongtui 1578921330
基于hadoop思维的分布式网络爬虫。
4 years ago
zhihu-crawler是一个基于Java的爬虫实战项目,主要功能是抓取知乎用户的基本资料。
over 1 year ago
378604 xuxueli0323 1578922035
一个分布式爬虫框架。一行代码开发一个分布式爬虫,拥有"多线程、异步、IP动态代理、分布式、JS渲染"等特性;
almost 2 years ago
A java crawler for infomation collection.
2 years ago 2 issues
2040377 code4everything 1578991454
用JavaFX开发基于crawler4j的图形化的网络爬虫
almost 2 years ago 新增自定义 updated on Apr 17
454392 virjar 1578924389
适合抓取封堵的爬虫框架
over 1 year ago 0.3.0发布 updated on May 13

Search