1452510 unlimitedbladeworks 123 1578951824
12
爬虫框架,通用爬虫框架,设计参考八爪鱼、火车头等爬虫软件,采用“页面+接口”可以混用的方式进行采集数据。 任务因中断导致没采集完数据,后续执行不重复采集相同数据。
5 hours ago
400404 zhiyubujian 1578922729
458
风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。
11 days ago 增加附带数据功能 updated on Oct 09 3 issues
0
基于java的爬虫系统,可爬取国内主流视频网站的视频数据,目前支持爬取豆瓣、猫眼、IMDB、百度百科、优酷、电视猫数据。
16 days ago
121703 javacoo 1578918498
173
丑牛迷你采集器是一款基于Java Swing开发的专业的网络数据采集/信息挖掘处理软件,通过灵活的配置,可以很轻松迅速地从 网页上抓取结构化的文本、图片、文件等资源信息,可编辑筛选处理后选择发布到网站
1 month ago
3
Java Headless 浏览器 抓取页面
1 month ago 1 issue
70
springboot【小说阅读网站】,多线程抓取小说数据(单本或者批量),持久化到MySQL数据库,能定时跟源站数据同步=小说定时更新。通过jsoup采集数据到mysql数据,redis作为缓存框架,减轻服务器压力。部署在linux,网站UI套纵横中文网!
1 month ago
0
2020年最新全各大(12306、携程、去哪儿)官网爬取/解析全路客运车站/车次、时刻表信息及数据实时同步
2 months ago
7979379 daileyet 1598444172
0
Precious metal price spider and provider service to look up
2 months ago
1981977 taisan 1591943162
12
爬虫项目,微信公众号文章爬虫,网站文章爬虫,群发邮件系统
2 months ago 2 issues
3
web网络爬虫,精简,快速上手;Jsoup实现,支持cssQuery语法,支持爬取数据到数据域(Bean对象)的动态和静态转化,支持IP代理,支持数据爬取和解析时监控,;完整示例:简单使用示例,小说爬取示例,IP代理池爬取示例;
2 months ago
1620924 yster 1596384649
132
一款小巧、灵活的Java多线程爬虫框架(AiPa)内嵌Jsoup 零成本上手
3 months ago
1441856 r hao 1578990473
95
hao分布式爬虫系统
3 months ago
291351 ssssssss team 1589614030
新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。
3 months ago 12 issues
0
zeus采集器是一款免费的数据采集发布爬虫软件
3 months ago
666978 xtuhcy 1578930371
Gecco 是一款用java语言开发的轻量化的易用的网络爬虫,整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架。
4 months ago 6 issues

Search