牛咖-neocrawler nodejs 的爬虫系统。 特点: 支持web界面方式的摘取规则配置(css selector & regex); 包含无界面的浏览器引擎(phantomjs),支持js产生内容的抓取; 用http代理路由的方式防止抓取并发量过大的情况下被对方屏蔽; nodejs none-block 异步环境下的抓取性能比较高; 中央调度器负责网址的调度(同一时间片内一定数量的抓取任务中根据网站的权重来决定派发任务量; 支持多种抓取实例并存,定制摘取引擎和存储方式。
最近更新: 接近7年前Java EE(J2EE)快速开发框架,集结最新主流时尚开源技术:Spring、Spring MVC、Apache Shiro、MyBatis、Bootstrap UI等。支持应用集群,满足互联网应用开放,快速开发的原则,是学习和二次开发的首选框架。(项目持续更新中.....)
最近更新: 7年多前微信管理中心 - accesstoken 集中管理服务器。使用spring-boot,简单配置即可运行。可用作服务器微服务,避免资源浪费,统一管理微信accesstoken
最近更新: 8年前