实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

基于.NET的音乐搜索与播放软件（编程语言：C#，爬取4个平台：酷我/网易云/酷狗/QQ） 基本思路： 1、模拟搜索：通过关键字，获取歌曲列表 2、获取歌曲关键信息（歌曲ID之类的唯一标识） 3、使用指定方法（某个url），根据歌曲ID获取歌曲播放地址 4、将歌曲下载到本地，实现下载或播放 限制：vip音乐大多没法爬取（酷我除外），而且为试听品质 代码内容相对较少，代码编写规范，个人认为是很好的入门project

Distributed web crawler admin platform for spiders management regardless of languages and frameworks.

牛咖-neocrawler nodejs 的爬虫系统。 特点： 支持web界面方式的摘取规则配置（css selector & regex）； 包含无界面的浏览器引擎（phantomjs），支持js产生内容的抓取； 用http代理路由的方式防止抓取并发量过大的情况下被对方屏蔽； nodejs none-block 异步环境下的抓取性能比较高； 中央调度器负责网址的调度（同一时间片内一定数量的抓取任务中根据网站的权重来决定派发任务量； 支持多种抓取实例并存，定制摘取引擎和存储方式。

蓝天采集器是一款免费的数据采集发布爬虫软件，采用php+mysql开发，可部署在云服务器，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是大数据、云时代网站数据自动化采集的最佳云端爬虫软件