登录 注册
开源 企业版 高校版 私有云 Gitee AI NEW
WEB应用开发
/
Web爬虫
开源许可
MulanPSL-2.0 0BSD AFL-3.0 AGPL-3.0 Apache-2.0 Artistic-2.0 BSD-2-Clause BSD-3-Clause BSD-3-Clause-Clear BSD-4-Clause BSL-1.0 CC-BY-4.0 CC-BY-SA-4.0 CC0-1.0 CECILL-2.1 CERN-OHL-P-2.0 CERN-OHL-S-2.0 CERN-OHL-W-2.0 ECL-2.0 EPL-1.0 EPL-2.0 EUPL-1.1 EUPL-1.2 GFDL-1.3 GPL-2.0 GPL-3.0 ISC LGPL-2.1 LGPL-3.0 LPPL-1.3c MIT MIT-0 MPL-2.0 MS-PL MS-RL MulanPSL-1.0 MulanPubL-1.0 MulanPubL-2.0 NCSA ODbL-1.0 OFL-1.1 OSL-3.0 PostgreSQL UPL-1.0 Unlicense Vim WTFPL Zlib
Python
全部语言 Java JavaScript HTML CSS Shell C C++ PHP C# TypeScript Go Objective-C Android Kotlin Ruby Assembly Swift NodeJS Perl Dart Lua Matlab 其他 Rust PowerShell HTML/CSS 微信 Scala Groovy C/C++ XSLT Verilog R QML Docker Pascal CoffeeScript FORTRAN Erlang ActionScript Emacs Lisp Smalltalk SQL Delphi TeX/LaTeX VHDL ASP Visual Basic M Clojure Common Lisp Haskell Awk LiveScript Elixir Scheme Julia 易语言 OCaml Puppet AutoHotkey YAML Ada Pawn Standard ML D XML Arduino Logos VimL Prolog 汇编 Haxe ColdFusion Vala Crystal Scilab Coq Racket Lisp Slash Eiffel eC DOT Zephir Nemerle
Stars
Stars 最新推荐 最近更新

好穷小子/影视资源库（站点+采集）

43
python语言，基于tornado框架，MySql数据库（peewee库操作mysql），自带网络爬虫程序
Python
Web爬虫
|
4年前
5338766 hty741203776 1640247712

Herche Jane/IntelliScraper

42
它是一个先进的网络爬虫工具，利用 BeautifulSoup 和机器学习技术实现高效的数据提取和分析。
Python
Web爬虫
|
4个月前
647119 heyzf 1578930138

dwbmio/scrapy_proj

42
因为是oschina所有都是大中文了：）起因是看到一个网站很多kindle的资源丧心病狂想占为己有全部趴下来 自然使用了scrapyscrapy刚需安装beautifulsoup刚需安装mongodb随存储方式安装python渣要开始啦
Python
Web爬虫
|
接近5年前
537766 kzeng 1660309299

kzeng/picpicker

41
根据图书ISBN抓图书封面图片的小程序
Python
Web爬虫
|
6年多前

小铭同学/WorkAggregation

40
基于数据技术的互联网行业招聘信息聚合系统，拥有爬虫、分析、可视化、互动等功能
Python
Web爬虫
|
2个月前
365569 jiangwl 1578921635

JIANGWL/ZhihuAnalyse

37
知乎用户爬虫数据分析
Python
Web爬虫
|
6年多前
6520152 lidunwei 1598347973

lidunwei/Medical-resources

34
收集及爬取开源的医学知识
Python
生物/医疗/健康 Web爬虫
|
3年多前

五十风/BeiJingSubwayFlows

32
北京地铁客流量统计（py爬虫+js统计图）
Python
Web爬虫
|
4年前

qchats/GetZPInfo

30
招聘信息抓取工具 GetZPInfo 这是一个爬虫软件，用来抓取某人力资源网站的招聘信息，并转发到本地串口连接的LED条型屏上显示。
Python
Web爬虫
|
接近11年前

king/news_spider

28
爬取各大新闻网站的数据，包括深圳新闻网、华尔街新闻等主流新闻平台数据，目前已靠此爬虫脚本采集了是几万条数据，爬虫自带增量更新功能，欢迎使用
Python
Web爬虫
|
5年前
422085 gitlwm 1637326532

liweimin/爬虫代码片段 拼多多，团油，抖店

26
pinduoduo店铺订单采集 彩妆网商品采集 团油油站油价采集 douyin 抖音店铺数据采集 往约app数据采集 快手视频批量上传 抖音视频批量上传 异步采集写真/头像 登录农业银行 钉钉商机 西煤交易定时按键 设备协会人员资质 liweimin@taiyuan
Python
Web爬虫
|
接近2年前
493224 liinux 1596087533

liinux/WebScraping

24
《Web Scraping with Python》用python写网络爬虫一书的源代码。
Python
Web爬虫
|
7年多前
11630 1992mrwang 1578914785

mrwang1992/doubangroupspider

19
一个scrapy爬虫项目，用来进行学习爬虫，提交到开源中国 是为了顺便学习git。
Python
Web爬虫
|
8年多前
1480132 china wangyu 1578952479

嗝嗝/FoolSpider

14
python 3.6 手写爬虫，傻瓜式爬虫，可自定义链接、代理、页码、数据库填充、代理IP，可抓取‘天猫’，‘京东’，‘花瓣’等优质网站，希望大家多多提交意见，完善
Python
Web爬虫
|
6年多前

XksA-me/拉钩网数据爬虫

14
爬取拉勾网数据，并进行数据分析，可视化，分析你的专业最适合去那个城市，那个岗位最火热。
Python
Web爬虫
|
接近6年前
今日热门
本周热门
AJay13/ECommerceCrawlers
4.3K
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
好穷小子/影视资源库（站点+采集）
43
python语言，基于tornado框架，MySql数据库（peewee库操作mysql），自带网络爬虫程序
梓泉没秃头/租房爬虫
48
用于租房的爬虫
shengqiangzhang/examples-of-web-crawlers
479
一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、豆瓣、QQ等网站。(Some interesting examples of python crawlers that are friendly to beginners. )
AJay13/ECommerceCrawlers
4.3K
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
shengqiangzhang/examples-of-web-crawlers
479
一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、豆瓣、QQ等网站。(Some interesting examples of python crawlers that are friendly to beginners. )
tikazyq/crawlab
778
Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架
fffonion/JJGet
31
晋江小说下载器 镜像自 https://github.com/fffonion/jjget
小铭同学/WorkAggregation
40
基于数据技术的互联网行业招聘信息聚合系统，拥有爬虫、分析、可视化、互动等功能
好穷小子/影视资源库（站点+采集）
43
python语言，基于tornado框架，MySql数据库（peewee库操作mysql），自带网络爬虫程序
梓泉没秃头/租房爬虫
48
用于租房的爬虫
惊鸿一回车/WeChat_Article
165
爬取微信公众号文章
小码编程/scrapy_zhaopin
233
基于Python和Echarts职位画像系统，使用Scrapy抓取职位招聘数据，使用Django+echarts完成数据可视化
resolvewang/WeiboSpider
356
分布式微博爬虫。抓取内容包括微博用户资料、微博信息、评论信息和转发信息。目前专注于微博数据抓取本身，正在快速迭代。如果觉得有帮助，不妨到github上给我点个star，osc上可能不会再继续更新了
点此查找更多帮助

搜索帮助

Git 命令在线学习 如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大，如何减小？
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release（发行版）
将 PHP 项目自动发布到 packagist.org
回到顶部
53164aa7 5694891 3bd8fe86 5694891