OpenSpiders

介绍

这是一个众多爬虫项目的代码合集，持续更新，欢迎start

软件架构

本项目是基于python框架开发的，其内容包含百度贴吧爬虫、新浪微博爬虫、知乎爬虫、前程无忧爬虫等常见的爬虫项目

多种电商商品数据🐍爬虫，整理收集爬虫练习。每个项目都是我亲手写的。通过实战项目练习解决一般爬虫中遇到的问题。

通过每个项目的readme，了解爬取过程分析。

对于精通爬虫的pyer，这将是一个很好的例子减少重复收集轮子的过程。项目经常更新维护，确保即下即用，减少爬取的时间。

对于小白通过✍️实战项目，了解爬虫的从无到有。爬虫可能是一件非常复杂、技术门槛很高的事情，但掌握正确的方法，在短时间内做到能够爬取主流网站的数据，其实非常容易实现，但建议从一开始就要有一个具体的目标。

在目标的驱动下，你的学习才会更加精准和高效。那些所有你认为必须的前置知识，都是可以在完成目标的过程中学到的😁😁😁。

本项目的部分项目借鉴了另一个项目的代码，欢迎大家去star支持 https://gitee.com/AJay13/ECommerceCrawlers

项目列表

• baidutiebaSpider:百度贴吧
• blogSpider:技术博客网站(博客园、CSDN等等)
• dingxiangyuanSpider:丁香园(肺炎疫情)
• dongfangcaifu:东方财富网
• jingdongSpider:京东
• kongqizhiliang:空气质量数据
• maijiaxiumote:买家秀模特
• moguzufang:蘑菇租房
• qianchengwuyouSpider:前程无忧
• qiantuwang:千图网
• schoolNewsAnhuiSpider:学校新闻
• tonghuashun:同花顺
• weiboSpider:新浪微博
• xiechengjipiao:携程
• yituquanjingSpider:亿图全景图库
• zhen800:zhen800
• zhihu:知乎
• doubanSpider:豆瓣影评
• proxy_pool:IP代理池

欢迎大家对本项目的不足加以指正，⭕️Issues或者🔔Pr

如果想了解更多，欢迎访问我的个人网站或者添加我的微信

个人网站

个人微信