代码拉取完成,页面将自动刷新
基于数据技术的互联网行业招聘信息聚合系统
本系统以Python为核心,依托web展示,所有功能在网页就可以完成操作,爬虫、分析、可视化、互动独立成模块,互通有无。具体依托python的丰富库实现,爬虫使用Requests爬取,使用lxml、beautifulsoup4解析。使用numpy、pandas分析数据,使用pyecharts做可视化,使用Flask进行web后台建设。数据通过csv、MySQL、配置文件来进行存储互通。
为了拓展功能编写了定时器,微信推送,为了适应团队合作编写了函数注册器,参数迭代器。爬虫数据来自前程无忧、齐鲁人才网、猎聘网、拉勾网等等网站,需要的基本数据一应俱全。
系统大致结构如下图,spider目录存放爬虫代码,analysis目录承担了导入、分析、渲染图表、交互等功能,data目录存放原始数据,conf目录存放图表、mysql配置文件。导入处理分析入口统一由analysis_main控制,由server调用,其他功能直接由server调用,所有功能在主页就可以启动。
鸣谢 server酱、 pyechart 、腾讯云等的产品或技术支持
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。
1. 开源生态
2. 协作、人、软件
3. 评估模型