代码拉取完成,页面将自动刷新
首先是通过一个主文件传入操作类型,然后从配置文件里拿配置信息。
先拉取用户名,然后通过这个信息拉取用户详细信息。
这是第一个表的内容
先在数据库写三五个种子用户名,然后通过数据库拿到这几个种子用户名,放入redis的链表结构中,
然后对redis的数据一个一个进行循环,每个用户名被拼接成url
,随后curl就可以运行起来了。
获取到的页面信息传给分析器进行正则判断处理,随后发送回去。然后控制器把他们存入数据库。
当redis里的数据用完了就再从数据库拿数据。这时候数据库中就有上一轮存入的数据了。
如此循环,直到达到配置文件中要求。
性能问题大大的。只是服务器不太好。不敢上多线程了。
我对于算法不算很懂,不过好歹知道一些性能问题,能在内存里运行的运算就放内存里了。
之前学了一些设计模式,用起来简直不要太爽!
跑在了阿里云的学生机上,好棒
https://github.com/AnnatarHe/zhihuCrawler.git
运行Database
里面的数据库创建的一些东西
运行index.php
php index.php&
在index.php里有一个常量定义:
define(DEBUG, true);
真正跑数据的时候关掉,就好了
app\Config\里面有一些配置项,需要可以用
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。