Fetch the repository succeeded.
This action will force synchronization from sevendlong/booyo, which will overwrite any changes that you have made since you forked the repository, and can not be recovered!!!
Synchronous operation will process in the background and will refresh the page when finishing processing. Please be patient.
#booyo
booyo是一套基于mongodb、zookeeper、hbase、activemq、solr构建的分布式采集系统,目前还在开发中。 原型请查看doc/原型设计/booyo
##模块
###调度 负责总控
###爬虫 基于高匿代理的大规模集群爬取,
###存储 同步存储到mongodb和hbase
###解析 基于模板解析文本,提取结构化数据
###导出 导出到mysql、mongodb、solr、elsticsearch、hbase
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。