10 Star 14 Fork 9

rock117 / web-crawler

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
README.md 377 Bytes
一键复制 编辑 原始数据 按行查看 历史
rock117 提交于 2014-11-18 09:25 . Update README.md

#web-crawler 一个简单的web爬虫,采用scala + akka实现,该爬虫可以指定过滤规则,存储处理(文件存储,数据库存储。。。),例子如下 new Crawler().source(ArrayBuffer("http://money.163.com/stock/")) .processor(FileStore("d:/crawl-sites").process)
.filter((url: String) => { url.contains("163.com") }).start

Scala
1
https://gitee.com/rock117/web-crawler.git
git@gitee.com:rock117/web-crawler.git
rock117
web-crawler
web-crawler
master

搜索帮助