1 Star 0 Fork 9

我主沉浮 / web-crawler

forked from rock117 / web-crawler 
加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
README.md 377 Bytes
一键复制 编辑 原始数据 按行查看 历史
rock117 提交于 2014-11-18 09:25 . Update README.md

#web-crawler 一个简单的web爬虫,采用scala + akka实现,该爬虫可以指定过滤规则,存储处理(文件存储,数据库存储。。。),例子如下 new Crawler().source(ArrayBuffer("http://money.163.com/stock/")) .processor(FileStore("d:/crawl-sites").process)
.filter((url: String) => { url.contains("163.com") }).start

1
https://gitee.com/1255480095/web-crawler.git
git@gitee.com:1255480095/web-crawler.git
1255480095
web-crawler
web-crawler
master

搜索帮助