速云优网络爬虫 - 功能简介

速云优网站的垂直爬取网页程序，提供UI来管理爬取的网站和爬取文章内容的规则。
通过jsoup来获取标题和内容，主要是通过选择器获取。
链接的提取通过正则表达式来匹配，[如：http://www.runoob.com/java/[\w|\d|-]+.html] 代表匹配java/后面的任意字符的html结尾的地址。
标题选择器：#content>h1，代表获取内容里ID为content，并找到下面的h1标签的内容为标题
内容选择器：#content，代表获取内容里ID为content的内容为内容
爬取的内容会保存到数据库中[具体表为page_info]。
如果需要更多的提取页面内容规则可以在[com.suyunyou.spider.plugins.page]包下写自己的插件，在SpiderUtil.addSiteFetcherPage(...)方法中添加使用。
如果需要更多的提取内容的链接的规则可以在[com.suyunyou.spider.plugins.link]包下写自己的插件。

提取微信公众号信息，通过LinkWeixinPlugin插件提炼链接

登录地址：http://127.0.0.1:6080/
账户：admin
密码：123456

开发链接管理功能，要可以批量删除链接等
将文章和域名关联起来
开发提取网站的内容列表预览
开发网页管理，添加提取的网站
定义提取内容的链接的规则
定义提取内容的格式
根据提供的链接分析改链接下面的字连接，同时下载对应的页面到内存中。

分布式需要处理的地方
	重置爬虫
	爬取网页的地址的分配