速云优网站的垂直爬取网页程序，提供UI来管理爬取的网站和爬取文章内容的规则。通过jsoup来获取标题和内容，主要是通过选择器获取。链接的提取通过正则表达式来匹配，[如：http://www.runoob.com/java/[\w|\d|-]+.html] 代表匹配java/后面的任意字符的html结尾的地址。标题选择器：#content>h1，代表获取内容里ID为content，并找到下面的h1标签的内容为标题内容选择器：#content，代表获取内容里ID为content的内容为内容爬取的内容会保存到数据库中[具体表为page_info]。如果需要更多的提取页面内容规则可以在[com.suyunyou.spider.plugins.page]包下写自己的插件，在SpiderUtil.addSiteFetcherPage(...)方法中添加使用。如果需要更多的提取内容的链接的规则可以在[com.suyunyou.spider.plugins.link]包下写自己的插件。提取微信公众号信息，通过LinkWeixinPlugin插件提炼链接

登录地址：http://127.0.0.1:6080/账户：admin密码：123456

开发链接管理功能，要可以批量删除链接等将文章和域名关联起来开发提取网站的内容列表预览开发网页管理，添加提取的网站定义提取内容的链接的规则定义提取内容的格式根据提供的链接分析改链接下面的字连接，同时下载对应的页面到内存中。

分布式需要处理的地方	重置爬虫	爬取网页的地址的分配