Python爬虫如何正确判断页面是否可以爬取？

Question

用Python27些爬虫，想要爬取一些网站，我需要判断网页是否可以爬取，第一反应是通过状态码来判断，但是写完运行后发现有许多目标网站访问它不存在的页面时会返回一个404错误页面，可他的状态码却是200，结果爬回来好多根本就不存在的页面。这个本来是网站设置的问题，但是现在也不能用状态码来判断了，请问还有什么方法可以正确判断一个页面是不是404该不该爬？

Answer 1

首先， 200 状态码，是网络连接状态， 所以你只判断200并不能满足所有网站。

其次， 写爬虫嘛， 你应该实际去看看这些网站的规则是什么，可以先人工判断下， 找找规律， 比如看看网页返回内容是不是有什么特点之类的。