最近要开始Web Spider的开发工作，陆续收集了一些资料，分享一下，等Spider开发完毕后再将开发心得整理一下。
The Web Robots Pages : http://www.robotstxt.org/wc/robots.html ,一些很好的规则定义以及定义了Robots协议
Guidelines for Robot Writers : http://www.robotstxt.org/wc/guidelines.html
SearchTools.com: http://www.searchtools.com/robots/ ,All About Search Indexing Robots and Spiders
中文搜索引擎技术揭密：网络蜘蛛
中文搜索引擎技术揭密： 中文分词
中文搜索引擎技术揭密：排序技术
中文搜索引擎技术揭密：系统架构
