网页采集基础
网页采集是指将某个网页上的数据通过获取网页源码,并对源码进行分析得到我们需要的数据,并将数据写入数据库,以及后续的数据校验和质量监测等系列的过程.
首先,网页采集我们需要具备以下几个方面的能力.
1.熟练掌握正则表达式.
2.熟悉网也请求流程,
3.熟悉多线程相关知识
辅助工具
1.firefor+firebug
2.IE8+Httpwatch
3.正则表达式书写工具
就目前比较长见的获取网页源码主要有两种方式:
1.使用WebBrowser控件获取网页源码,
2.模拟HTTP请求,获取返回的网页源码
两种方式分析:
webbrowser这种方式简单,比较好理解,获取源码比较简单.能够自动保存COOKIE信息,可以实现按钮的模拟点击等行为.缺点是目前该控件对多线程支持不友好,在多任务调度时容易出现异常,另外 webbrowser会下载改地址上的所有资源,下载时间较长.
模拟HTTP请求,要求获取真实的页面地址,对于Ajax页面找真实页面地址难度被加大.另外cookie信息需要自己保存,优点是对多线程支持友好,不下载无关的图片,flash等资源,加快源码获取速度.
