最近在用php做网站抓取,使用的是CURL。但是数据抓取的效率太低,分析了一下发现:网速问题最大的瓶颈,但这个我无能为力;但是后来我发现,其实除了网速,提高代码内部执行的效率也很重要。
举例说明吧,先来看看我最原始的代码:
<?php
$s=gettime();$url="http://localhost/index.html";for($i=1;$i<=10000;$i++){ gethtml($url); }$e=gettime();echo $e-$s."/n";function gethtml($url){ $ch=curl_init($url); curl_setopt($ch,CURLOPT_HEADER,0); curl_setopt($ch,CURLOPT_RETURNTRANSFER,1); $html=curl_exec($ch); curl_close($ch); return $html;}function gettime(){ list($sec,$usec)=explode(" ",microtime()); return $sec+$usec;}?>
为了取消网速的影响,所以抓取的页面改成本地,index.html文件内空为空。
上面代码执行时间最短是3秒,最长的一次是30秒,不过总体来说还是3秒的时候比较多。
后来我对代码优化了一下,将curl的声明放到了循环的外面,如下:
<?php
$s=gettime();$url="http://localhost/index.html";$ch=curl_init($url);for($i=1;$i<=10000;$i++){ gethtml($url,$ch);}
curl_close($ch);$e=gettime();echo $e-$s."/n";function gethtml($url,$ch){ curl_setopt($ch,CURLOPT_HEADER,0); curl_setopt($ch,CURLOPT_RETURNTRANSFER,1); $html=curl_exec($ch); return $html;}function gettime(){ list($sec,$usec)=explode(" ",microtime()); return $sec+$usec;}?>
这样修改以后,代码的执行时间基本在1.5秒左右,相对于第一段代码,效率提高了一倍。
为了做个对比,说明是函数调用还是循环内初始化curl浪费了时间,所以对上面代码作了如下修改:
<?php
$s=gettime();$url="http://localhost/index.html";for($i=1;$i<=10000;$i++){ $ch=curl_init($url); gethtml($url,$ch); curl_close($ch);}$e=gettime();echo $e-$s."/n";function gethtml($url,$ch){ curl_setopt($ch,CURLOPT_HEADER,0); curl_setopt($ch,CURLOPT_RETURNTRANSFER,1); $html=curl_exec($ch); return $html;}function gettime(){ list($sec,$usec)=explode(" ",microtime()); return $sec+$usec;}?>
上面代码与第一段代码效率没有太大差别,最短为3秒,最长我见过33秒,以3秒左右居多。
由此可见,在循环体内的函数调用并不会影响代码的执行效率。
但是在循环内声明变量、初始化变量,特别是初始化大型的变量/对象/资源(如curl,mysql等),会很大程序上影响代码的执行效率。