1.memcached详细介绍。
引用 通常的网页缓存方式有动态缓存和静态缓存等几种,在ASP.NET中已经可以实现对页面局部进行缓存,而使用memcached的缓存比 ASP.NET的局部缓存更加灵活,可以缓存任意的对象,不管是否在页面上输出。而memcached最大的优点是可以分布式的部署,这对于大规模应用来 说也是必不可少的要求。 LiveJournal.com使用了memcached在前端进行缓存,取得了良好的效果,而像wikipedia,sourceforge等也采用了或即将采用memcached作为缓存工具。memcached可以大规模网站应用发挥巨大的作用。 Memcached是什么? Memcached是高性能的,分布式的内存对象缓存系统,用于在动态应用中减少数据库负载,提升访问速度。 Memcached由Danga Interactive开发,用于提升LiveJournal.com访问速度的。LJ每秒动态页面访问量几千次,用户700万。Memcached将数据库负载大幅度降低,更好的分配资源,更快速访问。 如何使用memcached-Server端? 在服务端运行: # ./memcached -d -m 2048 -l 10.0.0.40 -p 11211 这将会启动一个占用2G内存的进程,并打开11211端口用于接收请求。由于32位系统只能处理4G内存的寻址,所以在大于4G内存使用PAE的32位服务器上可以运行2-3个进程,并在不同端口进行监听。 如何使用memcached-Client端? 在应用端包含一个用于描述Client的Class后,就可以直接使用,非常简单。 PHP Example: $options["servers"] = array("192.168.1.41:11211", "192.168.1.42:11212"); $options["debug"] = false; $memc = new MemCachedClient($options); $myarr = array("one","two", 3); $memc->set("key_one", $myarr); $val = $memc->get("key_one"); print $val[0]."/n"; // prints 'one‘ print $val[1]."/n"; // prints 'two‘ print $val[2]."/n"; // prints 3 为什么不使用数据库做这些? 暂且不考虑使用什么样的数据库(MS-SQL, Oracle, Postgres, MysQL-InnoDB, etc..), 实现事务(ACID,Atomicity, Consistency, Isolation, and Durability )需要大量开销,特别当使用到硬盘的时候,这就意味着查询可能会阻塞。当使用不包含事务的数据库(例如Mysql-MyISAM),上面的开销不存在,但 读线程又可能会被写线程阻塞。 Memcached从不阻塞,速度非常快。 为什么不使用共享内存? 最初的缓存做法是在线程内对对象进行缓存,但这样进程间就无法共享缓存,命中率非常低,导致缓存效率极低。后来出现了共享内存的缓存,多个进程或者线程共享同一块缓存,但毕竟还是只能局限在一台机器上,多台机器做相同的缓存同样是一种资源的浪费,而且命中率也比较低。 Memcached Server和Clients共同工作,实现跨服务器分布式的全局的缓存。并且可以与Web Server共同工作,Web Server对CPU要求高,对内存要求低,Memcached Server对CPU要求低,对内存要求高,所以可以搭配使用。 Mysql 4.x的缓存怎么样? Mysql查询缓存不是很理想,因为以下几点: 当指定的表发生更新后,查询缓存会被清空。在一个大负载的系统上这样的事情发生的非常频繁,导致查询缓存效率非常低,有的情况下甚至还不如不开,因为它对cache的管理还是会有开销。 在32位机器上,Mysql对内存的操作还是被限制在4G以内,但memcached可以分布开,内存规模理论上不受限制。 Mysql上的是查询缓存,而不是对象缓存,如果在查询后还需要大量其它操作,查询缓存就帮不上忙了。 如果要缓存的数据不大,并且查询的不是非常频繁,这样的情况下可以用Mysql 查询缓存,不然的话memcached更好。 数据库同步怎么样? 这里的数据库同步是指的类似Mysql Master-Slave模式的靠日志同步实现数据库同步的机制。 你可以分布读操作,但无法分布写操作,但写操作的同步需要消耗大量的资源,而且这个开销是随着slave服务器的增长而不断增长的。 下一步是要对数据库进行水平切分,从而让不同的数据分布到不同的数据库服务器组上,从而实现分布的读写,这需要在应用中实现根据不同的数据连接不同的数据库。 当这一模式工作后(我们也推荐这样做),更多的数据库导致更多的让人头疼的硬件错误。 Memcached可以有效的降低对数据库的访问,让数据库用主要的精力来做不频繁的写操作,而这是数据库自己控制的,很少会自己阻塞 自己。 Memcached快吗? 非常快,它使用libevent,可以应付任意数量打开的连接(使用epoll,而非poll),使用非阻塞网络IO,分布式散列对象到不同的服务器,查询复杂度是O(1)。(于敦德) 参考资料: Distributed Caching with Memcached | Linux Journal http://www.danga.com/ http://www.linuxjournal.com/article/74512.memcached在freebsd下的安装:
引用 步骤1:安装memcached 代码: # cd /usr/ports/databases/memcached/ # make install 步骤2:启动memcached 代码: #/usr/bin/memcached -d -m 128 -l 192.168.1.1 -p 11211 -u httpd 参数解释: -d 以守护程序(daemon)方式运行 memcached; -m 设置 memcached 可以使用的内存大小,单位为 M; -l 设置监听的 IP 地址,如果是本机的话,通常可以不设置此参数; -p 设置监听的端口,默认为 11211,所以也可以不设置此参数; -u 指定用户,如果当前为 root 的话,需要使用此参数指定用户。 以上以完成了memcached的安装及启动! 使用时按要求填上IP与端口既可3.memcached 的工作原理首先 memcached 是以守护程序方式运行于一个或多个服务器中,随时接受客户端的连接操作,客户端可以由各种语言编写,目前已知的客户端 API 包括 Perl/PHP/Python/Ruby/Java/C#/C 等等。PHP 等客户端在与 memcached 服务建立连接之后,接下来的事情就是存取对象了,每个被存取的对象都有一个唯一的标识符 key,存取操作均通过这个 key 进行,保存到 memcached 中的对象实际上是放置内存中的,并不是保存在 cache 文件中的,这也是为什么 memcached 能够如此高效快速的原因。注意,这些对象并不是持久的,服务停止之后,里边的数据就会丢失。4.安装php对memcache支持模块有两种方法可以使 PHP 作为 memcached 客户端,调用 memcached 的服务进行对象存取操作。第一种,PHP 有一个叫做 memcache 的扩展,Linux 下编译时需要带上 –enable-memcache[=DIR] 选项,Window 下则在 php.ini 中去掉 php_memcache.dll 前边的注释符,使其可用。http://pecl.php.net/package/memcache除此之外,还有一种方法,可以避开扩展、重新编译所带来的麻烦,那就是直接使用 php-memcached-client。http://nio.infor96.com/wp-content/uploads/2006/04/memcached-client.zip本文选用第二种方式,虽然效率会比扩展库稍差一些,但问题不大。5.PHP memcached 应用示例
引用 首先 下载 memcached-client.php,在下载了 memcached-client.php 之后,就可以通过这个文件中的类“memcached”对 memcached 服务进行操作了。其实代码调用非常简单,主要会用到的方法有 add()、get()、replace() 和 delete(),方法说明如下: add ($key, $val, $exp = 0) 往 memcached 中写入对象,$key 是对象的唯一标识符,$val 是写入的对象数据,$exp 为过期时间,单位为秒,默认为不限时间; get ($key) 从 memcached 中获取对象数据,通过对象的唯一标识符 $key 获取; replace ($key, $value, $exp=0) 使用 $value 替换 memcached 中标识符为 $key 的对象内容,参数与 add() 方法一样,只有 $key 对象存在的情况下才会起作用; delete ($key, $time = 0) 删除 memcached 中标识符为 $key 的对象,$time 为可选参数,表示删除之前需要等待多长时间。 下面是一段简单的测试代码,代码中对标识符为 'mykey' 的对象数据进行存取操作: // 包含 memcached 类文件require_once('memcached-client.php');// 选项设置$options = array( 'servers' => array('192.168.1.1:11211'), //memcached 服务的地址、端口,可用多个数组元素表示多个 memcached 服务 'debug' => true, //是否打开 debug 'compress_threshold' => 10240, //超过多少字节的数据时进行压缩 'persistant' => false //是否使用持久连接 );// 创建 memcached 对象实例$mc = new memcached($options);// 设置此脚本使用的唯一标识符$key = 'mykey';// 往 memcached 中写入对象$mc->add($key, 'some random strings');$val = $mc->get($key);echo "n".str_pad('$mc->add() ', 60, '_')."n";var_dump($val);// 替换已写入的对象数据值$mc->replace($key, array('some'=>'haha', 'array'=>'xxx'));$val = $mc->get($key);echo "n".str_pad('$mc->replace() ', 60, '_')."n";var_dump($val);// 删除 memcached 中的对象$mc->delete($key);$val = $mc->get($key);echo "n".str_pad('$mc->delete() ', 60, '_')."n";var_dump($val);?> 是不是很简单,在实际应用中,通常会把数据库查询的结果集保存到 memcached 中,下次访问时直接从 memcached 中获取,而不再做数据库查询操作,这样可以在很大程度上减轻数据库的负担。通常会将 SQL 语句 md5() 之后的值作为唯一标识符 key。下边是一个利用 memcached 来缓存数据库查询结果集的示例(此代码片段紧接上边的示例代码): $sql = 'SELECT * FROM users'; $key = md5($sql); //memcached 对象标识符 if ( !($datas = $mc->get($key)) ) { // 在 memcached 中未获取到缓存数据,则使用数据库查询获取记录集。 echo "n".str_pad('Read datas from MySQL.', 60, '_')."n"; $conn = mysql_connect('localhost', 'test', 'test'); mysql_select_db('test'); $result = mysql_query($sql); while ($row = mysql_fetch_object($result)) $datas[] = $row; // 将数据库中获取到的结果集数据保存到 memcached 中,以供下次访问时使用。 $mc->add($key, $datas); } else { echo "n".str_pad('Read datas from memcached.', 60, '_')."n"; } var_dump($datas); ?> 可以看出,使用 memcached 之后,可以减少数据库连接、查询操作,数据库负载下来了,脚本的运行速度也提高了。6.使用memcache情况,计数器、数据压缩的例子
引用 使用情况一:统计 //访问统计 $memcache = new Memcache; $memcache->connect('localhost', 11211) or die ("Could not connect"); if($s=$memcache->get('a')) { $s=$s+1; $memcache->set('a',$s); } else $memcache->set('a',1); echo '访问结果为:'.$s; ?> 其实我们可以用increment方法代替上面的做法 $memcache = new Memcache; $memcache->connect('localhost', 11211) or die ("Could not connect"); if($s=$memcache->increment('a',1)) { echo $s; } else $memcache->set('a',1); ?> 数据压缩: $memcache = new Memcache; $memcache->connect('localhost', 11211) or die ("Could not connect"); $test=(str_repeat('jetwong',100000)); $memcache->set('b',($test)); ?> 使用压缩: $memcache = new Memcache; $memcache->connect('localhost', 11211) or die ("Could not connect"); $test=(str_repeat('jetwong',100000)); $memcache->set('b',($test),MEMCACHE_COMPRESSED); ?> 使用情况说明: 前台比较 目前内存bytes 总共读取bytes_read 总共写入bytes_written 压缩前 700085 700081 416 压缩后 1131 1125 13 可能看到压缩后明显占用内存少了不少 Memcache内存的更新清理(delete flush) $memcache = new Memcache; $memcache->connect('localhost', 11211) or die ("Could not connect"); /*设置值*/ $status = $memcache->getStats(); echo '设置前内存使用情况'.$status['bytes'].' '; echo '设置后'; for($i=0;$i<9;$i++) { $memcache->set('b'.$i,rand(1,99)); echo ' '.$i.'->'.$memcache->get('b'.$i); } /*查看设置的值*/ $status = $memcache->getStats(); echo 'delete前内存使用情况'.$status['bytes'].' '; echo ' 开始delete'; for($i=0;$i<9;$i++) { $memcache->delete('b'.$i); echo ' '.$i.'->'.$memcache->get('b'.$i); } /*查看flush使用的情况*/ $status = $memcache->getStats(); echo '使用flush前内存使用情况'.$status['bytes'].' '; echo '使用flush情况:'; for($i=0;$i<9;$i++) { $memcache->set('b'.$i,rand(1,99)); echo ' '.$i.'->'.$memcache->get('b'.$i); } $memcache->flush(); echo 'flush之后:'; for($i=0;$i<9;$i++) { echo ' '.$i.'->'.$memcache->get('b'.$i); } $status = $memcache->getStats(); echo 'flush后内存使用情况'.$status['bytes'].' '; ?> 内存超量的测试(set) 我们把内存设为2M ./memcached -d -m 2 -p 11211 -u root $memcache = new Memcache; $memcache->connect('localhost', 11211) or die ("Could not connect"); //600K左右 $test1= str_repeat('jetlee',100000); //600K左右 $test2= str_repeat('jetlee',100000); //600K左右 $test3= str_repeat('李连杰',200000); //600K左右 $test4= str_repeat('连杰李',100000); //200K $test5= file_get_contents('http://img.pconline.com.cn/images/photoblog/2988177/20068/4/1154688770042_mthumb.JPG'); $test6= file_get_contents('http://img.pconline.com.cn/images/photoblog/1767557/20069/28/1159417108902_mthumb.jpg'); for($i=1;$i<=6;$i++) { $j='test'.$i; if($memcache->set($j,$$j)) { echo $j.'->设置成功 '; $status = $memcache->getStats(); echo '内存:'.$status['bytes'].' '; } else { echo $j.'->设置失败 '; } } ?> 执行结果: test1->设置成功 内存:600042 test2->设置成功 内存:1200084 test3->设置失败 test4->设置成功 内存:1200084 test5->设置失败 test6->设置失败 刚好印证我们的计算,不过20万的repeat为什么会失败,不是太了解,,,,,, 总结: 示例: //设置篇 if($data = $memcache->get('k',$v)) { //显示我们的数据 } else { $data = get_from_database; //得到数据源 if(!$memcache->set('k',$data), MEMCACHE_COMPRESSED) //开始设置 log(); //不成功,记录失败信息 } ?>加我QQ:287363交流。
转。。。。。。。。