2014-09-05
在我和我的小伙伴们如火如荼的开发、测试时发生了“mysql server too many connections”的错误,稍微排查了一下,发现是php后台进程建立了大量的链接,而没有关闭。服务器环境大约如下php5.3.x 、mysqli API、mysqlnd 驱动。代码情况是这样:
//后台进程A/*配置信息'mysql'=>array( 'driver'=>'mysqli',// 'driver'=>'pdo',// 'driver'=>'mysql', 'host'=>'192.168.111.111', 'user'=>'root', 'port'=>3306, 'dbname'=>'dbname', 'socket'=>'', 'pass'=>'pass', 'persist'=>true, //下面有提到哦,这是持久链接的配置 ),*/$config=Yaf_Registry::get('config');$driver = Afx_Db_Factory::DbDriver($config['mysql']['driver']); //mysql mysqli$driver::debug($config['debug']); //注意这里$driver->setConfig($config['mysql']); //注意这里Afx_Module::Instance()->setAdapter($driver); //注意这里,哪里不舒服,就注意看哪里。$queue=Afx_Queue::Instance();$combat = new CombatEngine();$Role = new Role(1,true);$idle_max=isset($config['idle_max'])?$config['idle_max']:1000;while(true){ $data = $queue->pop(MTypes::ECTYPE_COMBAT_QUEUE, 1); if(!$data){ usleep(50000); //休眠0.05秒 ++$idle_count; if($idle_count>=$idle_max) { $idle_count=0; Afx_Db_Factory::ping(); } continue; } $idle_count=0; $Role->setId($data['attacker']['role_id']); $Property = $Role->getModule('Property'); $Mounts = $Role->getModule('Mounts'); //............ unset($Property, $Mounts/*.....*/);}
从这个后台进程代码中,可以看出“$Property”变量以及“$Mounts”变量频繁被创建,销毁。而ROLE对象的getModule方法是这样写的
//ROLE对象的getModule方法class Role extends Afx_Module_Abstract{ public function getModule ($member_class) { $property_name = '__m' . ucfirst($member_class); if (! isset($this->$property_name)) { $this->$property_name = new $member_class($this); } return $this->$property_name; }}//Property 类class Property extends Afx_Module_Abstract{ public function __construct ($mRole) { $this->__mRole = $mRole; }}
可以看出getModule方法只是模拟单例,new了一个新对象返回,而他们都继承了Afx_Module_Abstract类。Afx_Module_Abstract类大约代码如下:
abstract class Afx_Module_Abstract{ public function setAdapter ($_adapter) { $this->_adapter = $_adapter; }}
类Afx_Module_Abstract中关键代码如上,跟DB相关的,就setAdapter一个方法,回到“后台进程A”,setAdapter方法是将Afx_Db_Factory::DbDriver($config['mysql']['driver'])的返回,作为参数传了进来。继续看下Afx_Db_Factory类的代码
class Afx_Db_Factory{ const DB_MYSQL = 'mysql'; const DB_MYSQLI = 'mysqli'; const DB_PDO = 'pdo'; public static function DbDriver ($type = self::DB_MYSQLI) { switch ($type) { case self::DB_MYSQL: $driver = Afx_Db_Mysql_Adapter::Instance(); break; case self::DB_MYSQLI: $driver = Afx_Db_Mysqli_Adapter::Instance(); //走到这里了 break; case self::DB_PDO: $driver = Afx_Db_Pdo_Adapter::Instance(); break; default: break; } return $driver; }}
一看就知道是个工厂类,继续看真正的DB Adapter部分代码
class Afx_Db_Mysqli_Adapter implements Afx_Db_Adapter{ public static function Instance () { if (! self::$__instance instanceof Afx_Db_Mysqli_Adapter) { self::$__instance = new self(); //这里是单例模式,为何新生成了一个mysql的链接呢? } return self::$__instance; } public function setConfig ($config) { $this->__host = $config['host']; //... $this->__user = $config['user']; $this->__persist = $config['persist']; if ($this->__persist == TRUE) { $this->__host = 'p:' . $this->__host; //这里为持久链接做了处理,支持持久链接 } $this->__config = $config; } private function __init () { $this->__link = mysqli_init(); $this->__link->set_opt(MYSQLI_OPT_CONNECT_TIMEOUT, $this->__timeout); $this->__link->real_connect($this->__host, $this->__user, $this->__pass, $this->__dbname, $this->__port, $this->__socket); if ($this->__link->errno == 0) { $this->__link->set_charset($this->__charset); } else { throw new Afx_Db_Exception($this->__link->error, $this->__link->errno); } }}
从上面的代码可以看到,我们已经启用长链接了啊,为何频繁建立了这么多链接呢?为了模拟重现这个问题,我在本地开发环境进行测试,无论如何也重现不了,对比了下环境,我的开发环境是windows7、php5.3.x、mysql、libmysql,跟服务器上的不一致,问题很可能出现在mysql跟mysqli的API上,或者是libmysql跟mysqlnd的问题上。为此,我又小心翼翼的翻开PHP源码(5.3.x最新的),终于功夫不负有心人,找到了这些问题的原因。
//在文件ext/mysql/php_mysql.c的907-916行//mysql_connect、mysql_pconnect都调用它,区别是持久链接标识就是persistent为false还是truestatic void php_mysql_do_connect(INTERNAL_FUNCTION_PARAMETERS, int persistent){/* hash it up */Z_TYPE(new_le) = le_plink;new_le.ptr = mysql;//注意下面的if里面的代码if (zend_hash_update(&EG(persistent_list), hashed_details, hashed_details_length+1, (void *) &new_le, sizeof(zend_rsrc_list_entry), NULL)==FAILURE) { free(mysql); efree(hashed_details); MYSQL_DO_CONNECT_RETURN_FALSE();}MySG(num_persistent)++;MySG(num_links)++;}
从mysql_pconnect的代码中,可以看到,当php拓展mysql api与mysql server建立TCP链接后,就立刻将这个链接存入persistent_list中,下次建立链接是,会先从persistent_list里查找是否存在同IP、PORT、USER、PASS、CLIENT_FLAGS的链接,存在则用它,不存在则新建。
而php的mysqli拓展中,不光用了一个persistent_list来存储链接,还用了一个free_link来存储当前空闲的TCP链接。当查找时,还会判断是否在空闲的free_link链表中存在,存在了才使用这个TCP链接。而在mysqli_closez之后或者RSHUTDOWN后,才将这个链接push到free_links中。(mysqli会查找同IP,PORT、USER、PASS、DBNAME、SOCKET来作为同一标识,跟mysql不同的是,没了CLIENT,多了DBNAME跟SOCKET,而且IP还包括长连接标识“p”)
//文件ext/mysqli/mysqli_nonapi.c 172行左右 mysqli_common_connect创建TCP链接(mysqli_connect函数调用时)do { if (zend_ptr_stack_num_elements(&plist->free_links)) { mysql->mysql = zend_ptr_stack_pop(&plist->free_links); //直接pop出来,同一个脚本的下一个mysqli_connect再次调用时,就找不到它了 MyG(num_inactive_persistent)--; /* reset variables */ #ifndef MYSQLI_NO_CHANGE_USER_ON_PCONNECT if (!mysqli_change_user_silent(mysql->mysql, username, passwd, dbname, passwd_len)) { //(让你看时,你再看)注意看这里mysqli_change_user_silent #else if (!mysql_ping(mysql->mysql)) { #endif #ifdef MYSQLI_USE_MYSQLND mysqlnd_restart_psession(mysql->mysql); #endif}//文件ext/mysqli/mysqli_api.c 585-615行/* {{{ php_mysqli_close */void php_mysqli_close(MY_MYSQL * mysql, int close_type, int resource_status TSRMLS_DC){ if (resource_status > MYSQLI_STATUS_INITIALIZED) { MyG(num_links)--; } if (!mysql->persistent) { mysqli_close(mysql->mysql, close_type); } else { zend_rsrc_list_entry *le; if (zend_hash_find(&EG(persistent_list), mysql->hash_key, strlen(mysql->hash_key) + 1, (void **)&le) == SUCCESS) { if (Z_TYPE_P(le) == php_le_pmysqli()) { mysqli_plist_entry *plist = (mysqli_plist_entry *) le->ptr;#if defined(MYSQLI_USE_MYSQLND) mysqlnd_end_psession(mysql->mysql);#endif zend_ptr_stack_push(&plist->free_links, mysql->mysql); //这里在push回去,下次又可以用了 MyG(num_active_persistent)--; MyG(num_inactive_persistent)++; } } mysql->persistent = FALSE; } mysql->mysql = NULL; php_clear_mysql(mysql);}/* }}} */
MYSQLI为什么要这么做?为什么同一个长连接不能在同一个脚本中复用?
在C函数mysqli_common_connect中看到了有个mysqli_change_user_silent的调用,如上代码,mysqli_change_user_silent对应这libmysql的mysql_change_user或mysqlnd的mysqlnd_change_user_ex,他们都是调用了C API的mysql_change_user来清理当前TCP链接的一些临时的会话变量,未完整写的提交回滚指令,锁表指令,临时表解锁等等(这些指令,都是mysql server自己决定完成,不是php 的mysqli 判断已发送的sql指令然后做响应决定),见手册的说明The mysqli Extension and Persistent Connections。这种设计,是为了这个新特性,而mysql拓展,不支持这个功能。
从这些代码的浅薄里理解上来看,可以理解mysqli跟mysql的持久链接的区别了,这个问题,可能大家理解起来比较吃力,我后来搜了下,也发现了一个因为这个原因带来的疑惑,大家看这个案例,可能理解起来就非常容易了。Mysqli persistent connect doesn’t work回答者没具体到mysqli底层实现,实际上也是这个原因。 代码如下:
<?php$links = array();for ($i = 0; $i < 15; $i++) { $links[] = mysqli_connect('p:192.168.1.40', 'USER', 'PWD', 'DB', 3306);}sleep(15);
查看进程列表里是这样的结果:
netstat -an | grep 192.168.1.40:3306tcp 0 0 192.168.1.6:52441 192.168.1.40:3306 ESTABLISHEDtcp 0 0 192.168.1.6:52454 192.168.1.40:3306 ESTABLISHEDtcp 0 0 192.168.1.6:52445 192.168.1.40:3306 ESTABLISHEDtcp 0 0 192.168.1.6:52443 192.168.1.40:3306 ESTABLISHEDtcp 0 0 192.168.1.6:52446 192.168.1.40:3306 ESTABLISHEDtcp 0 0 192.168.1.6:52449 192.168.1.40:3306 ESTABLISHEDtcp 0 0 192.168.1.6:52452 192.168.1.40:3306 ESTABLISHEDtcp 0 0 192.168.1.6:52442 192.168.1.40:3306 ESTABLISHEDtcp 0 0 192.168.1.6:52450 192.168.1.40:3306 ESTABLISHEDtcp 0 0 192.168.1.6:52448 192.168.1.40:3306 ESTABLISHEDtcp 0 0 192.168.1.6:52440 192.168.1.40:3306 ESTABLISHEDtcp 0 0 192.168.1.6:52447 192.168.1.40:3306 ESTABLISHEDtcp 0 0 192.168.1.6:52444 192.168.1.40:3306 ESTABLISHEDtcp 0 0 192.168.1.6:52451 192.168.1.40:3306 ESTABLISHEDtcp 0 0 192.168.1.6:52453 192.168.1.40:3306 ESTABLISHED
这样看代码,就清晰多了,验证我的理解对不对也比较简单,这么一改就看出来了
for ($i = 0; $i < 15; $i++) { $links[$i] = mysqli_connect('p:192.168.1.40', 'USER', 'PWD', 'DB', 3306); var_dump(mysqli_thread_id($links[$i])); //如果你担心被close掉了,这是新建的TCP链接,那么你可以打印下thread id,看看是不是同一个ID,就区分开了 mysqli_close($links[$i])}/*结果如下:root@cnxct:/home/cfc4n# netstat -antp |grep 3306|grep -v "php-fpm"tcp 0 0 192.168.61.150:55148 192.168.71.88:3306 ESTABLISHED 5100/php5 root@cnxct:/var/www# /usr/bin/php5 4.php int(224218)int(224218)int(224218)int(224218)int(224218)int(224218)int(224218)int(224218)int(224218)int(224218)int(224218)int(224218)int(224218)int(224218)int(224218)*/
如果你担心被close掉了,这是新建的TCP链接,那么你可以打印下thread id,看看是不是同一个ID,就清楚了。(虽然我没回复这个帖子,但不能证明我很坏。)以上是CLI模式时的情况。在FPM模式下时,每个页面请求都会由单个fpm子进程处理。这个子进程将负责维护php与mysql server建立的长链接,故当你多次访问此页面,来确认是不是同一个thread id时,可能会分别分发给其他fpm子进程处理,导致看到的结果不一样。但最终,每个fpm子进程都会分别维持这些TCP链接。
总体来说,mysqli拓展跟mysql拓展的区别是下面几条
好了,知道这个原因,那我们文章开头提到的问题就好解决了,大家肯定第一个想到的是在类似Property的类中,__destruct析构函数中增加一个mysqli_close方法,当被销毁时,就调用关闭函数,把持久链接push到free_links里。如果你这么想,我只能恭喜你,答错了,最好的解决方案就是压根不让它创建这么多次。同事dietoad同学给了个解决方案,对DB ADAPTER最真正单例,并且,可选是否新创建链接。如下代码:
// DB FACTORYclass Afx_Db_Factory{ const DB_MYSQL = 'mysql'; const DB_MYSQLI = 'mysqli'; const DB_PDO = 'pdo'; static $drivers = array( 'mysql'=>array(),'mysqli'=>array(),'pdo'=>array() ); public static function DbDriver ($type = self::DB_MYSQLI, $create = FALSE) //新增$create 参数 { $driver = NULL; switch ($type) { case self::DB_MYSQL: $driver = Afx_Db_Mysql_Adapter::Instance($create); break; case self::DB_MYSQLI: $driver = Afx_Db_Mysqli_Adapter::Instance($create); break; case self::DB_PDO: $driver = Afx_Db_Pdo_Adapter::Instance($create); break; default: break; } self::$drivers[$type][] = $driver; return $driver; }}//mysqli adapterclass Afx_Db_Mysqli_Adapter implements Afx_Db_Adapter{ public static function Instance ($create = FALSE) { if ($create) { return new self(); //新增$create参数的判断 } if (! self::$__instance instanceof Afx_Db_Mysqli_Adapter) { self::$__instance = new self(); } return self::$__instance; }}
看来,开发环境跟运行环境一致是多么的重要,否则就不会遇到这些问题了。不过,如果没遇到这么有意思的问题,岂不是太可惜了
1
CI框架连接数据库配置操作以及多数据库操作
09-05
2
asp 简单读取数据表并列出来 ASP如何快速从数据库读取大量数据
05-17
3
C语言关键字及其解释介绍 C语言32个关键字详解
04-05
4
C语言中sizeof是什么意思 c语言里sizeof怎样用法详解
04-26
5
最简单的asp登陆界面代码 asp登陆界面源代码详细介绍
04-12
6
PHP中的魔术方法 :__construct, __destruct , __call, __callStatic,__get, __set, __isset, __unset , __sleep,
09-05
7
PHP中的(++i)前缀自增 和 (i++)后缀自增
09-05
8
PHP中include和require区别之我见
09-05
常用dos命令及语法
2014-09-27
将视频设置为Android手机开机动画的教程
2014-12-11
php递归返回值的问题
2014-09-05
如何安装PHPstorm并配置方法教程 phpstorm安装后要进行哪些配置
2017-05-03
java中的info是什么意思
2022-03-24
PHP 教程之如何使用BLOB存取图片信息实例
2014-09-05
IcePHP框架中的快速后台中的通用CRUD功能框架
2014-09-05
单片机编程好学吗?单片机初学者怎样看懂代码
2022-03-21
PHP数组函数array
2014-09-05
学ug编程如何快速入门?
2022-03-17
拳皇14官方正版下载v2.0.0 安卓正式版
动作闯关 1.06G
下载勇者大战魔物娘安卓手游下载v1.10.29 安卓冷狐汉化版
角色扮演 792.3M
下载贝比岛最新版下载v2.5.4 安卓官方版
其它手游 32.9M
下载奥特曼格斗进化3高清汉化版(Ultraman Fighting Evolution 3)下载v3.3.2 安卓免费版
动作闯关 2.19G
下载王者荣耀全英雄全皮肤版本下载v10.11.7.1 安卓版
其它手游 454.5M
下载漫威超级战争手游下载v3.23.0 安卓手机版
动作闯关 1.90G
下载悟饭游戏厅苹果版(我Fun趣味)下载v1.5.6 iPhone版
其它手游 125.7M
下载无畏契约valorant官方版下载v1.0.3 安卓版
射击枪战 150.3M
下载飞羽青春羽毛球游戏下载v1.9.2 安卓官方版
下载
斗罗大陆诛邪传说手游下载v2.0.18 安卓版
下载
kisakibluearchive(碧蓝档案)下载v1.0 安卓手机版碧蓝档案妃咲同人小游戏
下载
恐怖奶奶联机版游戏下载v1.4.1.5 安卓手机版
下载
失落之城中文版下载v8.8 官方安卓版
下载
舰载机着舰模拟器最新版本(Carrier Landing HD)下载v2020.6.02 安卓版
下载
边境之旅最新版本下载v4.2.0 安卓完整版
下载
植物大战僵尸PVZ指导版2.0下载v1.0 安卓版
下载