经验:如何给Python的MySQL模块加功能

OurMySQL 发表于:12年12月06日 11:30 [转载] DOIT.com.cn

  • 分享:
[导读]使用Python操作MySQL数据库的时候常使用MySQLdb这个模块,本文将介绍如何给Python的MySQLdb模块加功能。

使用Python操作MySQL数据库的时候常使用MySQLdb这个模块。

今天在开发的过程发现MySQLdb.connect有些参数没法设置。通过这个页面我们可以看到在connect的时候,可以设置的option和client_flags和MySQL c api相比差不少。

一个很重要的参数 MYSQL_OPT_READ_TIMEOUT没法设置,这个参数如果不设置,极致状况MySQL处于hang住,自动切换IP漂移,客户端无法重连到新MySQL。

给MySQLdb加Option很简单,只要修改_mysql.c这个把Python对象映射到MySQL操作的文件,添加参数,再加一段mysql_option即可。

下面是修改后的git diff 文件

  1. diff --git a/_mysql.c b/_mysql.c  
  2. index d42cc54..61a9b34 100644  
  3. --- a/_mysql.c  
  4. +++ b/_mysql.c  
  5. @@ -489,9 +489,10 @@ _mysql_ConnectionObject_Initialize(  
  6. "named_pipe""init_command",  
  7. "read_default_file""read_default_group",  
  8. "client_flag""ssl",  
  9. -                                 "local_infile",  
  10. +                                 "local_infile""read_timeout",  
  11. NULL } ;  
  12. int connect_timeout = 0;  
  13. +       int read_timeout = 0;  
  14. int compress = -1, named_pipe = -1, local_infile = -1;  
  15. char *init_command=NULL,  
  16. *read_default_file=NULL,  
  17. @@ -500,7 +501,7 @@ _mysql_ConnectionObject_Initialize(  
  18. self->converter = NULL;  
  19. self->open = 0;  
  20. check_server_init(-1);  
  21. -       if (!PyArg_ParseTupleAndKeywords(args, kwargs, "|ssssisOiiisssiOi:connect",  
  22. +       if (!PyArg_ParseTupleAndKeywords(args, kwargs, "|ssssisOiiisssiOii:connect",  
  23. kwlist,  
  24. &host, &user, &passwd, &db,  
  25. &port, &unix_socket, &conv,  
  26. @@ -509,7 +510,8 @@ _mysql_ConnectionObject_Initialize(  
  27. &init_command, &read_default_file,  
  28. &read_default_group,  
  29. &client_flag, &ssl,  
  30. -                                        &local_infile /* DO NOT PATCH FOR RECONNECT, IDIOTS  
  31. +                                        &local_infile, &read_timeout  
  32. +                                        /* DO NOT PATCH FOR RECONNECT, IDIOTS  
  33. IF YOU DO THIS, I WILL NOT SUPPORT YOUR PACKAGES. */  
  34. ))  
  35. return -1;  
  36. @@ -540,6 +542,12 @@ _mysql_ConnectionObject_Initialize(  
  37. mysql_options(&(self->connection), MYSQL_OPT_CONNECT_TIMEOUT,  
  38. (char *)&timeout);  
  39. }  
  40. +  
  41. +        if (read_timeout) {  
  42. +                unsigned int timeout = read_timeout;  
  43. +                mysql_options(&(self->connection), MYSQL_OPT_READ_TIMEOUT, (char *)&timeout);  
  44. +        }  
  45. +  
  46. if (compress != -1) {  
  47. mysql_options(&(self->connection), MYSQL_OPT_COMPRESS, 0);  
  48. client_flag |= CLIENT_COMPRESS; 

代码修改完毕,python setup.py install 即可,如果出现mysql_config找不到的问题。你还要修改setup_posix.py文件。

  1. hoterran@hoterran-laptop:~/Projects/MySQL-python-1.2.3$ git diff setup_posix.py 
  2. diff --git a/setup_posix.py b/setup_posix.py 
  3. index 86432f5..f4f08f1 100644 
  4. --- a/setup_posix.py 
  5. +++ b/setup_posix.py 
  6. @@ -23,7 +23,7 @@ def mysql_config(what): 
  7. if ret/256 > 1
  8. raise EnvironmentError("%s not found" % (mysql_config.path,)) 
  9. return data 
  10. -mysql_config.path = "mysql_config" 
  11. +mysql_config.path = "/usr/local/mysql/bin/mysql_config" 
  12. def get_config(): 
  13. import os, sys 

编译通过,我们来试试添加的read_timeout这个参数。

  1. conn = MySQLdb.connect(host = DB_SERVER,user = DB_USERNAME,passwd = DB_PASSWORD,db = DB_NAME, port=int(DB_PORT), client_flag = 2, read_timeout = 10

然后执行语句前,你试着把mysql用gdb hang住10s后,python就会异常抛错

  1. OperationalError: (2013'Lost connection to MySQL server during query'
  2. >/home/hoterran/Projects/dbaas/trunk/dbtest.py(18)() 
  3. >mydb.execute_sql(conn, sql) 
  4. (Pdb) 
  5. --Return-- 
  6. > /home/hoterran/Projects/dbaas/trunk/dbtest.py(18)()->None 
  7. > mydb.execute_sql(conn, sql) 
  8. (Pdb) 
  9. OperationalError: (2013'Lost connection to MySQL server during query'
  10. > (1)()->None
[责任编辑:韩蕊]
Ruby
SAP分享了多年来对企业运营变革的洞察,以及SAP Business Suite powered by HANA如何推动企业在对业务影响最小的情况下向实时企业转型,从而帮助企业实现更睿智的业务创新、更快速的业务流程和更简化的业务交互。发布会现场,SAP公司宣布,中国最大的瓶装水生产商——农夫山泉成为基于 SAP HANA 的SAP Business Suite在中国的首家客户。
官方微信
weixin
精彩专题更多
存储风云榜”是由DOIT传媒主办的年度大型活动。回顾2014年,存储作为IT系统架构中最基础的元素,已经成为了推动信息产业发展的核心动力,存储产业的发展迈向成熟,数据经济的概念顺势而为的提出。
华为OceanStor V3系列存储系统是面向企业级应用的新一代统一存储产品。在功能、性能、效率、可靠性和易用性上都达到业界领先水平,很好的满足了大型数据库OLTP/OLAP、文件共享、云计算等各种应用下的数据存储需求。
联想携ThinkServer+System+七大行业解决方案惊艳第十六届高交会
 

公司简介 | 媒体优势 | 广告服务 | 客户寄语 | DOIT历程 | 诚聘英才 | 联系我们 | 会员注册 | 订阅中心

Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技术有限公司 版权所有.