pymysql 正确处理转义字符

方案一：使用 %s 占位符

这也是官方推荐的方案，优点：

• 不需要自己关注需不需要加引号的问题（自动对字符串类型加引号，不会对数字类型加引号）
• 对不同类型的参数都可以自动转义（数字、字符串、字节等等）

"自动对字符串类型加引号，不会对数字类型加引号"，加引号这个操作是 python 语言的特性，而是 pymysql 帮我们处理的，文后有解释

示例代码：

import pymysql.cursors

# Connect to the database
connection = pymysql.connect(host='localhost',
                             user='user',
                             password='passwd',
                             database='db',
                             cursorclass=pymysql.cursors.DictCursor)

with connection:
    with connection.cursor() as cursor:
        sql = "SELECT `id`, `password` FROM `users` WHERE `email`=%s"
        cursor.execute(sql, ('[e-mail]',))
        result = cursor.fetchone()
        print(result)

关于占位符风格的更多内容请参考：pep249：paramstyle

方案二：手动调用 escape 方法

占位符虽好，但用诸如 f-string、format 来拼接字符串的时候，就要手动来处理转义字符的问题了！

先通过源码来看看 cursor.execute 背后都对参数参数做了什么加工！

👇当调用 execute 方法的时候，会使用 mogrify 对参数 args 进行加工。

mogrify 通过谷歌翻译的结果是：升级

pymysql/cursors.py

def execute(self, query, args=None):
    """Execute a query

    :param str query: Query to execute.

    :param args: parameters used with query. (optional)
    :type args: tuple, list or dict

    :return: Number of affected rows
    :rtype: int

    If args is a list or tuple, %s can be used as a placeholder in the query.
    If args is a dict, %(name)s can be used as a placeholder in the query.
    """
    while self.nextset():
        pass

    query = self.mogrify(query, args)

    result = self._query(query)
    self._executed = query
    return result

👇当调用 mogrify 方法的时候，会使用 _escape_args 对参数 args 进行加工。
我们只讨论 if isinstance(args, (tuple, list)): 这种条件，这也是最常用的方式，进入该条件之后，会调用 literal 方法来对每个参数进行加工

pymysql/cursors.py

def _escape_args(self, args, conn):
    if isinstance(args, (tuple, list)):
        return tuple(conn.literal(arg) for arg in args)
    elif isinstance(args, dict):
        return {key: conn.literal(val) for (key, val) in args.items()}
    else:
        # If it's not a dictionary let's try escaping it anyways.
        # Worst case it will throw a Value error
        return conn.escape(args)

def mogrify(self, query, args=None):
    """
    Returns the exact string that is sent to the database by calling the
    execute() method.

    This method follows the extension to the DB API 2.0 followed by Psycopg.
    """
    conn = self._get_db()

    if args is not None:
        query = query % self._escape_args(args, conn)

    return query

👇当调用 literal 方法的时候，会使用 escape 方法对参数 arg （此处换了一个称呼：obj）进行加工。不同类型的参数的处理方案不同，对于字符串类型会采用 escape_string 方法，字节类型会采用 escape_bytes 方法（_quote_bytes 调用的就是 escape_bytes），其他类型就是 escape_item 方法。

所以我们可以根据参数类型自己选择要调用哪个方法来处理转义字符问题，一般来说，只需要关注字符串即可。

最好的方式就是我们直接调用 escape 方法，免得我们自己去处理数据类型的问题，但是 escape 方法是一个类方法，不直接暴露给我调用。
而 escape_string、 escape_bytes 和 escape_item 方法是在 pymysql/converters.py 中的函数，可以直接调用。

pymysql/connections.py

def escape(self, obj, mapping=None):
    """Escape whatever value you pass to it.

    Non-standard, for internal use; do not use this in your applications.
    """
    if isinstance(obj, str):
        return "'" + self.escape_string(obj) + "'"
    if isinstance(obj, (bytes, bytearray)):
        ret = self._quote_bytes(obj)
        if self._binary_prefix:
            ret = "_binary" + ret
        return ret
    return converters.escape_item(obj, self.charset, mapping=mapping)

def literal(self, obj):
    """Alias for escape()

    Non-standard, for internal use; do not use this in your applications.
    """
    return self.escape(obj, self.encoders)

所以，当我们需要手动转义的时候，就可以直接调用 escape 方法。

从 escape 方法代码中可以看到，当参数是字符串的时候，就会在前后加上 ' 单引号，这也就是回答了文章开头那个 "自动对字符串类型加引号，不会对数字类型加引号" 问题

if isinstance(obj, str):
   return "'" + self.escape_string(obj) + "'"

👇 通过下面的代码，我们就通过使用非常 pythonic 的 f-string 来处理 sql 了，但是需要注意的是 {} 需要自己添加外面的引号了

示例代码：

import pymysql.cursors
from pymysql.converters import escape_string
# Connect to the database
connection = pymysql.connect(host='localhost',
                             user='user',
                             password='passwd',
                             database='db',
                             cursorclass=pymysql.cursors.DictCursor)


user = escape_string('[e-mail]')
password = escape_string('very-secret')

with connection:
    with connection.cursor() as cursor:
        # Create a new record
        sql = "INSERT INTO `users` (`email`, `password`) VALUES ('{user}', '{password}')"
        cursor.execute(sql)

    # connection is not autocommit by default. So you must commit to save
    # your changes.
    connection.commit()

扩展：使用占位符的同时获取完整的 sql 语句

假设有如下需求：需要获取完整的 sql 语句记录在日志中，又想使用占位符来处理转义字符问题，也可以用上面的方法来处理！