MySQL 乱码之我见

头像
netingcn
    2.9k123
    发布于
     

    先着重介绍一下mysql的字符集，这样能对产生mysql的根源有一个了解。
    mysql 的字符集支持有两个方面：字符集(Character set)和排序方式(Collation)。另外对于字符集的支持细化到四个层次: 服务器(server)，数据库(database)，数据表(table)和连接(connection)。

    连上mysql 后使用status 命令，可以看到类似如下输出：

    >mysql status
Connection id:          305
Current database:
Current user:           root@localhost
SSL:                    Not in use
Current pager:          stdout
Using outfile:          ''
Using delimiter:        ;
Server version:         5.6.23 MySQL Community Server (GPL)
Protocol version:       10
Connection:             Localhost via UNIX socket
Server characterset:    utf8
Db     characterset:    utf8
Client characterset:    utf8
Conn.  characterset:    utf8

    Server characterset 就是mysql默认字符集，当创建数据库没有指定字符集时数据库就采用此默认值。可以在mysql的配置文件中的 mysqld 段中对此值进行修改

    [mysqld]
port        = 3306
socket      = /tmp/mysql.sock
character-set-server = utf8
collation-server = utf8_general_ci

    Db characterset：是当前数据库默认的字符集，当创建表时没有指定字符集，此表就使用当前默认值。例如创建一个 db_test 数据库，字符集使用 latin1

    CREATE DATABASE `db_test` CHARACTER SET 'latin1' COLLATE 'latin1_swedish_ci';

use db_test;

    然后再使用 status 命令，可以看到这个时候 Db characterset 变为 latin1 了

    >mysql status
Connection id:          305
Current database:       db_test
Current user:           root@localhost
SSL:                    Not in use
Current pager:          stdout
Using outfile:          ''
Using delimiter:        ;
Server version:         5.6.23 MySQL Community Server (GPL)
Protocol version:       10
Connection:             Localhost via UNIX socket
Server characterset:    utf8
Db     characterset:    latin1
Client characterset:    utf8
Conn.  characterset:    utf8

    在数据库中分别创建两种表 test1 和 test2，其中 test1 使用默认字符集， test2 指定字符集为GBK

    create table test1 (name varchar(20));

create table test2 (name varchar(20)) default charset=GBK;

    使用 show create table 命令查看上述两张表，可以看到 test1 使用了当前数据库的默认字符集latin1，而test2使用的字符集是GBK。

    mysql> show create table test1;
+-------+-------------------------------------------------------------------------------------------------+
| Table | Create Table                                                                                    |
+-------+-------------------------------------------------------------------------------------------------+
| test1 | CREATE TABLE `test1` (
  `name` varchar(20) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1 |
+-------+-------------------------------------------------------------------------------------------------+

mysql> show create table test2;
+-------+----------------------------------------------------------------------------------------------+
| Table | Create Table                                                                                 |
+-------+----------------------------------------------------------------------------------------------+
| test2 | CREATE TABLE `test2` (
  `name` varchar(20) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=gbk |
+-------+----------------------------------------------------------------------------------------------+

    mysql 存储信息最终是已二进制的形式来存储的。所以在存储之前就需要对信息进行编码，同时从数据库读取信息后需要解码。具体使用那种编码、解码方式就是根据Client characterset以及表对应的字符集，如果没有显示的指定，那么会有一个默认值。当使用命令行的方式连接mysql，可以在mysql 配置中 mysql 段来指定默认Client characterset。例如：

    [client]
port        = 3306
socket      = /tmp/mysql.sock
default-character-set   = utf8

    也可以使用在连接时候指定

    mysql -uroot -p --default-character-set=utf8

    另外在登录mysql 后也可以使用 set names 来指定

    set names utf8

    关于优先级，set names utf8 最高，mysql -uroot -p --default-character-set=utf8 其次、my.cnf 最后。

    上面对字符集做了一个简单的介绍，建议大家也把上面的mysql 命令试一下，这样理解或更加深刻。现在再来说一下乱码的情况，一般出现乱码就是因为字符集（编码）不同，换句话说就是当字符集（编码）一致时就不会出现乱码。前面介绍了一下字符集，所以知道了好几种，那到底是需要什么字符集一致呢？答案是：Client characterset 与 数据库表的字符集。 下面还是通过例子来说明，使用上面创建的表 test1。

    由于test1使用的字符集是 latin1，那么使用下面的方式连上mysql

    mysql -uroot -p  db_test --default-character-set=latin1

    再次确认一下Client characterset 与 数据库表的字符集

    mysql> status
--------------
mysql  Ver 14.14 Distrib 5.6.23, for osx10.8 (x86_64) using  EditLine wrapper

Connection id:          310
Current database:       db_test
Current user:           root@localhost
SSL:                    Not in use
Current pager:          stdout
Using outfile:          ''
Using delimiter:        ;
Server version:         5.6.23 MySQL Community Server (GPL)
Protocol version:       10
Connection:             Localhost via UNIX socket
Server characterset:    utf8
Db     characterset:    latin1
Client characterset:    latin1
Conn.  characterset:    latin1

-------------------------

mysql> show create table test1;
+-------+-------------------------------------------------------------------------------------------------+
| Table | Create Table                                                                                    |
+-------+-------------------------------------------------------------------------------------------------+
| test1 | CREATE TABLE `test1` (
  `name` varchar(20) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1 |
+-------+-------------------------------------------------------------------------------------------------+

    可以看到Client characterset与表的字符集是一致的，然后插入一条含有中文的记录，同时查询看看。

    mysql> insert into test1(name) values('中test文1234测试');

mysql> select * from test1;
+----------------------+
| name                 |
+----------------------+
| 中test文1234测试 |
+----------------------+

    现在证明当Client characterset与表的字符集一致时，没有出现乱码。那现在使用set names 来修改一下 Client characterset 看看效果。

    mysql> set names utf8;
Query OK, 0 rows affected (0.00 sec)

mysql> status
--------------
mysql  Ver 14.14 Distrib 5.6.23, for osx10.8 (x86_64) using  EditLine wrapper

Connection id:          310
Current database:       db_test
Current user:           root@localhost
SSL:                    Not in use
Current pager:          stdout
Using outfile:          ''
Using delimiter:        ;
Server version:         5.6.23 MySQL Community Server (GPL)
Protocol version:       10
Connection:             Localhost via UNIX socket
Server characterset:    utf8
Db     characterset:    latin1
Client characterset:    utf8
Conn.  characterset:    utf8

mysql> select * from test1;
+--------------------------------------+
| name                                 |
+--------------------------------------+
| 中test文1234测试 |
+--------------------------------------+

    utf8 出现乱码，再试试gbk

    mysql> set names gbk;
Query OK, 0 rows affected (0.00 sec)

mysql> status
--------------
mysql  Ver 14.14 Distrib 5.6.23, for osx10.8 (x86_64) using  EditLine wrapper

Connection id:          310
Current database:       db_test
Current user:           root@localhost
SSL:                    Not in use
Current pager:          stdout
Using outfile:          ''
Using delimiter:        ;
Server version:         5.6.23 MySQL Community Server (GPL)
Protocol version:       10
Connection:             Localhost via UNIX socket
Server characterset:    utf8
Db     characterset:    latin1
Client characterset:    gbk
Conn.  characterset:    gbk

mysql> select * from test1;
+------------------------+
| name                   |
+------------------------+
| ???test?1234???? |
+------------------------+

    上面把Client characterset 设置分别设置为 utf8 或 GBK 后，然后查询都出现了乱码，而且乱码显示还不一样。下面再测试一样不同Client characterset字符集先插入在读取的情况。

    mysql -uroot -p  db_test --default-character-set=utf8

 mysql> status
--------------
mysql  Ver 14.14 Distrib 5.6.23, for osx10.8 (x86_64) using  EditLine wrapper

Connection id:          312
Current database:       db_test
Current user:           root@localhost
SSL:                    Not in use
Current pager:          stdout
Using outfile:          ''
Using delimiter:        ;
Server version:         5.6.23 MySQL Community Server (GPL)
Protocol version:       10
Connection:             Localhost via UNIX socket
Server characterset:    utf8
Db     characterset:    latin1
Client characterset:    utf8
Conn.  characterset:    utf8

mysql> truncate table test1;
Query OK, 0 rows affected (0.01 sec)

mysql> select * from test1;
Empty set (0.00 sec)

mysql> insert into test1(name) values('中test文1234测试');                                                                                                                                             
Query OK, 1 row affected, 1 warning (0.00 sec)

mysql> select * from test1;
+--------------+
| name         |
+--------------+
| ?test?1234?? |
+--------------+

    上面的例子说明当字符集不一致出现乱码了。 如果再把Client characterset 修改为和数据库表一致，然后看看刚刚插入的记录是否还是显示乱码

    mysql> set names latin1;
Query OK, 0 rows affected (0.00 sec)

mysql> select * from test1;
+--------------+
| name         |
+--------------+
| ?test?1234?? |
+--------------+
1 row in set (0.00 sec)

    还是乱码，也就是通过字符集设置也无法把乱码还原了。

    通过上面这些例子可以得出结论，只有当Client characterset与表的字符集一致才不会出现乱码。

    mysqldb
    本作品系原创，采用《署名-非商业性使用-禁止演绎 4.0 国际》许可协议
    分享 AND 笔记
    分享同时也当笔记
    avatar
    2.9k 声望
    11 粉丝
    0 条评论
    得票最新
    推荐阅读
    花了几个月时间把 MySQL 重新巩固了一遍，梳理了一篇几万字 “超硬核” 的保姆式学习教程！（持续更新中~）
    MySQL 是最流行的关系型数据库管理系统，在 WEB 应用方面 MySQL 是最好的 RDBMS(Relational Database Management System：关系数据库管理系统)应用软件之一。

    民工哥赞 14阅读 1.9k

    封面图
    初学后端，如何做好表结构设计？
    这篇文章介绍了设计数据库表结构应该考虑的4个方面，还有优雅设计的6个原则，举了一个例子分享了我的设计思路，为了提高性能我们也要从多方面考虑缓存问题。

    王中阳Go赞 4阅读 1.7k评论 2

    封面图
    Vue+Express+Mysql全栈项目之增删改查、分页排序导出表格功能
    本文记录一下实现一个全栈项目，前端使用vue框架、后端使用express框架、数据库使用mysql。此项目的意义不仅仅有助于我们复习nodejs相关知识、更有助于带前端新人，使其快速从整体全局角度中，理解常规后台管理系...

    水冗水孚赞 4阅读 2.6k

    MySQL百万数据深度分页优化思路分析
    一般在项目开发中会有很多的统计数据需要进行上报分析，一般在分析过后会在后台展示出来给运营和产品进行分页查看，最常见的一种就是根据日期进行筛选。这种统计数据随着时间的推移数据量会慢慢的变大，达到百万...

    一个程序员的成长赞 7阅读 862

    封面图
    深入理解MySQL索引底层数据结构
    在日常工作中，我们会遇见一些慢SQL，在分析这些慢SQL时，我们通常会看下SQL的执行计划，验证SQL执行过程中有没有走索引。通常我们会调整一些查询条件，增加必要的索引，SQL执行效率就会提升几个数量级。我们有没...

    京东云开发者赞 3阅读 569

    封面图
    Laravel入门及实践，快速上手ThinkSNS+二次开发
    【摘要】自从ThinkSNS+不使用ThinkPHP框架而使用Laravel框架之后，很多人都说技术门槛抬高了，其实你与TS+的距离仅仅只是学习一个新框架而已，所以，我们今天来说说Laravel的入门。

    ThinkSNS赞 1阅读 2.4k

    一文了解MySQL中的多版本并发控制
    作者：京东零售  李泽阳最近在阅读《认知觉醒》这本书，里面有句话非常打动我：通过自己的语言，用最简单的话把一件事情讲清楚，最好让外行人也能听懂。也许这就是大道至简，只是我们习惯了烦琐和复杂。希望借助...

    京东云开发者赞 2阅读 494

    封面图
    avatar
    2.9k 声望
    11 粉丝
    宣传栏
    1022