StephenYue

StephenYue 查看完整档案

北京编辑  |  填写毕业院校  |  填写所在公司/组织 www.dynask.com 编辑
编辑

你以为的都是理所当然

个人动态

StephenYue 关注了用户 · 9月28日

民工哥 @jishuroad

民工哥,10多年职场老司机的经验分享,坚持自学一路从技术小白成长为互联网企业信息技术部门的负责人。

我的新书:《Linux系统运维指南》

微信公众号:民工哥技术之路

民工哥:知乎专栏

欢迎关注,我们一同交流,相互学习,共同成长!!

关注 2787

StephenYue 收藏了文章 · 9月28日

1047 行 MySQL 详细学习笔记(值得学习与收藏)

timg.jpg
作者:格物    
https://www.cnblogs.com/shock...

Windows服务

-- 启动MySQL
net start mysql

-- 创建Windows服务
sc create mysql binPath= mysqld_bin_path(注意:等号与值之间有空格)

连接与断开服务器

mysql -h 地址 -P 端口 -u 用户名 -p 密码

SHOW PROCESSLIST -- 显示哪些线程正在运行
SHOW VARIABLES -- 显示系统变量信息

数据库操作

-- 查看当前数据库
SELECT DATABASE();

-- 显示当前时间、用户名、数据库版本
SELECT now(), user(), version();

-- 创建库
CREATE DATABASE[ IF NOT EXISTS] 数据库名 数据库选项    
数据库选项:        
CHARACTER SET charset_name        
COLLATE collation_name

-- 查看已有库    
SHOW DATABASES[ LIKE 'PATTERN']

-- 查看当前库信息    
SHOW CREATE DATABASE 数据库名

-- 修改库的选项信息    
ALTER DATABASE 库名 选项信息

-- 删除库    DROP DATABASE[ IF EXISTS] 数据库名        
    同时删除该数据库相关的目录及其目录内容

表的操作

-- 创建表
CREATE [TEMPORARY] TABLE[ IF NOT EXISTS] [库名.]表名 ( 表的结构定义 )[ 表选项]
每个字段必须有数据类型
最后一个字段后不能有逗号
TEMPORARY 临时表,会话结束时表自动消失

对于字段的定义:   
字段名 数据类型 [NOT NULL | NULL] [DEFAULT default_value] [AUTO_INCREMENT] [UNIQUE [KEY] | [PRIMARY] KEY] [COMMENT 'string']
-- 表选项  
-- 字符集  
CHARSET = charset_name  
如果表没有设定,则使用数据库字符集  
-- 存储引擎  ENGINE = engine_name  
表在管理数据时采用的不同的数据结构,结构不同会导致处理方式、提供的特性操作等不同  
常见的引擎:InnoDB MyISAM Memory/Heap BDB Merge Example CSV MaxDB Archive  
不同的引擎在保存表的结构和数据时采用不同的方式  
MyISAM表文件含义:.frm表定义,.MYD表数据,.MYI表索引  
InnoDB表文件含义:.frm表定义,表空间数据和日志文件  
SHOW ENGINES -- 显示存储引擎的状态信息  
SHOW ENGINE 引擎名 {LOGS|STATUS} -- 显示存储引擎的日志或状态信息    
-- 自增起始数        
AUTO_INCREMENT = 行数    
-- 数据文件目录        
DATA DIRECTORY = '目录'    
-- 索引文件目录        
INDEX DIRECTORY = '目录'    
-- 表注释        
COMMENT = 'string'    
-- 分区选项        
PARTITION BY ... (详细见手册)
-- 查看所有表
SHOW TABLES[ LIKE 'pattern']
SHOW TABLES FROM 表名

-- 查看表机构
SHOW CREATE TABLE 表名 (信息更详细)
DESC 表名 / DESCRIBE 表名 / EXPLAIN 表名 / 
SHOW COLUMNS FROM 表名 [LIKE 'PATTERN']SHOW TABLE STATUS [FROM db_name] [LIKE 'pattern']

-- 修改表   
-- 修改表本身的选项    
ALTER TABLE 表名 表的选项    
eg: ALTER TABLE 表名 ENGINE=MYISAM;    

-- 对表进行重命名    
RENAME TABLE 原表名 TO 新表名    
RENAME TABLE 原表名 TO 库名.表名 (可将表移动到另一个数据库)    
-- RENAME可以交换两个表名    
-- 修改表的字段机构(13.1.2. ALTER TABLE语法)       
ALTER TABLE 表名 操作名       

-- 操作名          
ADD[ COLUMN] 字段定义       -- 增加字段            
AFTER 字段名          -- 表示增加在该字段名后面            
FIRST               -- 表示增加在第一个            
ADD PRIMARY KEY(字段名)   -- 创建主键           
ADD UNIQUE [索引名] (字段名)-- 创建唯一索引            
ADD INDEX [索引名] (字段名) -- 创建普通索引            
DROP[ COLUMN] 字段名      -- 删除字段            
MODIFY[ COLUMN] 字段名 字段属性     -- 支持对字段属性进行修改,不能修改字段名(所有原有属性也需写上)            
CHANGE[ COLUMN] 原字段名 新字段名 字段属性      -- 支持对字段名修改            
DROP PRIMARY KEY    -- 删除主键(删除主键前需删除其AUTO_INCREMENT属性)            
DROP INDEX 索引名 -- 删除索引            
DROP FOREIGN KEY 外键    -- 删除外键

-- 删除表    
DROP TABLE[ IF EXISTS] 表名 ...

-- 清空表数据    
TRUNCATE [TABLE] 表名

-- 复制表结构    
CREATE TABLE 表名 LIKE 要复制的表名

-- 复制表结构和数据    
CREATE TABLE 表名 [AS] SELECT * FROM 要复制的表名

-- 检查表是否有错误    
CHECK TABLE tbl_name [, tbl_name] ... [option] 

...-- 优化表   
OPTIMIZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] ...

-- 修复表   
REPAIR [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] ... [QUICK] [EXTENDED] [USE_FRM]

-- 分析表   
ANALYZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] ...

数据操作

-- 增  
INSERT [INTO] 表名 [(字段列表)] VALUES (值列表)[, (值列表), ...]    
-- 如果要插入的值列表包含所有字段并且顺序一致,则可以省略字段列表。    
-- 可同时插入多条数据记录!    
REPLACE 与 INSERT 完全一样,可互换。    
INSERT [INTO] 表名 SET 字段名=值[, 字段名=值, ...]

-- 查  
SELECT 字段列表 FROM 表名[ 其他子句]        
-- 可来自多个表的多个字段        
-- 其他子句可以不使用        
-- 字段列表可以用*代替,表示所有字段

-- 删    
DELETE FROM 表名[ 删除条件子句]        
没有条件子句,则会删除全部

-- 改    
UPDATE 表名 SET 字段名=新值[, 字段名=新值] [更新条件]

字符集编码

-- MySQL、数据库、表、字段均可设置编码
-- 数据编码与客户端编码不需一致
SHOW VARIABLES LIKE 'character_set_%'   -- 查看所有字符集编码项    
character_set_client        客户端向服务器发送数据时使用的编码
character_set_results       服务器端将结果返回给客户端所使用的编码    
character_set_connection    连接层编码

SET 变量名 = 变量值    
SET character_set_client = gbk;    
SET character_set_results = gbk;    
SET character_set_connection = gbk;SET NAMES GBK;  -- 相当于完成以上三个设置

-- 校对集    
校对集用以排序    
SHOW CHARACTER SET [LIKE 'pattern']/SHOW CHARSET [LIKE 'pattern']   查看所有字符集    
SHOW COLLATION [LIKE 'pattern']     查看所有校对集
CHARSET 字符集编码     设置字符集编码    
COLLATE 校对集编码     设置校对集编码

数据类型(列类型)

1. 数值类型  
-- a. 整型 ----------  
    类型         字节     范围(有符号位)  
    tinyint     1字节    -128 ~ 127      无符号位:0 ~ 255  
    smallint    2字节    -32768 ~ 32767  
    mediumint   3字节    -8388608 ~ 8388607  
    int         4字节  
    bigint      8字节  
    int(M)  M表示总位数  
    - 默认存在符号位,unsigned 属性修改  
    - 显示宽度,如果某个数不够定义字段时设置的位数,则前面以0补填,zerofill 属性修改  
        例:int(5)   插入一个数'123',补填后为'00123'  
    - 在满足要求的情况下,越小越好。  
    - 1表示bool值真,0表示bool值假。MySQL没有布尔类型,通过整型0和1表示。常用tinyint(1)表示布尔型。  
  
-- b. 浮点型 ----------  
    类型             字节     范围  
   float(单精度)     4字节  
   double(双精度)    8字节  
    浮点型既支持符号位 unsigned 属性,也支持显示宽度 zerofill 属性。  
        不同于整型,前后均会补填0.  
    定义浮点型时,需指定总位数和小数位数。  
float(M, D)     double(M, D)  
        M表示总位数,D表示小数位数。  
        M和D的大小会决定浮点数的范围。不同于整型的固定范围。  
        M既表示总位数(不包括小数点和正负号),也表示显示宽度(所有显示符号均包括)。  
        支持科学计数法表示。  
        浮点数表示近似值。  
  
-- c. 定点数 ----------  
decimal -- 可变长度  
decimal(M, D)   M也表示总位数,D表示小数位数。  
    保存一个精确的数值,不会发生数据的改变,不同于浮点数的四舍五入。  
    将浮点数转换为字符串来保存,每9位数字保存为4个字节。  
  
2. 字符串类型  
-- a. char, varchar ----------  
char    定长字符串,速度快,但浪费空间  
    varchar 变长字符串,速度慢,但节省空间  
    M表示能存储的最大长度,此长度是字符数,非字节数。  
    不同的编码,所占用的空间不同。  
char,最多255个字符,与编码无关。  
    varchar,最多65535字符,与编码有关。  
    一条有效记录最大不能超过65535个字节。  
        utf8 最大为21844个字符,gbk 最大为32766个字符,latin1 最大为65532个字符  
    varchar 是变长的,需要利用存储空间保存 varchar 的长度,如果数据小于255个字节,则采用一个字节来保存长度,反之需要两个字节来保存。  
    varchar 的最大有效长度由最大行大小和使用的字符集确定。  
    最大有效长度是65532字节,因为在varchar存字符串时,第一个字节是空的,不存在任何数据,然后还需两个字节来存放字符串的长度,所以有效长度是64432-1-2=65532字节。  
    例:若一个表定义为 CREATE TABLE tb(c1 int, c2 char(30), c3 varchar(N)) charset=utf8; 问N的最大值是多少? 答:(65535-1-2-4-30*3)/3  
  
-- b. blob, text ----------  
    blob 二进制字符串(字节字符串)  
        tinyblob, blob, mediumblob, longblob  
    text 非二进制字符串(字符字符串)  
        tinytext, text, mediumtext, longtext  
    text 在定义时,不需要定义长度,也不会计算总长度。  
    text 类型在定义时,不可给default值  
  
-- c. binary, varbinary ----------  
    类似于char和varchar,用于保存二进制字符串,也就是保存字节字符串而非字符字符串。  
char, varchar, text 对应 binary, varbinary, blob.  
  
3. 日期时间类型  
    一般用整型保存时间戳,因为PHP可以很方便的将时间戳进行格式化。  
    datetime    8字节    日期及时间     1000-01-0100:00:00 到 9999-12-3123:59:59  
    date        3字节    日期         1000-01-01 到 9999-12-31  
    timestamp   4字节    时间戳        19700101000000 到 2038-01-1903:14:07  
    time        3字节    时间         -838:59:59 到 838:59:59  
    year        1字节    年份         1901 - 2155  
datetime    YYYY-MM-DD hh:mm:ss  
timestamp   YY-MM-DD hh:mm:ss  
            YYYYMMDDhhmmss  
            YYMMDDhhmmss  
            YYYYMMDDhhmmss  
            YYMMDDhhmmss  
date        YYYY-MM-DD  
            YY-MM-DD  
            YYYYMMDD  
            YYMMDD  
            YYYYMMDD  
            YYMMDD  
time        hh:mm:ss  
            hhmmss  
            hhmmss  
year        YYYY  
            YY  
            YYYY  
            YY  
  
4. 枚举和集合  
-- 枚举(enum) ----------  
enum(val1, val2, val3...)  
    在已知的值中进行单选。最大数量为65535.  
    枚举值在保存时,以2个字节的整型(smallint)保存。每个枚举值,按保存的位置顺序,从1开始逐一递增。  
    表现为字符串类型,存储却是整型。  
    NULL值的索引是NULL。  
    空字符串错误值的索引值是0。  
-- 集合(set) ----------  
set(val1, val2, val3...)  
create table tab ( gender set('男', '女', '无') );  
insert into tab values ('男, 女');  
    最多可以有64个不同的成员。以bigint存储,共8个字节。采取位运算的形式。  
    当创建表时,SET成员值的尾部空格将自动被删除。

选择类型

-- PHP角度  
1. 功能满足  
2. 存储空间尽量小,处理效率更高  
3. 考虑兼容问题  
  
-- IP存储 ----------  
1. 只需存储,可用字符串  
2. 如果需计算,查找等,可存储为4个字节的无符号int,即unsigned  
   1) PHP函数转换  
       ip2long可转换为整型,但会出现携带符号问题。需格式化为无符号的整型。  
       利用sprintf函数格式化字符串  
       sprintf("%u", ip2long('192.168.3.134'));  
       然后用long2ip将整型转回IP字符串  
   2) MySQL函数转换(无符号整型,UNSIGNED)  
       INET_ATON('127.0.0.1') 将IP转为整型  
       INET_NTOA(2130706433) 将整型转为IP

列属性(列约束)

1. PRIMARY 主键  
    - 能唯一标识记录的字段,可以作为主键。  
    - 一个表只能有一个主键。  
    - 主键具有唯一性。  
    - 声明字段时,用 primary key 标识。  
        也可以在字段列表之后声明  
            例:createtable tab ( idint, stu varchar(10), primary key (id));  
    - 主键字段的值不能为null。  
    - 主键可以由多个字段共同组成。此时需要在字段列表后声明的方法。  
        例:createtable tab ( idint, stu varchar(10), age int, primary key (stu, age));  
  
2. UNIQUE 唯一索引(唯一约束)  
    使得某字段的值也不能重复。  
  
3. NULL 约束  
    null不是数据类型,是列的一个属性。  
    表示当前列是否可以为null,表示什么都没有。  
    null, 允许为空。默认。  
    not null, 不允许为空。  
insertinto tab values (null, 'val');  
-- 此时表示将第一个字段的值设为null, 取决于该字段是否允许为null  
  
  
4. DEFAULT 默认值属性  
    当前字段的默认值。  
insertinto tab values (default, 'val');    -- 此时表示强制使用默认值。  
createtable tab ( add_time timestampdefaultcurrent_timestamp );  
-- 表示将当前时间的时间戳设为默认值。  
        current_date, current_time  
  
5. AUTO_INCREMENT 自动增长约束  
    自动增长必须为索引(主键或unique)  
    只能存在一个字段为自动增长。  
    默认为1开始自动增长。可以通过表属性 auto_increment = x进行设置,或 altertable tbl auto_increment = x;  
  
6. COMMENT 注释  
    例:createtable tab ( idint ) comment'注释内容';  
  
7. FOREIGN KEY 外键约束  
    用于限制主表与从表数据完整性。  
altertable t1 addconstraint`t1_t2_fk` foreign key (t1_id) references t2(id);  
-- 将表t1的t1_id外键关联到表t2的id字段。  
-- 每个外键都有一个名字,可以通过 constraint 指定  
    存在外键的表,称之为从表(子表),外键指向的表,称之为主表(父表)。  
    作用:保持数据一致性,完整性,主要目的是控制存储在外键表(从表)中的数据。  
    MySQL中,可以对InnoDB引擎使用外键约束:  
    ----语法:  
    foreign key (外键字段) references 主表名 (关联字段) [主表记录删除时的动作] [主表记录更新时的动作]  
    此时需要检测一个从表的外键需要约束为主表的已存在的值。外键在没有关联的情况下,可以设置为null.前提是该外键列,没有not null。  
    可以不指定主表记录更改或更新时的动作,那么此时主表的操作被拒绝。  
    如果指定了 on update 或 ondelete:在删除或更新时,有如下几个操作可以选择:  
1.cascade,级联操作。主表数据被更新(主键值更新),从表也被更新(外键值更新)。主表记录被删除,从表相关记录也被删除。  
2.setnull,设置为null。主表数据被更新(主键值更新),从表的外键被设置为null。主表记录被删除,从表相关记录外键被设置成null。但注意,要求该外键列,没有notnull属性约束。  
3. restrict,拒绝父表删除和更新。  
    注意,外键只被InnoDB存储引擎所支持。其他引擎是不支持的。

建表规范

-- Normal Format, NF   
  - 每个表保存一个实体信息   
  - 每个具有一个ID字段作为主键   
  - ID主键 + 原子表   

-- 1NF, 第一范式   
   字段不能再分,就满足第一范式。        

-- 2NF, 第二范式   
  满足第一范式的前提下,不能出现部分依赖。   
  消除符合主键就可以避免部分依赖。增加单列关键字。        

-- 3NF, 第三范式   
  满足第二范式的前提下,不能出现传递依赖。   
  某个字段依赖于主键,而有其他字段依赖于该字段。这就是传递依赖。
  将一个实体信息的数据放在一个表内实现。

SELECT查询

SELECT [ALL|DISTINCT] select_expr FROM -> WHERE -> GROUP BY [合计函数] -> HAVING -> ORDER BY -> LIMITa. select_expr    
-- 可以用 * 表示所有字段。        
select * from tb;    
-- 可以使用表达式(计算公式、函数调用、字段也是个表达式)        
select stu, 29+25, now() from tb;    
-- 可以为每个列使用别名。适用于简化列标识,避免多个列标识符重复。        
- 使用 as 关键字,也可省略 as.        
select stu+10 as add10 from tb;      

b. FROM 子句    
用于标识查询来源。    
-- 可以为表起别名。使用as关键字。        
SELECT * FROM tb1 AS tt, tb2 AS bb;    
-- from子句后,可以同时出现多个表。        
-- 多个表会横向叠加到一起,而数据会形成一个笛卡尔积。        
SELECT * FROM tb1, tb2;    
-- 向优化符提示如何选择索引        
USE INDEX、IGNORE INDEX、FORCE INDEX        
SELECT * FROM table1 USE INDEX (key1,key2) WHERE key1=1 AND key2=2 AND key3=3;        
SELECT * FROM table1 IGNORE INDEX (key3) WHERE key1=1 AND key2=2 AND key3=3;c. WHERE 子句    
-- 从from获得的数据源中进行筛选。    
-- 整型1表示真,0表示假。    
-- 表达式由运算符和运算数组成。        
-- 运算数:变量(字段)、值、函数返回值        
-- 运算符:           
=, <=>, <>, !=, <=, <, >=, >, !, &&, ||,            
in (not) null, (not) like, (not) in, (not) between and, is (not), and, or, not, xor           
is/is not 加上ture/false/unknown,检验某个值的真假            
<=>与<>功能相同,<=>可用于null比较            

d. GROUP BY 子句, 分组子句    
GROUP BY 字段/别名 [排序方式]    
分组后会进行排序。升序:ASC,降序:DESC   
以下[合计函数]需配合 GROUP BY 使用:    
count 返回不同的非NULL值数目  count(*)、count(字段)    
sum 求和    
max 求最大值    
min 求最小值    
avg 求平均值    
group_concat 返回带有来自一个组的连接的非NULL值的字符串结果。组内字符串连接。    

e. HAVING 子句,条件子句    
与 where 功能、用法相同,执行时机不同。    
where 在开始时执行检测数据,对原数据进行过滤。    
having 对筛选出的结果再次进行过滤。    
having 字段必须是查询出来的,where 字段必须是数据表存在的。   
where 不可以使用字段的别名,having 可以。因为执行WHERE代码时,可能尚未确定列值。   
where 不可以使用合计函数。一般需用合计函数才会用 having    
SQL标准要求HAVING必须引用GROUP BY子句中的列或用于合计函数中的列。    

f. ORDER BY 子句,排序子句    
order by 排序字段/别名 排序方式 [,排序字段/别名 排序方式]...    
升序:ASC,降序:DESC    
支持多个字段的排序。    

g. LIMIT 子句,限制结果数量子句    
仅对处理好的结果进行数量限制。将处理好的结果的看作是一个集合,按照记录出现的顺序,索引从0开始。    
limit 起始位置, 获取条数    
省略第一个参数,表示从索引0开始。limit 获取条数    

h. DISTINCT, ALL 选项    
distinct 去除重复记录    
默认为 all, 全部记录

UNION

将多个select查询的结果组合成一个结果集合。
SELECT ... UNION [ALL|DISTINCT] SELECT ...
默认 DISTINCT 方式,即所有返回的行都是唯一的建议,对每个SELECT查询加上小括号包裹。
ORDER BY 排序时,需加上 LIMIT 进行结合。
需要各select查询的字段数量一样。
每个select查询的字段列表(数量、类型)应一致,因为结果中的字段名以第一条select语句为准。

子查询

- 子查询需用括号包裹。
-- from型    
 from后要求是一个表,必须给子查询结果取个别名。    
 - 简化每个查询内的条件。    
 - from型需将结果生成一个临时表格,可用以原表的锁定的释放。    
 - 子查询返回一个表,表型子查询。    
 select * from (select * from tb where id>0) as subfrom  where id>1;    

-- where型    
- 子查询返回一个值,标量子查询。    
- 不需要给子查询取别名。    
- where子查询内的表,不能直接用以更新。    
select * from tb where money = (select max(money) from tb);

-- 列子查询        
如果子查询结果返回的是一列。        
使用 in 或 not in 完成查询        
exists 和 not exists 条件            
如果子查询返回数据,则返回1或0。常用于判断条件。
select column1 from t1 where exists (select * from t2);

-- 行子查询        
查询条件是一个行。        
select * from t1 where (id, gender) in (select id, gender from t2);        
行构造符:(col1, col2, ...) 或 ROW(col1, col2, ...) 
行构造符通常用于与对能返回两个或两个以上列的子查询进行比较。

-- 特殊运算符    
!= all()    
相当于 not in    
= some()    
相当于 in。any 是 some 的别名    
!= some()   
不等同于 not in,不等于其中某一个。    
all, some 可以配合其他运算符一起使用。

连接查询(join)

将多个表的字段进行连接,可以指定连接条件。
-- 内连接(inner join)    
- 默认就是内连接,可省略inner。    
- 只有数据存在时才能发送连接。即连接结果不能出现空行。    
on 表示连接条件。其条件表达式与where类似。也可以省略条件(表示条件永远为真)    
也可用where表示连接条件。    
还有 using, 但需字段名相同。 using(字段名)    

-- 交叉连接 cross join        
即,没有条件的内连接。        
select * from tb1 cross join tb2;    

-- 外连接(outer join)    
- 如果数据不存在,也会出现在连接结果中。    
   -- 左外连接 left join        
   如果数据不存在,左表记录会出现,而右表为null填充    
   -- 右外连接 right join        
   如果数据不存在,右表记录会出现,而左表为null填充 
   
-- 自然连接(natural join)    
   自动判断连接条件完成连接。    
   相当于省略了using,会自动查找相同字段名。    
   natural join    
   natural left join    
   natural right join    
   
   select info.id, info.name, info.stu_num, extra_info.hobby, extra_info.sex from info, extra_info where info.stu_num = extra_info.stu_id;

导出

select * into outfile 文件地址 [控制格式] from 表名;   -- 导出表数据

load data [local] infile 文件地址 [replace|ignore] into table 表名 [控制格式]; -- 导入数据    
生成的数据默认的分隔符是制表符    
local未指定,则数据文件必须在服务器上    
replace 和 ignore 关键词控制对现有的唯一键记录的重复的处理

-- 控制格式
fields  控制字段格式
默认:fields terminated by '\t' enclosed by '' escaped by '\\'    
  terminated by 'string'  -- 终止    
  enclosed by 'char'      -- 包裹    
  escaped by 'char'       -- 转义        
   -- 示例:        
   SELECT a,b,a+b INTO OUTFILE '/tmp/result.text' 
   FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' 
   LINES TERMINATED BY '\n'        
   FROM test_table;
   
   lines   控制行格式
   默认:lines terminated by '\n'    
   terminated by 'string'  -- 终止

INSERT

select语句获得的数据可以用insert插入。
可以省略对列的指定,要求 values () 括号内,提供给了按照列顺序出现的所有字段的值。    
 或者使用set语法。    
 INSERT INTO tbl_name SET field=value,...;    

可以一次性使用多个值,采用(), (), ();的形式。    
 INSERT INTO tbl_name VALUES (), (), ();    

可以在列值指定时,使用表达式。    
 INSERT INTO tbl_name VALUES (field_value, 10+10, now()); 

可以使用一个特殊值 DEFAULT,表示该列使用默认值。    
 INSERT INTO tbl_name VALUES (field_value, DEFAULT);    

可以通过一个查询的结果,作为需要插入的值。    
 INSERT INTO tbl_name SELECT ...;    

可以指定在插入的值出现主键(或唯一索引)冲突时,更新其他非主键列的信息。    
 INSERT INTO tbl_name VALUES/SET/SELECT ON DUPLICATE KEY UPDATE 字段=值, …;

DELETE

DELETE FROM tbl_name [WHERE where_definition] [ORDER BY ...] [LIMIT row_count]
按照条件删除。where
指定删除的最多记录数。limit
可以通过排序条件删除。order by + limit
支持多表删除,使用类似连接语法。
delete from 需要删除数据多表1,表2 using 表连接操作 条件。

TRUNCATE

TRUNCATE [TABLE] tbl_name
清空数据删
除重建表

区别:
1,truncate 是删除表再创建,delete 是逐条删除
2,truncate 重置auto_increment的值。而delete不会
3,truncate 不知道删除了几条,而delete知道。
4,当被用于带分区的表时,truncate 会保留分区

备份与还原

备份,将数据的结构与表内数据保存起来。
利用 mysqldump 指令完成。

-- 导出
mysqldump [options] db_name [tables]mysqldump [options] 
---database DB1 [DB2 DB3...]mysqldump [options] 
--all--database
1. 导出一张表  
mysqldump -u用户名 -p密码 库名 表名 > 文件名(D:/a.sql)
2. 导出多张表  
mysqldump -u用户名 -p密码 库名 表1 表2 表3 > 文件名(D:/a.sql)
3. 导出所有表  
mysqldump -u用户名 -p密码 库名 > 文件名(D:/a.sql)
4. 导出一个库  
mysqldump -u用户名 -p密码 --lock-all-tables --database 库名 > 文件名(D:/a.sql)
可以-w携带WHERE条件

-- 导入
1. 在登录mysql的情况下:  
source  备份文件
2. 在不登录的情况下  
mysql -u用户名 -p密码 库名 < 备份文件

视图

什么是视图:    
视图是一个虚拟表,其内容由查询定义。同真实的表一样,视图包含一系列带有名称的列和行数据。但是,视图并不在数据库中以存储的数据值集形式存在。行和列数据来自由定义视图的查询所引用的表,并且在引用视图时动态生成。    
视图具有表结构文件,但不存在数据文件。    
对其中所引用的基础表来说,视图的作用类似于筛选。定义视图的筛选可以来自当前或其它数据库的一个或多个表,或者其它视图。通过视图进行查询没有任何限制,通过它们进行数据修改时的限制也很少。    
视图是存储在数据库中的查询的sql语句,它主要出于两种原因:安全原因,视图可以隐藏一些数据,如:社会保险基金表,可以用视图只显示姓名,地址,而不显示社会保险号和工资数等,另一原因是可使复杂的查询易于理解和使用。

-- 创建视图
CREATE [OR REPLACE] [ALGORITHM = {UNDEFINED | MERGE | TEMPTABLE}] VIEW view_name [(column_list)] AS select_statement    
- 视图名必须唯一,同时不能与表重名。    
- 视图可以使用select语句查询到的列名,也可以自己指定相应的列名。
- 可以指定视图执行的算法,通过ALGORITHM指定。    
- column_list如果存在,则数目必须等于SELECT语句检索的列数

-- 查看结构    
SHOW CREATE VIEW view_name

-- 删除视图    
- 删除视图后,数据依然存在。    
- 可同时删除多个视图。    
DROP VIEW [IF EXISTS] view_name ...

-- 修改视图结构    
- 一般不修改视图,因为不是所有的更新视图都会映射到表上。
ALTER VIEW view_name [(column_list)] AS select_statement

-- 视图作用    
1. 简化业务逻辑    
2. 对客户端隐藏真实的表结构

-- 视图算法(ALGORITHM)    
MERGE       合并        
 将视图的查询语句,与外部查询需要先合并再执行!    
TEMPTABLE   临时表        
 将视图执行完毕后,形成临时表,再做外层查询!    
UNDEFINED   
 未定义(默认),指的是MySQL自主去选择相应的算法。

事务(transaction)

事务是指逻辑上的一组操作,组成这组操作的各个单元,要不全成功要不全失败。    
- 支持连续SQL的集体成功或集体撤销。    
- 事务是数据库在数据晚自习方面的一个功能。    
- 需要利用 InnoDB 或 BDB 存储引擎,对自动提交的特性支持完成。
- InnoDB被称为事务安全型引擎。

-- 事务开启    
START TRANSACTION; 或者 BEGIN;    
开启事务后,所有被执行的SQL语句均被认作当前事务内的SQL语句。

-- 事务提交    
COMMIT;

-- 事务回滚    
ROLLBACK;    
如果部分操作发生问题,映射到事务开启前。

-- 事务的特性    
1. 原子性(Atomicity)        
 事务是一个不可分割的工作单位,事务中的操作要么都发生,要么都不发生。    
2. 一致性(Consistency)        
 事务前后数据的完整性必须保持一致。        
  - 事务开始和结束时,外部数据一致        
  - 在整个事务过程中,操作是连续的    
3. 隔离性(Isolation)        
 多个用户并发访问数据库时,一个用户的事务不能被其它用户的事物所干扰,多个并发事务之间的数据要相互隔离。    
4. 持久性(Durability)        
 一个事务一旦被提交,它对数据库中的数据改变就是永久性的。

-- 事务的实现    
1. 要求是事务支持的表类型    
2. 执行一组相关的操作前开启事务    
3. 整组操作完成后,都成功,则提交;如果存在失败,选择回滚,则会回到事务开始的备份点。

-- 事务的原理    
利用InnoDB的自动提交(autocommit)特性完成。    
普通的MySQL执行语句后,当前的数据提交操作均可被其他客户端可见。
而事务是暂时关闭“自动提交”机制,需要commit提交持久化数据操作。

-- 注意    
1. 数据定义语言(DDL)语句不能被回滚,比如创建或取消数据库的语句,和创建、取消或更改表或存储的子程序的语句。    
2. 事务不能被嵌套

-- 保存点    
SAVEPOINT 保存点名称 -- 设置一个事务保存点    
ROLLBACK TO SAVEPOINT 保存点名称 -- 回滚到保存点    
RELEASE SAVEPOINT 保存点名称 -- 删除保存点

-- InnoDB自动提交特性设置    
SET autocommit = 0|1;   0表示关闭自动提交,1表示开启自动提交。
- 如果关闭了,那普通操作的结果对其他客户端也不可见,需要commit提交后才能持久化数据操作。    
- 也可以关闭自动提交来开启事务。但与START TRANSACTION不同的是,
SET autocommit是永久改变服务器的设置,直到下次再次修改该设置。(针对当前连接)        
而START TRANSACTION记录开启前的状态,而一旦事务提交或回滚后就需要再次开启事务。(针对当前事务)

锁表

表锁定只用于防止其它客户端进行不正当地读取和写入
  MyISAM 支持表锁,
  InnoDB 支持行锁
-- 锁定    
  LOCK TABLES tbl_name [AS alias]
-- 解锁    
  UNLOCK TABLES

触发器

触发程序是与表有关的命名数据库对象,当该表出现特定事件时,将激活该对象。
监听:记录的增加、修改、删除。

-- 创建触发器CREATE TRIGGER trigger_name trigger_time trigger_event ON tbl_name FOR EACH ROW trigger_stmt    
参数:    
trigger_time是触发程序的动作时间。它可以是 before 或 after,以指明触发程序是在激活它的语句之前或之后触发。    
trigger_event指明了激活触发程序的语句的类型        
INSERT:将新行插入表时激活触发程序        
UPDATE:更改某一行时激活触发程序        
DELETE:从表中删除某一行时激活触发程序    
tbl_name:监听的表,必须是永久性的表,不能将触发程序与TEMPORARY表或视图关联起来。    
trigger_stmt:当触发程序激活时执行的语句。执行多个语句,可使用BEGIN...END复合语句结构

-- 删除
DROP TRIGGER [schema_name.]trigger_name可以使用old和new代替旧的和新的数据    
更新操作,更新前是old,更新后是new.    
删除操作,只有old.    
增加操作,只有new.

-- 注意    
1. 对于具有相同触发程序动作时间和事件的给定表,不能有两个触发程序。
-- 字符连接函数
concat(str1,str2,...])concat_ws(separator,str1,str2,...)

-- 分支语句if 条件 then    
执行语句
elseif 条件 then    
执行语句
else    
执行语句
end if;

-- 修改最外层语句结束符delimiter 
自定义结束符号    
SQL语句自定义结束符号delimiter ;     -- 修改回原来的分号

-- 语句块包裹
begin    
 语句块
end

-- 特殊的执行
1. 只要添加记录,就会触发程序。
2. Insert into on duplicate key update 语法会触发:    
  如果没有重复记录,会触发 before insert, after insert;    
  如果有重复记录并更新,会触发 before insert, before update, after update;    
  如果有重复记录但是没有发生更新,则触发 before insert, before update
3. Replace 语法 如果有记录,则执行 before insert, before delete, after delete, after insert

SQL编程

--// 局部变量 ----------

-- 变量声明    
declare var_name[,...] type [default value]    
这个语句被用来声明局部变量。要给变量提供一个默认值,请包含一个default子句。值可以被指定为一个表达式,不需要为一个常数。如果没有default子句,初始值为null。

-- 赋值    
使用 set 和 select into 语句为变量赋值。    
- 注意:在函数内是可以使用全局变量(用户自定义的变量)

--// 全局变量 ----------
-- 定义、赋值
set 语句可以定义并为变量赋值。
set @var = value;
也可以使用select into语句为变量初始化并赋值。这样要求select语句只能返回一行,但是可以是多个字段,就意味着同时为多个变量进行赋值,变量的数量需要与查询的列数一致。
还可以把赋值语句看作一个表达式,通过select执行完成。此时为了避免=被当作关系运算符看待,使用:=代替。(set语句可以使用= 和 :=)。
select @var:=20;select @v1:=id, @v2=name from t1 limit 1;
select * from tbl_name where @var:=30;
select into 可以将表中查询获得的数据赋给变量。    
-| select max(height) into @max_height from tb;    

-- 自定义变量名
为了避免select语句中,用户自定义的变量与系统标识符(通常是字段名)冲突,用户自定义变量在变量名前使用@作为开始符号。@var=10;
  - 变量被定义后,在整个会话周期都有效(登录到退出)

--// 控制结构 ----------
-- if语句
if search_condition then    
statement_list   
[elseif search_condition then    
statement_list]
...
[else    
statement_list]
end if;

-- case语句
CASE value WHEN [compare-value] THEN result
[WHEN [compare-value] THEN result ...]
[ELSE result]
END

-- while循环
[begin_label:] while search_condition do
statement_listend while 
[end_label];
- 如果需要在循环内提前终止 while循环,则需要使用标签;标签需要成对出现。    
 -- 退出循环        
  退出整个循环 leave        
  退出当前循环 iterate        
  通过退出的标签决定退出哪个循环

--// 内置函数 ----------
-- 数值函数
abs(x)          -- 绝对值 abs(-10.9) = 10
format(x, d)    -- 格式化千分位数值 format(1234567.456, 2) = 1,234,567.46
ceil(x)         -- 向上取整 ceil(10.1) = 11
floor(x)        -- 向下取整 floor (10.1) = 10
round(x)        -- 四舍五入去整
mod(m, n)       -- m%n m mod n 求余 10%3=1
pi()            -- 获得圆周率
pow(m, n)       -- m^n
sqrt(x)         -- 算术平方根
rand()          -- 随机数
truncate(x, d)  -- 截取d位小数

-- 时间日期函数
now(), current_timestamp();     -- 当前日期时间
current_date();                 -- 当前日期
current_time();                 -- 当前时间
date('yyyy-mm-dd hh:ii:ss');    -- 获取日期部分
time('yyyy-mm-dd hh:ii:ss');    -- 获取时间部分
date_format('yyyy-mm-dd hh:ii:ss', '%d %y %a %d %m %b %j'); -- 格式化时间
unix_timestamp();               - 获得unix时间戳
from_unixtime();                -- 从时间戳获得时间

-- 字符串函数
length(string)          -- string长度,字节
char_length(string)     -- string的字符个数
substring(str, position [,length])      -- 从str的position开始,取length个字符
replace(str ,search_str ,replace_str)   -- 在str中用replace_str替换search_str
instr(string ,substring)    -- 返回substring首次在string中出现的位置
concat(string [,...])   -- 连接字串
charset(str)            -- 返回字串字符集lcase(string)           -- 转换成小写
left(string, length)    -- 从string2中的左边起取length个字符
load_file(file_name)    -- 从文件读取内容
locate(substring, string [,start_position]) -- 同instr,但可指定开始位置
lpad(string, length, pad)   -- 重复用pad加在string开头,直到字串长度为length
ltrim(string)           -- 去除前端空格
repeat(string, count)   -- 重复count次
rpad(string, length, pad)   --在str后用pad补充,直到长度为length
rtrim(string)           -- 去除后端空格
strcmp(string1 ,string2)    -- 逐字符比较两字串大小

-- 流程函数
case when [condition] then result [when [condition] then result ...] [else result] end   多分支if(expr1,expr2,expr3)  双分支。

-- 聚合函数
count()sum();max();min();avg();group_concat()

-- 其他常用函数
md5();default();

--// 存储函数,自定义函数 ----------
-- 新建    
CREATE FUNCTION function_name (参数列表) RETURNS 返回值类型 
函数体    
- 函数名,应该合法的标识符,并且不应该与已有的关键字冲突。    
- 一个函数应该属于某个数据库,可以使用db_name.funciton_name的形式执行当前函数所属数据库,否则为当前数据库。 
- 参数部分,由"参数名"和"参数类型"组成。多个参数用逗号隔开。
- 函数体由多条可用的mysql语句,流程控制,变量声明等语句构成。
- 多条语句应该使用 begin...end 语句块包含。    
- 一定要有 return 返回值语句。

-- 删除    
DROP FUNCTION [IF EXISTS] function_name;

-- 查看    
SHOW FUNCTION STATUS LIKE 'partten'    
SHOW CREATE FUNCTION function_name;

-- 修改    
ALTER FUNCTION function_name 函数选项

--// 存储过程,自定义功能 ----------

-- 定义存储存储过程 
是一段代码(过程),存储在数据库中的sql组成。
一个存储过程通常用于完成一段业务逻辑,例如报名,交班费,订单入库等。
而一个函数通常专注与某个功能,视为其他程序服务的,需要在其他语句中调用函数才可以,而存储过程不能被其他调用,是自己执行 通过call执行。

-- 创建
CREATE PROCEDURE sp_name (参数列表)    
过程体
参数列表:
不同于函数的参数列表,
需要指明参数类型IN,
表示输入型OUT,
表示输出型INOUT,
表示混合型
注意,没有返回值。

/* 存储过程 */ ------------------
存储过程是一段可执行性代码的集合。相比函数,更偏向于业务逻辑。
调用:
CALL 过程名
-- 注意- 没有返回值。
- 只能单独调用,不可夹杂在其他语句中
-- 参数IN|OUT|INOUT 参数名 数据类型
IN 输入:
在调用过程中,将数据输入到过程体内部的参数
OUT     输出:在调用过程中,将过程体处理完的结果返回到客户端
INOUT   输入输出:既可输入,也可输出

-- 语法
CREATE PROCEDURE 过程名 (参数列表)
BEGIN    
过程体
END

用户和权限管理

-- root密码重置
1. 停止MySQL服务
2.  [Linux] 
/usr/local/mysql/bin/safe_mysqld --skip-grant-tables &  
[Windows] 
mysqld --skip-grant-tables
3. use mysql;
4. UPDATE `user` SET PASSWORD=PASSWORD("密码") WHERE `user` = "root";
5. FLUSH PRIVILEGES;

用户信息表:mysql.user
 -- 刷新权限FLUSH PRIVILEGES;

-- 增加用户
CREATE USER 用户名 IDENTIFIED BY [PASSWORD] 密码(字符串)      - 必须拥有mysql数据库的全局CREATE USER权限,或拥有INSERT权限。
 - 只能创建用户,不能赋予权限。    
 - 用户名,注意引号:如 'user_name'@'192.168.1.1'    
 - 密码也需引号,纯数字密码也要加引号    
 - 要在纯文本中指定密码,需忽略PASSWORD关键词。要把密码指定为由PASSWORD()函数返回的混编值,需包含关键字PASSWORD

-- 重命名用户
RENAME USER old_user TO new_user

-- 设置密码
SET PASSWORD = PASSWORD('密码')  -- 为当前用户设置密码
SET PASSWORD FOR 用户名 = PASSWORD('密码') -- 为指定用户设置密码

-- 删除用户
DROP USER 用户名

-- 分配权限/添加用户
GRANT 权限列表 ON 表名 TO 用户名 [IDENTIFIED BY [PASSWORD] 'password']    
- all privileges 表示所有权限    
- *.* 表示所有库的所有表    
- 库名.表名 表示某库下面的某表    
GRANT ALL PRIVILEGES ON `pms`.* TO 'pms'@'%' IDENTIFIED BY 'pms0817';

-- 查看权限
SHOW GRANTS FOR 用户名    
  -- 查看当前用户权限    
   SHOW GRANTS; 或 SHOW GRANTS FOR CURRENT_USER; 或 
   SHOW   GRANTS FOR CURRENT_USER();

-- 撤消权限
REVOKE 权限列表 ON 表名 FROM 用户名
REVOKE ALL PRIVILEGES, GRANT OPTION FROM 用户名   -- 撤销所有权限

-- 权限层级
-- 要使用GRANT或REVOKE,您必须拥有GRANT OPTION权限,并且您必须用于您正在授予或撤销的权限。
全局层级:全局权限适用于一个给定服务器中的所有数据库,mysql.user
  GRANT ALL ON *.*和 REVOKE ALL ON *.*只授予和撤销全局权限。
数据库层级:数据库权限适用于一个给定数据库中的所有目标,mysql.db, mysql.host    
   GRANT ALL ON db_name.*和REVOKE ALL ON db_name.*只授予和撤销数据库权限。
表层级:表权限适用于一个给定表中的所有列,mysql.talbes_priv 
   GRANT ALL ON db_name.tbl_name和REVOKE ALL ON db_name.tbl_name只授予和撤销表权限。
列层级:列权限适用于一个给定表中的单一列,mysql.columns_priv 
   当使用REVOKE时,您必须指定与被授权列相同的列。
   
-- 权限列表
ALL [PRIVILEGES]    -- 设置除GRANT OPTION之外的所有简单权限
ALTER   -- 允许使用ALTER TABLE
ALTER ROUTINE   -- 更改或取消已存储的子程序
CREATE  -- 允许使用CREATE TABLE
CREATE ROUTINE  -- 创建已存储的子程序
CREATE TEMPORARY TABLES     -- 允许使用CREATE TEMPORARY TABLE
CREATE USER     -- 允许使用CREATE USER, DROP USER, RENAME USER和REVOKE ALL PRIVILEGES。
CREATE VIEW     -- 允许使用CREATE VIEW
DELETE  -- 允许使用DELETE
DROP    -- 允许使用DROP TABLE
EXECUTE     -- 允许用户运行已存储的子程序
FILE    -- 允许使用SELECT...INTO OUTFILE和LOAD DATA INFILE
INDEX   -- 允许使用CREATE INDEX和DROP INDEX
INSERT  -- 允许使用INSERT
LOCK TABLES     -- 允许对您拥有SELECT权限的表使用LOCK TABLES
PROCESS     -- 允许使用SHOW FULL PROCESSLIST
REFERENCES  -- 未被实施
RELOAD  -- 允许使用FLUSH
REPLICATION CLIENT  -- 允许用户询问从属服务器或主服务器的地址
REPLICATION SLAVE   -- 用于复制型从属服务器(从主服务器中读取二进制日志事件)
SELECT  -- 允许使用SELECT
SHOW DATABASES  -- 显示所有数据库
SHOW VIEW   -- 允许使用SHOW CREATE VIEW
SHUTDOWN    -- 允许使用mysqladmin shutdown
SUPER   -- 允许使用CHANGE MASTER, KILL, PURGE MASTER LOGS和SET GLOBAL语句,mysqladmin debug命令;允许您连接(一次),即使已达到max_connections。
UPDATE  -- 允许使用UPDATE
USAGE   -- “无权限”的同义词
RANT OPTION    -- 允许授予权限

表维护

-- 分析和存储表的关键字分布
ANALYZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE 表名 ...

-- 检查一个或多个表是否有错误
CHECK TABLE tbl_name [, tbl_name] ... [option] ...
option = {QUICK | FAST | MEDIUM | EXTENDED | CHANGED}

-- 整理数据文件的碎片
OPTIMIZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] ...

杂项

1. 可用反引号(`)为标识符(库名、表名、字段名、索引、别名)包裹,以避免与关键字重名!中文也可以作为标识符!
2. 每个库目录存在一个保存当前数据库的选项文件db.opt。
3. 注释:    
  单行注释 # 注释内容    
  多行注释 /* 注释内容 */    
  单行注释 -- 注释内容     (标准SQL注释风格,要求双破折号后加一空格符(空格、TAB、换行等))
4. 模式通配符:    
  _   任意单个字符    
  %   任意多个字符,甚至包括零字符    
  单引号需要进行转义 \'
5. CMD命令行内的语句结束符可以为 ";", "\G", "\g",仅影响显示结果。其他地方还是用分号结束。delimiter 可修改当前对话的语句结束符。
6. SQL对大小写不敏感
7. 清除已有语句:\c

如有错误或其它问题,欢迎小伙伴留言评论、指正。如有帮助,欢迎点赞+转发分享。

欢迎大家关注民工哥的公众号:民工哥技术之路
image.png

查看原文

StephenYue 收藏了文章 · 9月28日

Linux运维必会的100道MySql面试题之(三)

接上一篇:Linux运维必会的100道MySql面试题之(二)

001:请解释关系型数据库概念及主要特点?

关系型数据库模型是把复杂的数据结构归结为简单的二元关系,对数据的操作都是建立一个 或多个关系表格上

最大的特点就是二维的表格,通过SQL结构查询语句存取数据,保持数据 一致性方面很强大

002:请说出关系型数据库的典型产品、特点及应用场景?

mysql 互联网企业常用

oracle 大型传统企业应用软件

如数据备份、复杂连接查询、一致性数据存储等,还是使用MySQL或者其他传统的关系型数据库最合适

003:请解释非关系型数据库概念及主要特点?

非关系型数据库也被称为NoSQL数据库,数据存储不需有特有固定的表结构

特点:高性能、高并发、简单易安装

004:请说出非关系型数据库的典型产品、特点及应用场景?

memcaced 纯内存

redis 持久化缓存

mongodb 面向文档

如果需要短时间响应的查询操作,没有良好模式定义的数据存储,或者模式更改频繁的数据存储还是用NoSQL

005:请详细描述SQL语句分类及对应代表性关键字

sql语句分类如下

DDL 数据定义语言,用来定义数据库对象:库、表、列

代表性关键字:create alter drop

DML 数据操作语言,用来定义数据库记录

代表性关键字:insert delete update

DCL 数据控制语言,用来定义访问权限和安全级别

代表性关键字:grant deny revoke

DQL 数据查询语言,用来查询记录数据

代表性关键字:select 


006:请详细描述char(4)和varchar(4)的差别

char长度是固定不可变的,varchar长度是可变的(在设定内)

比如同样写入cn字符,char类型对应的长度是4(cn+两个空格),但varchar类型对应长度是2

007:如何创建一个utf8字符集的数据库mingongge?

create database mingongge default character utf8 collate utf8_general_ci;

008:如何授权mingongge用户从172.16.1.0/24访问数据库

grant all on . to mingongge@'172.16.1.0/24' identified by '123456';

009:什么是MySQL多实例,如何配置MySQL多实例?

mysql多实例就是在同一台服务器上启用多个mysql服务,它们监听不同的端口,运行多个服务进程

它们相互独立,互不影响的对外提供服务,便于节约服务器资源与后期架构扩展

多实例的配置方法有两种:

1、一个实例一个配置文件,不同端口

2、同一配置文件(my.cnf)下配置不同实例,基于mysqld_multi工具

具体配置请参考之前的文章

010:如何加强MySQL安全,请给出可行的具体措施?

1、删除数据库不使用的默认用户

2、配置相应的权限(包括远程连接)

3、不可在命令行界面下输入数据库的密码

4、定期修改密码与加强密码的复杂度

011:MySQL root密码忘了如何找回?

mysqld_safe --skip-grant-tables &   #启动数据库服务

mysql -uroot -ppassowrd -e "use mysql;update user set passowrd = PASSWORD('newpassword') where user = 'root';flush privileges;"

012:delete和truncate删除数据的区别?

前者删除数据可以恢复,它是逐条删除速度慢

后者是物理删除,不可恢复,它是整体删除速度快

013:MySQL Sleep线程过多如何解决?

1、可以杀掉sleep进程,kill PID

2、修改配置,重启服务

[mysqld]

wait_timeout = 600

interactive_timeout=30

如果生产服务器不可随便重启可以使用下面的方法解决

set global wait_timeout=600

set global interactive_timeout=30;

014:sort_buffer_size参数作用?如何在线修改生效?

在每个connection(session)第一次连接时需要使用到,来提访问性能

set global sort_buffer_size = 2M

015:如何在线正确清理MySQL binlog?

MySQL中的binlog日志记录了数据中的数据变动,便于对数据的基于时间点和基于位置的恢复,但日志文件的大小会越来越大,点用大量的磁盘空间,因此需要定时清理一部分日志信息

手工删除:

首先查看主从库正在使用的binlog文件名称 


show master(slave) status\G


删除之前一定要备份


purge master logs before'2017-09-01 00:00:00'; 


#删除指定时间前的日志

purge master logs to'mysql-bin.000001';

#删除指定的日志文件

自动删除:

通过设置binlog的过期时间让系统自动删除日志

show variables like 'expire_logs_days'; 

set global expire_logs_days = 30;

#查看过期时间与设置过期时间

016:Binlog工作模式有哪些?各什么特点,企业如何选择?

1.Row(行模式)

日志中会记录成每一行数据被修改的形式,然后在slave端再对相同的数据进行修改

2.Statement(语句模式)

每一条修改的数据都会完整的记录到主库master的binlog里面,在slave上完整执行在master执行的sql语句

3.mixed(混合模式)

结合前面的两种模式,如果在工作中有使用函数 或者触发器等特殊功能需求的时候,使用混合模式

数据量达到比较高时候,它就会选择 statement模式,而不会选择Row Level行模式

017:误操作执行了一个drop库SQL语句,如何完整恢复?

1、停止主从复制,在主库上执行锁表并刷新binlog操作,接着恢复之前的全备文件(比如0点的全备)

2、将0点时的binlog文件与全备到故障期间的binlog文件合并导出成sql语句

mysqlbinlog --no-defaults mysql-bin.000011 mysql-bin.000012 >bin.sql

3、将导出的sql语句中drop语句删除,恢复到数据库中

mysql -uroot -pmysql123 < bin.sql

018:mysqldump备份使用了-A -B参数,如何实现恢复单表?

-A 此参数作用是备份所有数据库(相当于--all-databases)

-B databasename 备份指定数据(单库备份使用)

备份时指定数据库与表名即可在恢复时只恢复单表

019:详述MySQL主从复制原理及配置主从的完整步骤

主从复制的原理如下:

主库开启binlog功能并授权从库连接主库,从库通过change master得到主库的相关同步信息然后连接主库进行验证,主库IO线程根据从库slave线程的请求,从master.info开始记录的位置点向下开始取信息,同时把取到的位置点和最新的位置与binlog信息一同发给从库IO线程,从库将相关的sql语句存放在relay-log里面,最终从库的sql线程将relay-log里的sql语句应用到从库上,至此整个同步过程完成,之后将是无限重复上述过程

完整步骤如下:

1、主库开启binlog功能,并进行全备,将全备文件推送到从库服务器上

2、show master statusG 记录下当前的位置信息及二进制文件名

3、登陆从库恢复全备文件

4、执行change master to 语句

5、执行start slave and show slave statusG

点击关注民工哥技术之路 微信公众号对话框回复关键字:1024 可以获取一份最新整理的技术干货:包括系统运维、数据库、redis、MogoDB、电子书、Java基础课程、Java实战项目、架构师综合教程、架构师实战项目、大数据、Docker容器、ELK Stack、机器学习、BAT面试精讲视频等。

查看原文

StephenYue 收藏了文章 · 9月28日

30种MySQL常用SQL查询语句优化方法


链接:https://www.toutiao.com/c/use...
作者:IT生涯

1、应尽量避免在 where 子句中使用!=或<>操作符,否则将引擎放弃使用索引而进行全表扫描。

2、对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。

3、应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描。如:

select id from t where num is null

可以在num上设置默认值0,确保表中num列没有null值,然后这样查询:

select id from t where num=0

4、尽量避免在 where 子句中使用 or 来连接条件,否则将导致引擎放弃使用索引而进行全表扫描,如:

select id from t where num=10 or num=20

可以这样查询:

select id from t where num=10

union all

select id from t where num=20

5、下面的查询也将导致全表扫描:(不能前置百分号)

select id from t where name like ‘%c%’

下面走索引

select id from t where name like ‘c%’

若要提高效率,可以考虑全文检索。

6、in 和 not in 也要慎用,否则会导致全表扫描,如:

select id from t where num in(1,2,3)

对于连续的数值,能用 between 就不要用 in 了:

select id from t where num between 1 and 3

7、如果在 where 子句中使用参数,也会导致全表扫描。因为SQL只有在运行时才会解析局部变量,但优化程序不能将访问计划的选择推迟到运行时;它必须在编译时进行选择。然 而,如果在编译时建立访问计划,变量的值还是未知的,因而无法作为索引选择的输入项。如下面语句将进行全表扫描:

select id from t where num=@num

可以改为强制查询使用索引:

select id from t with(index(索引名)) where num=@num

8、应尽量避免在 where 子句中对字段进行表达式操作,这将导致引擎放弃使用索引而进行全表扫描。如:

select id from t where num/2=100

应改为:

select id from t where num=100*2

9、应尽量避免在where子句中对字段进行函数操作,这将导致引擎放弃使用索引而进行全表扫描。如:

select id from t where substring(name,1,3)=’abc’ –name以abc开头的id

select id from t where datediff(day,createdate,’2005-11-30′)=0 –’2005-11-30′生成的id

应改为:


select id from t where name like ‘abc%’

select id from t where createdate>=’2005-11-30′ and createdate<’2005-12-1′

10、不要在 where 子句中的“=”左边进行函数、算术运算或其他表达式运算,否则系统将可能无法正确使用索引。

11、在使用索引字段作为条件时,如果该索引是复合索引,那么必须使用到该索引中的第一个字段作为条件时才能保证系统使用该索引,否则该索引将不会被使 用,并且应尽可能的让字段顺序与索引顺序相一致。

12、不要写一些没有意义的查询,如需要生成一个空表结构:

select col1,col2 into #t from t where 1=0

这类代码不会返回任何结果集,但是会消耗系统资源的,应改成这样:

create table #t(…)

13、很多时候用 exists 代替 in 是一个好的选择:

select num from a where num in(select num from b)

用下面的语句替换:

select num from a where exists(select 1 from b where num=a.num)

14、并不是所有索引对查询都有效,SQL是根据表中数据来进行查询优化的,当索引列有大量数据重复时,SQL查询可能不会去利用索引,如一表中有字段 sex,male、female几乎各一半,那么即使在sex上建了索引也对查询效率起不了作用。

15、索引并不是越多越好,索引固然可以提高相应的 select 的效率,但同时也降低了 insert 及 update 的效率,因为 insert 或 update 时有可能会重建索引,所以怎样建索引需要慎重考虑,视具体情况而定。一个表的索引数较好不要超过6个,若太多则应考虑一些不常使用到的列上建的索引是否有 必要。

16.应尽可能的避免更新 clustered 索引数据列,因为 clustered 索引数据列的顺序就是表记录的物理存储顺序,一旦该列值改变将导致整个表记录的顺序的调整,会耗费相当大的资源。若应用系统需要频繁更新 clustered 索引数据列,那么需要考虑是否应将该索引建为 clustered 索引。

17、尽量使用数字型字段,若只含数值信息的字段尽量不要设计为字符型,这会降低查询和连接的性能,并会增加存储开销。这是因为引擎在处理查询和连接时会 逐个比较字符串中每一个字符,而对于数字型而言只需要比较一次就够了。

18、尽可能的使用 varchar/nvarchar 代替 char/nchar ,因为首先变长字段存储空间小,可以节省存储空间,其次对于查询来说,在一个相对较小的字段内搜索效率显然要高些。

19、任何地方都不要使用 select from t ,用具体的字段列表代替“”,不要返回用不到的任何字段。

20、尽量使用表变量来代替临时表。如果表变量包含大量数据,请注意索引非常有限(只有主键索引)。

21、避免频繁创建和删除临时表,以减少系统表资源的消耗。

22、临时表并不是不可使用,适当地使用它们可以使某些例程更有效,例如,当需要重复引用大型表或常用表中的某个数据集时。但是,对于一次性事件,较好使 用导出表。

23、在新建临时表时,如果一次性插入数据量很大,那么可以使用 select into 代替 create table,避免造成大量 log ,以提高速度;如果数据量不大,为了缓和系统表的资源,应先create table,然后insert。

24、如果使用到了临时表,在存储过程的最后务必将所有的临时表显式删除,先 truncate table ,然后 drop table ,这样可以避免系统表的较长时间锁定。

25、尽量避免使用游标,因为游标的效率较差,如果游标操作的数据超过1万行,那么就应该考虑改写。

26、使用基于游标的方法或临时表方法之前,应先寻找基于集的解决方案来解决问题,基于集的方法通常更有效。

27、与临时表一样,游标并不是不可使用。对小型数据集使用 FAST_FORWARD 游标通常要优于其他逐行处理方法,尤其是在必须引用几个表才能获得所需的数据时。在结果集中包括“合计”的例程通常要比使用游标执行的速度快。如果开发时 间允许,基于游标的方法和基于集的方法都可以尝试一下,看哪一种方法的效果更好。

28、在所有的存储过程和触发器的开始处设置 SET NOCOUNT ON ,在结束时设置 SET NOCOUNT OFF 。无需在执行存储过程和触发器的每个语句后向客户端发送 DONEINPROC 消息。

29、尽量避免向客户端返回大数据量,若数据量过大,应该考虑相应需求是否合理。

30、尽量避免大事务操作,提高系统并发能力。

如有错误或其它问题,欢迎小伙伴留言评论、指正。如有帮助,欢迎点赞+转发分享。

欢迎大家关注民工哥的公众号:民工哥技术之路
image.png

查看原文

StephenYue 收藏了文章 · 9月28日

利用ELK分析Nginx日志生产实战(高清多图)

本文以api.mingongge.com.cn域名为测试对象进行统计,日志为crm.mingongge.com.cn和risk.mingongge.com.cn请求之和(此二者域名不具生产换环境统计意义),生产环境请根据具体需要统计的域名进行统计。

由于涉及生产线上服务器,故本文部分服务器IP做了打码处理。

一、服务介绍

1.1、ELK

ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash,官方也推荐此工具。

Elasticsearch是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

Logstash 主要是用来日志的搜集、分析、过滤日志的工具,支持大量的数据获取方式。一般工作方式为c/s架构,client端安装在需要收集日志的主机上,server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。

Kibana 也是一个开源和免费的工具,Kibana可以为 Logstash 和ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助汇总、分析和搜索重要数据日志。

1.2、Nginx

Nginx("engine x") 是一个高性能的HTTP和反向代理服务器,也是一个IMAP/POP3/SMTP代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的,第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布,因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。Nginx是一款轻量级的Web服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器,并在一个BSD-like 协议下发行。由俄罗斯的程序设计师Igor Sysoev所开发,供俄国大型的入口网站及搜索引擎Rambler(俄文:Рамблер)使用。其特点是占有内存少,并发能力强,事实上nginx的并发能力确实在同类型的网页服务器中表现较好,中国大陆使用nginx网站用户有:新浪、网易、腾讯等。

本文中前端使用了nginx的反向代理功能,并使用了nginx的HTTP功能。

1.3、Kafka

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。

二、架构要求

2.1、架构描述

使用filebeat收集nginx日志,输出到kafka;logstash从kafka中消费日志,通过grok进行数据格式化,输出到elasticsearch中,kibana从elasticsearch中获取日志,进行过滤出图.

2.2、系统版本

CentOS Linux release 7.2.1511 (Core)3.10.0-514.26.2.el7.x86_64

 2.3、软件版本

jdk1.8.0_144nginx-1.12.2filebeat-6.3.2awurstmeister/kafka(docker image)logstash-6.5.4elasticsearch-6.4.0kibana-6.4.0

三、linux系统环境配置与优化

#查看服务器硬件信息dmidecode|grep "Product Name"#查看CPU型号grep name /proc/cpuinfo#查看CPU个数grep "physical id" /proc/cpuinfo#查看内存大小grep MemTotal /proc/meminfo

 四、系统初始化

4.1、关闭防火墙

systemctl stop filewalld

4.2、关闭selinux

setenforce 0sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config

4.3、添加普通账户

useradd elsearchecho "******"|passwd --stdin elsearch

4.4、配置yum源

cat /etc/yum.repos.d/CentOS-Base.repo[base]name=CentOS-$releaseverenabled=1failovermethod=prioritybaseurl=http://mirrors.cloud.aliyuncs.com/centos/$releasever/os/$basearch/gpgcheck=1gpgkey=http://mirrors.cloud.aliyuncs.com/centos/RPM-GPG-KEY-CentOS-7[updates]name=CentOS-$releaseverenabled=1failovermethod=prioritybaseurl=http://mirrors.cloud.aliyuncs.com/centos/$releasever/updates/$basearch/gpgcheck=1gpgkey=http://mirrors.cloud.aliyuncs.com/centos/RPM-GPG-KEY-CentOS-7[extras]name=CentOS-$releaseverenabled=1failovermethod=prioritybaseurl=http://mirrors.cloud.aliyuncs.com/centos/$releasever/extras/$basearch/gpgcheck=1gpgkey=http://mirrors.cloud.aliyuncs.com/centos/RPM-GPG-KEY-CentOS-7

4.5、清理开机自启动服务

for i in `chkconfig --list|grep 3:on |awk '{print $1}'`;do chkconfig$i off;donefor i in crond network rsyslog sshd;do chkconfig --level 3 $ion;donechkconfig --list|grep 3:on

4.6、服务器时间同步

echo '*/5 * * * * /usr/sbin/ntpdate time.windows.com > /dev/null2>&1' >>/var/spool/cron/root

4.7、加大文件描述符

echo '* - nofile 65535' >> /etc/security/limits.conftail -1 /etc/security/limits.conf#重新登陆后生效(无需重启)ulimit -n(重新登陆后查看)

 4.8、内核参数调优(可不操作)

\cp /etc/sysctl.conf /etc/sysctl.conf.bakcat>>/etc/sysctl.conf<<EOFnet.ipv4.tcp_timestamps = 0net.ipv4.tcp_synack_retries = 2net.ipv4.tcp_syn_retries = 2net.ipv4.tcp_mem = 94500000 915000000 927000000net.ipv4.tcp_max_orphans = 3276800net.core.wmem_default = 8388608net.core.rmem_default = 8388608net.core.rmem_max = 16777216net.core.wmem_max = 16777216net.ipv4.tcp_rmem=4096 87380 16777216net.ipv4.tcp_wmem=4096 65536 16777216net.core.netdev_max_backlog = 32768net.core.somaxconn = 32768net.ipv4.tcp_syncookies=1net.ipv4.tcp_tw_reuse = 1net.ipv4.tcp_tw_recycle = 1net.ipv4.tcp_fin_timeout=1net.ipv4.tcp_keepalive_time=1200net.ipv4.tcp_max_syn_backlog = 65536net.ipv4.ip_local_port_range = 1024 65535EOF/sbin/sysctl -p

五、部署开始

5.1、更改nginx日志输出格式

5.1.1、定义日志格式

cat /etc/nginx/nginx.conflog_format main '$remote_addr - $remote_user [$time_local]"$request" ''$status$body_bytes_sent "$http_referer" ''"$http_user_agent" "$http_x_forwarded_for"';

5.1.2、加载日志格式到对应域名配置中

cat /etc/nginx/conf.d/vhost/api.mingongge.com.cn.confserver {listen 80;server_name  newtest-msp-api.mingongge.com.cn;access_log   /var/log/nginx/api.mingongge.com.cn.log main;}

5.1.3、reload生效

nginx -s reload

5.1.4、清空原输出文件,并查看输出的日志格式

:> /var/log/nginx/api.mingongge.com.cn.logtailf /var/log/nginx/api.mingongger.com.cn.log1xx.2xx.72.175 - - [18/Mar/2019:13:51:17 +0800] "GET/user/fund/113 HTTP/1.1" 200 673 "-" "Mozilla/5.0 (WindowsNT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) sun/1.5.6 Chrome/69.0.3497.106Electron/4.0.3 Safari/537.36" "-"

5.2、配置kafka

测试环境使用docker起的kafka,kafka部署掠过,以下任选一种

5.2.1、方法一 创建kafka topic

./kafka-topics.sh --create --topic nginxlog --replication-factor 1--partitions 1 --zookeeper localhost:2181

5.2.2、方法二

auto.create.topics.enable=true

开启kafka自动创建topic配置

5.2.3、filebeat部署完成后确认kafka topic中有数据

./kafka-console-consumer.sh --bootstrap-server 192.168.0.53:9091--from-beginning --topic nginxlog

输出如下

{"@timestamp":"2019-03-14T07:16:50.140Z","@metadata":{"beat":"filebeat","type":"doc","version":"6.3.2","topic":"nginxlog"},"fields":{"log_topics":"nginxlog"},"beat":{"version":"6.3.2","name":"test-kafka-web","hostname":"test-kafka-web"},"host":{"name":"test-kafka-web"},"source":"/var/log/nginx/newtest-msp-api.mingongge.com.cn-80.log","offset":114942,"message":"116.226.72.175- - [14/Mar/2019:15:16:49 +0800] newtest-msp-api.mingongge.com.cn POST\"/upstream/page\" \"-\" 200 6314\"http://newtest-msp-crm.mingongge.com.cn/\" 200 192.168.0.49:60070.024 0.024 \"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36(KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36\"\"-\""}Processed a total of 7516 messages

测试环境中kafka地址为

192.168.0.53:9091

 5.3、配置filebeat收集nginx日志

5.3.1、安装filebeat

cd /opt/ && wget http://download.mingongge.com.cn/download/software/filebeat-6.3.2-x86_64.rpmyum localinstall filebeat-6.3.2-x86_64.rpm -y

5.3.2、编辑配置文件

cat /etc/filebeat/filebeat.ymlfilebeat.prospectors:- input_type: logenabled: truepaths:- /var/log/nginx/api.mingongge.com.cn.log#收集日志路径fields:log_topics: nginxlog #kafka中topic名称json.keys_under_root: truejson.overwrite_keys: trueoutput.kafka:enabled: truehosts:["192.168.0.53:9091"] #kafka地址topic:'%{[fields][log_topics]}' #kafka中topic名称partition.round_robin:reachable_only: falsecompression: gzipmax_message_bytes: 1000000required_acks: 1

5.3.3、启动filebeat& 开机启动

systemctl start filebeatsystemctl enable filebeat

5.4、配置logstash

5.4.1 编辑配置

cat /usr/local/logstash/config/nginx.confinput {kafka {type =>"nginxlog"topics =>["nginxlog"]bootstrap_servers=> ["192.168.0.53:9091"]group_id =>"nginxlog"auto_offset_reset=> latestcodec =>"json"}}filter {if [type] == "nginxlog"{grok {match => {"message" => "%{COMBINEDAPACHELOG}" }remove_field =>"message"}date {match => ["timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]}geoip {source =>"clientip"target =>"geoip"database =>"/usr/local/logstash/config/GeoLite2-City.mmdb"add_field => ["[geoip][coordinates]", "%{[geoip][longitude]}" ] #添加字段coordinates,值为经度add_field => ["[geoip][coordinates]", "%{[geoip][latitude]}" ] #添加字段coordinates,值为纬度}mutate {convert => ["[geoip][coordinates]", "float"]}useragent {source =>"agent"target =>"userAgent"}}}output {if [type] == 'nginxlog' {elasticsearch {hosts =>["http://192.168.0.48:9200"]index =>"logstash-nginxlog-%{+YYYY.MM.dd}"}stdout {codec =>rubydebug}}}

5.4.2、使用配置文件启动logstash服务,观察输出

/usr/local/logstash/bin/logstash -f nginx.conf{"httpversion"=> "1.1","verb" =>"GET","auth"=> "-","@timestamp"=> 2019-03-18T06:41:27.000Z,"type"=> "nginxlog","json"=> {},"source"=> "/var/log/nginx/newtest-msp-api.mingongge.com.cn-80.log","fields" =>{"log_topics"=> "nginxlog"},"response"=> "200","offset"=> 957434,"host"=> {"name" =>"test-kafka-web"},"beat"=> {"hostname"=> "test-kafka-web","version"=> "6.3.2","name"=> "test-kafka-web"},"bytes"=> "673","request"=> "/user/fund/113","timestamp"=> "18/Mar/2019:14:41:27 +0800","referrer"=> "\"-\"","userAgent"=> {"os"=> "Windows","major" => "4","patch"=> "3","build"=> "","minor"=> "0","os_name"=> "Windows","device"=> "Other","name"=> "Electron"},"geoip"=> {"ip" => "1xx.2xx.72.175","country_name" => "China","coordinates" => [[0] 121.4012,[1] 31.0449],"region_name" => "Shanghai","location" => {"lat"=> 31.0449,"lon"=> 121.4012},"continent_code" => "AS","timezone" => "Asia/Shanghai","longitude" => 121.4012,"city_name" => "Shanghai","country_code2" => "CN","region_code" => "SH","latitude" => 31.0449,"country_code3" => "CN"},"@version"=> "1","clientip"=> "1xx.2xx.72.175","ident"=> "-","agent"=> "\"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36(KHTML, like Gecko) sun/1.5.6 Chrome/69.0.3497.106 Electron/4.0.3Safari/537.36\""}

5.4.3、后台启动logstash

确认出现以上输出后,将logstash分离出当前shell,并放在后台运行

nohup /usr/local/logstash/bin/logstash -f nginx.conf &>/dev/null &

5.5、kibana配置

5.5.1、修改kibana配置

/usr/local/kibana-6.5.4-linux-x86_64/config/kibana.yml #增加高德地图tilemap.url:'http://webrd02.is.autonavi.com/appmaptile?lang=zh_cn&size=1&scale=1&style=7&x={x}&y={y}&z={z}'

5.5.2、创建Index Pattern

5.5.3、IP访问TOP5

选择柱形图

添加X轴,以geoip.ip为order by字段

5.5.4 、PV

选择metric

默认统计总日志条数,即为PV数

 5.5.5、全球访问地图

选择map

Field选择geoip.location

选择添加高德地图

5.5.6、实时流量

选择线条图

5.5.7、操作系统

选择饼图

5.5.8、登陆次数

过滤login关键字,并做count统计

5.5.9、访问地区

5.5.10、Dashboard展示

  • IP访问Top5:每日客户端IP请求数最多的前五个(可分析出攻击者IP)
  • PV:每日页面访问量
  • 全球访问图:直观的展示用户来自哪个国家哪个地区
  • 实时流量:根据@timestamp字段来展示单位时间的请求数(可根据异常峰值判断是否遭遇攻击)
  • 操作系统:展示客户端所用设备所占比重
  • 登陆次数:通过过滤request中login的访问记录,粗略估算出进行过登陆的次数
  • 访问地区:展示访问量最多的国家或地区
  • 需展示其他指标,可进行自由发挥

查看原文

StephenYue 收藏了文章 · 9月28日

CPU 使用率低高负载的原因,看看这篇!

原因总结

产生的原因一句话总结就是:等待磁盘I/O完成的进程过多,导致进程队列长度过大,但是cpu运行的进程却很少,这样就体现到负载过大了,cpu使用率低。

下面内容是具体的原理分析:
在分析负载为什么高之前先介绍下什么是负载、多任务操作系统、进程调度等相关概念。

什么是负载

什么是负载:负载就是cpu在一段时间内正在处理以及等待cpu处理的进程数之和的统计信息,也就是cpu使用队列的长度统计信息,这个数字越小越好(如果超过CPU核心*0.7就是不正常)

负载分为两大部分:CPU负载、IO负载

例如,假设有一个进行大规模科学计算的程序,虽然该程序不会频繁地从磁盘输入输出,但是处理完成需要相当长的时间。因为该程序主要被用来做计算、逻辑判断等处理,所以程序的处理速度主要依赖于cpu的计算速度。此类cpu负载的程序称为“计算密集型程序”。

还有一类程序,主要从磁盘保存的大量数据中搜索找出任意文件。这个搜索程序的处理速度并不依赖于cpu,而是依赖于磁盘的读取速度,也就是输入输出(input/output,I/O).磁盘越快,检索花费的时间就越短。此类I/O负载的程序,称为“I/O密集型程序”。

什么是多任务操作系统

Linux操作系统能够同时处理几个不同名称的任务。但是同时运行多个任务的过程中,cpu和磁盘这些有限的硬件资源就需要被这些任务程序共享。即便很短的时间间隔内,需要一边在这些任务之间进行切换到一边进行处理,这就是多任务。

运行中的任务较少的情况下,系统并不是等待此类切换动作的发生。但是当任务增加时,例如任务A正在CPU上执行计算,接下来如果任务B和C也想进行计算,那么就需要等待CPU空闲。也就是说,即便是运行处理某任务,也要等到轮到他时才能运行,此类等待状态就表现为程序运行延迟。

uptime输出中包含“load average”的数字
[root@localhost ~]# uptime
 11:16:38 up  2:06, 4 users, load average: 0.00, 0.02, 0.05

Load average从左边起依次是过去1分钟、5分钟、15分钟内,单位时间的等待任务数,也就是表示平均有多少任务正处于等待状态。在load average较高的情况下,这就说明等待运行的任务较多,因此轮到该任务运行的等待时间就会出现较大的延迟,即反映了此时负载较高。

进程调度

什么是进程调度:

进程调度也被一些人称为cpu上下文切换意思是:CPU切换到另一个进程需要保存当前进程的状态并恢复另一个进程的状态:当前运行任务转为就绪(或者挂起、中断)状态,另一个被选定的就绪任务成为当前任务。进程调度包括保存当前任务的运行环境,恢复将要运行任务的运行环境。
在linux内核中,每一个进程都存在一个名为“进程描述符”的管理表。该进程描述符会调整为按照优先级降序排序,已按合理的顺序运行进程(任务)。这个调整即为进程调度器的工作。
调度器划分并管理进程的状态,如:

  • 等待分配cpu资源的状态。
  • 等待磁盘输入输出完毕的状态。

下面在说一下进程的状态区别:

clipboard.png

下面举例来说明进程状态转变:

这里有三个进程A、B、C同时运行。首先,每个进程在生成后都是可运行状态,也就是running状态的开始,而不是现在运行状态,由于在linux内核中无法区别正在运行的状态和可运行的等待状态,下面将可运行状态和正在运行状态都称为running状态。

  • 进程A:running
  • 进程B:running
  • 进程C:running

running的三个进程立即成为调度对象。此时,假设调度器给进程A分配了CPU的运行权限。

  • 进程A:running (正在运行)
  • 进程B:running
  • 进程C:running

进程A分配了CPU,所以进程A开始处理。进程B和C则在此等待进程A迁出CPU。假设进程A进行若干计算之后,需要从磁盘读取数据。那么在A发出读取磁盘数据的请求之后,到请求数据到达之前,将不进行任何工作。此状态称为“因等待I/O操作结束而被阻塞”。在I/O完成处理前,进程A就一直处于等待中,就会转为不可中断睡眠状态(uninterruptible),并不使用CPU。于是调度器查看进程B和进程C的优先级计算结果,将CPU运行权限交给优先级较高的一方。这里假设进程B的优先级高于进程C。

  • 进程A:uninterruptible (等待磁盘输入输出/不可中断状态)
  • 进程B:running (正在运行)
  • 进程C:running

进程B刚开始运行,就需要等待用户的键盘输入。于是B进入等待用户键盘输入状态,同样被阻塞。结果就变成了进程A和进程B都是等待输出,运行进程C。这时进程A和进程B都是等待状态,但是等待磁盘输入输出和等待键盘输入为不同的状态。等待键盘输入是无限期的事件等待,而读取磁盘则是必须短时间内完成的事件等待,这是两种不同的等待状态。各进程状态如下所示:
进程A:uninterruptible (等待磁盘输入输出/不可中断状态)
进程B:interruptible (等待键盘输入输出/可中断状态)
进程C:running (正在运行)

这次假设进程C在运行的过程中,进程A请求的数据从磁盘到达了缓冲装置。紧接着硬盘对内核发起中断信号,内核知道磁盘读取完成,将进程A恢复为可运行状态。

  • 进程A:running (正在运行)
  • 进程B:interruptible (等待键盘输入输出/可中断状态)
  • 进程C:running (正在运行)

此后进程C也会变为某种等待状态。如CPU的占用时间超出了上限、任务结束、进入I/O等待。一旦满足这些条件,调度器就可以完成从进程C到进程A的进程状态切换。

负载的意义

负载表示的是“等待进程的平均数”。在上面的进程状态变换过程中,除了running状态,其他都是等待状态,那么其他状态都会加入到负载等待进程中吗?

事实证明,只有进程处于运行态(running)和不可中断状态(interruptible)才会被加入到负载等待进程中,也就是下面这两种情况的进程才会表现为负载的值。

  • 即便需要立即使用CPU,也还需等待其他进程用完CPU
  • 即便需要继续处理,也必须等待磁盘输入输出完成才能进行

下面描述一种直观感受的场景说明为什么只有运行态(running)和可中断状态(interruptible)才会被加入负载。

如:在很占用CPU资源的处理中,例如在进行动画编码的过程中,虽然想进行其他相同类型的处理,结果系统反映却变得很慢,还有从磁盘读取大量数据时,系统的反映也同样会变的很慢。但是另一方面,无论有多少等待键盘输入输出操作的进程,也不会让系统响应变慢。

什么场景会造成CPU低而负载确很高呢?

通过上面的具体分析负载的意义就很明显了,负载总结为一句话就是:需要运行处理但又必须等待队列前的进程处理完成的进程个数。具体来说,也就是如下两种情况:

  • 等待被授权予CPU运行权限的进程
  • 等待磁盘I/O完成的进程

cpu低而负载高也就是说等待磁盘I/O完成的进程过多,就会导致队列长度过大,这样就体现到负载过大了,但实际是此时cpu被分配去执行别的任务或空闲,具体场景有如下几种。

场景一:磁盘读写请求过多就会导致大量I/O等待

上面说过,cpu的工作效率要高于磁盘,而进程在cpu上面运行需要访问磁盘文件,这个时候cpu会向内核发起调用文件的请求,让内核去磁盘取文件,这个时候会切换到其他进程或者空闲,这个任务就会转换为不可中断睡眠状态。当这种读写请求过多就会导致不可中断睡眠状态的进程过多,从而导致负载高,cpu低的情况。

场景二:MySQL中存在没有索引的语句或存在死锁等情况

我们都知道MySQL的数据是存储在硬盘中,如果需要进行sql查询,需要先把数据从磁盘加载到内存中。当在数据特别大的时候,如果执行的sql语句没有索引,就会造成扫描表的行数过大导致I/O阻塞,或者是语句中存在死锁,也会造成I/O阻塞,从而导致不可中断睡眠进程过多,导致负载过大。
具体解决方法可以在MySQL中运行show full processlist命令查看线程等待情况,把其中的语句拿出来进行优化。

场景三:外接硬盘故障,常见有挂了NFS,但是NFS server故障

比如我们的系统挂载了外接硬盘如NFS共享存储,经常会有大量的读写请求去访问NFS存储的文件,如果这个时候NFS Server故障,那么就会导致进程读写请求一直获取不到资源,从而进程一直是不可中断状态,造成负载很高。

结束语:大概内容就是这样,如果有朋友遇到其他场景,欢迎留言补充。

作者:西门飞冰,一名90后it男,一直在北京工作,热爱运动,热爱冒险,热爱旅行。

关注 民工哥技术之路 微信公众号对话框回复关键字:1024 可以获取一份最新整理的技术干货。

图片描述

查看原文

StephenYue 发布了文章 · 8月4日

JAVA Lambda表达式扩展

之前有写过一篇文章,关于JAVA Lambda表达式的介绍,没有了解过的朋友可以先参考下:https://segmentfault.com/a/11...

这篇文章的目的是让你彻底理解JAVA Lambda表达式。(先别急着感谢,看完你会很激动的,或者有所感悟)

JAVA Lambda表达式的本质

首先,所有关于JAVA Lambda表达式的文章都有着重说明函数式接口(
可以被@FunctionalInterface注解修饰的接口)。

  • 函数式接口定义了Lambda表达式的格式。都说了他是一种表达式,那么它的运算结果就是一个对象。
  • 为什么要是函数式接口呢,其他接口不行吗(只有一个抽象方法的接口才是函数式接口)? 因为JAVA Lambda表达式返回结果只有一个,只能对应一个抽象方法。
  • 抽象类的抽象方法是不支持Lambda表达式的。

JAVA Lambda表达式实现方式

其实上一篇文章只介绍Lambda表达式一种形式,Lambda表达式是有三种形式的。

  • (参数列表) -> {语句块},->是必须有的
  • 对象方法引用,例如:System.out::println
  • 类方法引用。就是static修饰的方法,包括类,抽象类,接口。

总结

JAVA Lambda表达式就是一种表达式,返回结果值就是一个对象。至于函数式接口中定义的唯一一个抽象方法就是定义了表达式要实现的逻辑。执行这个返回对象表达式逻辑部分的代码在你使用的工具类代码中。

我觉得我说明白了,不知道你懂了没有。

查看原文

赞 3 收藏 3 评论 0

StephenYue 关注了标签 · 2018-04-23

ios

iOS 是苹果公司为其移动产品开发的操作系统。它主要给 iPhone、iPod touch、iPad 以及 Apple TV 使用。原本这个系统名为 iPhone OS,直到2010年6月7日 WWDC 大会上宣布改名为 iOS。

系统结构

  iOS的系统结构分为以下四个层次:核心操作系统(the Core OS layer),核心服务层(the Core Services layer),媒体层(the Media layer),Cocoa 触摸框架层(the Cocoa Touch layer)。

发展历史

iOS最早于2007年1月9日的苹果Macworld展览会上公布,随后于同年的6月发布的第一版iOS操作系统,当初的名称为“iPhone 运行 OS X”。最初,由于没有人了解“iPhone 运行 OS X”的潜在价值和发展前景,导致没有一家软件公司、没有一个软件开发者给“iPhone 运行 OS X”开发软件或者提供软件支持。于是,苹果公司时任CEO斯蒂夫.乔布斯说服各大软件公司以及开发者可以先搭建低成本的网络应用程序(WEB APP)来使得它们能像iPhone的本地化程序一样来测试“iPhone runs OS X”平台。 

  1. 2007年10月17日,苹果公司发布了第一个本地化IPhone应用程序开发包(SDK),并且计划在2月发送到每个开发者以及开发商手中。

  2. 2008年3月6日,苹果发布了第一个测试版开发包,并且将“iPhone runs OS X”改名为”iPhone OS“。 

  3. 2010年2月27日,苹果公司发布iPad,iPad同样搭载了”iPhone OS”。这年,苹果公司重新设计了“iPhone OS”的系统结构和自带程序。 

  4. 2010年6月,苹果公司将“iPhone OS”改名为“iOS”,同时还获得了思科iOS的名称授权。 

  5. 2010年第四季度,苹果公司的iOS占据了全球智能手机操作系统26%的市场份额。

  6. 2011年10月4日,苹果公司宣布iOS平台的应用程序已经突破50万个。

  7. 2012年2月,应用总量达到552,247个,其中游戏应用最多,达到95,324个,比重为17.26%;书籍类以60,604个排在第二,比重为10.97%;娱乐应用排在第三,总量为56,998个,比重为10.32%。

  8. 2012年6月,苹果公司在WWDC 2012 上宣布了iOS 6,提供了超过 200 项新功能。

  9. 2013年9月11日凌晨苹果在秋季发布会上宣布iOS 7于9月18日正式推出,2013年9月19日凌晨1点开放免费下载更新。

  10. iOS 8于2014年9月17号向用户推送正式版。

  11. iOS 9于2015年9月16日正式推出。iOS 9系统比iOS8更稳定,功能更全面,而且还更加开放。iOS 9加入了更多的新功能,包括更加智能的Siri,新加入的省电模式。iOS 9为开发者提供5000个全新的API。

  12. 2015年12月9日,苹果正式推送了iOS 9.2,更新内容相当之多,修复BUG改善稳定性自然不必多说,还增加了很多新功能,比如邮件增加了Mail Drop功能可以发送大附件、iBooks开始支持3D Touch、Apple News新闻中的“热门报道”等等

关注 50513

StephenYue 关注了标签 · 2018-04-23

行业

行業,指主要根據職業、性質或具體事物,對社會各個領域稱呼。“行業”屬於中文表述的一種習慣,极少作为術語来表示特定的概念,有時與辭彙“产业”混淆使用,來表示同一概念,常指社会领域。行业属于概念广泛的常用中文词汇,其分类具有随意性。

关注 52436

StephenYue 关注了标签 · 2018-04-23

segmentfault

SegmentFault (www.sf.gg) 是一个面向中文开发者的专业技术社区。社区采用良性、合理的机制来让开发者自由生长,希望通过最干净、简洁、优质的产品体验,来吸引国内优秀的开发者和技术人员,一起打造一个纯粹的技术交流社区。

我们希望为中文开发者提供一个纯粹、高质的技术交流平台,与开发者一起学习、交流与成长,创造属于开发者的时代!

网站产品

问答平台 专注高效地解决技术问题。确保内容质量的投票机制,合理区分的答案与回馈信息,用户参与改进的维基化内容,SegmentFault 帮你快捷地找到答案。

文章平台 简洁安静的技术经验分享。简约干净的界面,让你专注于内容的撰写;好用到爆的 Markdown 编辑器,和你的思维速度匹配无间。让你重新爱上写博客。

活动平台 在活动中找到志同道合的好基友。黑客马拉松、开发竞赛、线下沙龙、知识讲座、线上活动…… 总有一款适合你。

技术笔记 一个方便快捷的代码笔记本,使用 CodeMirror 编辑器,支持纯文本、Markdown、Java、CSS 等多种类型的文本渲染,还有神奇的笔记传送门。

程序员招聘平台 我们针对企业推出了面向开发者的专属招聘功能,企业组织可以展示自己的资料、团队成员、技术背景等内容。最重要的是,还能招募到契合的团队成员。

获得成就

  1. 3人创始团队创业初期利用1年时间独立开发底层框架,上线问答、博客、活动等社区平台,聚集十多万开发者。
  2. SegmentFault 团队将黑客马拉松活动引入中国,至今,已经在国内一线互联网城市以及台北、新加坡、硅谷等地区举办了超过 20 场黑客马拉松。SegmentFault 是目前中国最大的黑客马拉松组织方。
  3. SegmentFault 在 2013 中国新媒体创业大赛中获得全国决赛第二名,并入选微软创投加速器第 4 期,,并获得 IDG 资本数百万天使投资。
  4. SegmentFault 在 2014 年获得 IDG资本 数百万天使投资。
  5. SegmentFault 在 2015 年获得顶级 VC 赛富亚洲基金(软银赛富)领投、IDG资本 跟投的数千万 A 轮融资。

网站架构

SegmentFault 基于我们自己开发的 Typecho Framework 开源框架,这是一个简单、轻量、可扩展的 PHP 框架。其中引入了类似 JAVA 注入变量的概念,解决了 PHP 项目中模块的自由引用问题。存储采用 Redis、MySQL,搜索引擎选用 xunsearch,前端为响应式设计,使用了 Sass、Compass、jQuery 等技术。整个项目通过 GitHub、BaseCamp、Gmail 进行协作。

关注 53052

认证与成就

  • 获得 29 次点赞
  • 获得 1 枚徽章 获得 0 枚金徽章, 获得 0 枚银徽章, 获得 1 枚铜徽章

擅长技能
编辑

开源项目 & 著作
编辑

(゚∀゚ )
暂时没有

注册于 2017-11-15
个人主页被 321 人浏览