MySQL单表500W条数据统计查询,求个高性能方法

springjerry
  • 50

有一张表,500W条记录,4个字段如下:

id int primary key
ip int
class_a varchar
class_b varchar

需要执行的查询语句结果是:

SELECT class_a,class_b,count(DISTINCT ip) FROM table GROUP BY class_a, class_b

目前按照上述语句执行,性能几乎为零。 求大神给点优化意见。

ip, class_a, class_b 都加过索引了。

回复
阅读 9.2k
5 个回答

u could add commonly index ,eg: "alert table dbname.table add index (classa, classb)", and you can use explain to synatx.

看一下执行计划,你对所有行内容统计,索引估计不能起效,索引读取的时候是有序的,比较1,2,3,4,他会先读1再读2再读3. 4。。。,但是全表扫描的话可以按数据块进行,所以有可能索引是不需要

可以尝试组合索引,create index indextable ON table (class_a,class_b,id)

Zoozy
  • 5
新手上路,请多包涵

class_aclass_b作为维度再创建两个表

class_a_id, class_a_content

class_b_id, class_b_content

原来500w数据的那个表中只保存class_a_idclass_b_id, 最后连表查询就像你上面那样就可以了

wolfer20
  • 123

500w条算比较大了,如果你想要提升速度上去,你估计要用索引覆盖可能会提升点速度。也可以考虑下分表。

针对你的sql, 按我的理解, 建复合索引(classa, classb, ip), explain应该可以看到Using index for group-by, 这样就可以走 覆盖索引. 否则... 还不如直接Using temporary; Using filesort

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
宣传栏