0x08 大数据分析，七层基本功

摘要：欲练数据神功，必先挥刀……，嗯，先扎好马步吧！编写SQL语句，是数据统计分析最基本的能力了。觉得SQL的自定义功能太弱了，或者你觉得就算是Hive调用外部脚本也麻烦了，那么我们上当前最热的Spark
00 引言
2016就要来了，避不及，躲不开。新一年来之前，还是有一件值得高兴的事情，那便是年终奖了。

公司大了，什么样的人都有。嗯嗯……，说错了，是人大了，什么样的公司都进。嗯嗯……，还是不对。是公司大了，员工多了，要统计每个员工每年写的代码数量。以此来分配年终奖了。

假设有如下数据示例，第一列为员工的ID，第二列为年份，第三列为代码数。

126882,2005,5
126882,2013,16
127305,2010,2
127305,2014,29
128194,2012,1
128194,2013,161

欲练数据神功，必先挥刀……，嗯，先扎好马步吧。下面的7个步骤，是练好数据基本功的一些方法。

01 MySQL版本
编写SQL语句，是数据统计分析最基本的能力了。一般统计分析中，掌握好join语句分析即可，其它数据库相关的备份、恢复、存储过程之类的，基本上很少用到。

用一个join来实现需求，取出数据：

select a.*
from table as a join table as b on a.id=b.id
where a.count>b.count;

本例中是自己和自己join，最简单的inner join，将两个表中按id相同的行进行关联起来，最后按条件进行筛选需要的数据即可。需要注意，MySQL中的临时表，是没有办法自己join自己的。

02 Bash版本
我们通常会以SQL为常用工具，如果SQL不能满足你的需求，或者实现起来比较麻烦，你可以导出成csv格式的文本文件。

Shell命令比通常想像的要强大，用好Shell命令，很多时候也可以方便的处理问题。

join -t',' -1 1 -2 1 data.csv data.csv | awk -F',' '$3>$5{print $1,$4,$5}'

这条命令看起来估计算最简洁了的，但还是用了两个命令。join也是一个非常神奇的命令，可以完成关系数据库的join功能，包括left join,right join,outer join,inner join。
本例中指定了连接的字段，参数“-1 1 -2 1”分别指定第一个、第二个文件的第1个字段作为关联字段。将连接的数据使用awk进行简单的过滤处理。join命令相当于SQL中的join的功能，而附带的awk相当于SQL中的where条件，进行数据筛选。

03 Awk版本
在shell命令行下，还有一个强大的数据处理工具：AWK，强大到能独立完成很多数据处理和分析的任务，后面会有单独的篇章来介绍，请持续关注。

#!/usr/local/bin/awk -f
BEGIN{FS=","}
{
    id = int($1)
    year = int($2)
    count = int($3)
    print id,year,count

    if(yc[id]["count"] < count){
        yc[id]["year"] = year
        yc[id]["count"] = count
    }
}
END{
    for(x in yc){
        printf("%s,%s,%s\n", x, yc[x]["year"], yc[x]["count"])
    }
}

上面一段简单的Awk代码，把Awk的一些基本概念都用上了。也算是“麻雀虽小，五脏俱全”了。涉及Awk的三段式代码结构，数组与赋值，条件判断与循环等编程基础概念。

因为awk是按行读入文件，因此我们的思想就是将当前的最大的值存储起来，再读入下一行，如果比当前最大值大，就更新，否则继续读入一行。

处理文件文件的方式，自然与数据库的join思想不一样，但你需要习惯这种方式，因为这种处理文件文件的方式，也是很多NoSQL的处理方式。

04 Python版本
前面几篇文章都安利了Python，处理这种简单的统计，我们也可以用Python来试试。

import sys

last_id = None
for line in sys.stdin:
    idx, year, count = line.strip().split(',')

    if idx == last_id:
        if count > most_count:
            most_year, most_count = year, count
    else:
        if last_id:
            print '%s,%s,%s' %(last_id, most_year, most_count)
        last_id = idx
        most_count = 0
if idx == last_id:
    print '%s,%s,%s' %(last_id, most_year, most_count)

处理的方式还是一样，按行读取文件并存储和记录，但逻辑实现起来感觉稍微有点绕而已。没有用数组或字典之类的来存储数据。

还需要注意，这个程序是需要对文件进行按id排序的，因为代码处理的是连续的行，并且假定相同的id是在连续的行上。

当然，你肯定会说，这个代码写得有些杂乱，不符合通常的思路。之所以写成这样，是因为我们后面在分布式环境中还要用。

05 Hive版本
也许你会想，如果文件很大，很大，很大（重要的说三遍吗？），那么如何处理呢？马上就2016了，那么你听过安利吗？哦不对，是大数据，一个已经被说到烂透了的词。单机不能满足你的需求，那么使用分布式。

假设Facebook有20亿用户，统计每个用户在每天中，各自发的消息的最多的那天和发送的条数，假设所有用户，每天都发消息。20亿用户，按Facebook上线10年算，3600天，共72000亿条记录，够大了吧！分别找出每个用户发消息最多的那天和发消息的次数。

且来看看，由Facebook开源出来的Hive数据仓库，如何处理！

-- 见MySQL版本

你没有看错，我也没有骗你，还真是和MySQL用同样的代码。当然，Hive有自己的优化之类的，暂时先不管。

这个地方，有个前提，你只需要把那72000亿条数据，存放到HDFS文件系统上，然后建立一个外部表和HDFS文件进行关联，然后输入和MySQL同样的语句，Hive引擎会自然将SQL语句转换为下层的map-reduce代码运行。

重要的是，你的Hadoop集群有多强大，这个Hive语句就能达到多强大。还不用自己写map-reduce程序，就是分析师最熟悉的SQL语句。

如果你觉得Hive也是SQL语句，有些自定义的函数或者方法比较麻烦，那么Hive还可以调用外部的脚本，只要是可执行脚本都行：python、ruby、bash、scala、java、lisp随便你爱好。

06 Spark版本
如果你觉得用Hive太Low了，跟不上时代的步伐了。或者，你觉得SQL的自定义功能太弱了，或者你觉得就算是调用外部脚本也很麻烦，那么我们上当前最热的Spark。

from pyspark import SparkContext
sc = SparkContext()
data = sc.textFile('data.csv')
data = data.map(lambda x: x.split(',')).map(lambda x: (x[0], (x[1], int(x[2])))).groupByKey().mapValues(lambda value: sorted(value, lambda x, y: cmp(x[1], y[1]), reverse=True)[0])
for item in data.collect():
    print '%s,%s,%s' % (item[0], item[1][0], item[1][1])

Spark支持几种编程接口，Scala、Java、Python，最近也开始支持R了。

上面虽然连续用了好几个map，但原理却非常简单，和python的map功能类似。唯一用了一个groupByKey功能，将相同的id聚合在一起，剩下的属性放在一个列表里面。对这个列表进行排序，取count最多的次数和年份，最后输出。

逻辑够简单，代码也够简洁。Spark强大的便利利益于Scala强大的数据结构与数据处理能力。

07 map-reduce版本
如果你追求完全的原生，或者追求完全的可控性。但又不熟悉Java代码，那么还是可以用Python来写map-reduce程序。

# mapper.py见python版本
# reducer.py见python版本

又一个大骗子！

通过Hadoop的Streaming接口来进行调用，只需要自定义mapper和reducer程序即可。上面的mapper和reducer可以直接用纯粹Python的单机版本。

输入是一些id,year,count行，输出还是同样的数据结构。只是在程序中，把当前这个程序的输入中，每个id最多的count和year找出来了。数据量已经减少了，每个id只会保留最大的一条数据。

分布式最基本的原理就是数据分块，在map阶段，对每个块的数据调用mapper程序，求出当前块里面每个id的最大count和year找出来。把这些输出作为reducer的输入，再求一次最大值，那么找出的便是全局的最大值。

08 结尾
数据分析基本功，按上面七个方面，扎好了马步，离数据神功第一层也不远了。

不要兴奋，也许会突然冒出来一个小姑娘，告诉你说：切，上面的功能我用Excel也可以完美的实现。

当然可以了，聪明如你，Excel还能实现比这强大得多的功能。

理论上来说，上面所有工具都能完成任何统计分析需求。只是不同的地方，实现的方式各有不同，有的复杂，有的简单，有的快，有的慢而已。选择你觉得最简单的方式，搞定任务即可。