作为数据分析师,想必你能够熟练的使用Excel数据透视表:自由组合行列字段、对数据进行多层次汇总、排序筛选、数据作图等等。而且,当原始数据发生更改时,可以立刻更新数据透视表。
但当你拿到一个几十万行的Excel文件,该怎么办呢?Excel毕竟只是桌面应用,处理的数据量有限,2003版只能处理6.5万行数据,2007/2010/2013支持100万行,但在实际应用中,当数据量变大后,Excel 的性能剧降,打开文件可能就需要几分钟。
大数据时代,Smartbi为数据分析师提供了新的武器,它内置了列存储数据库infobright,这是TB级别的数据库,支持亿、十亿条数据,用它来处理几十万行数据,自然不是问题。在前端操作界面上,Smartbi xQuery自助分析模块提供了浏览器版的数据透视表,操作方法和Excel类似。
下面以美国金融机构投诉数据分析为例,比较一下两个软件。数据来源于消费者金融保护局(Consumer Financial Protection Bureau),数据量37万条,数据时间跨越2011年12月至2015年4月。数据项目有投诉编号、投诉产品、子产品、问题、州、投诉时间、投诉公司等。
打开数据的速度
Excel文件大小约45M,在一台高配置电脑(四代酷睿I5+8G+SSD),Excel 2010打开文件约需30秒时间。
Smartbi需要先将Excel文件导入系统,首次导入步骤需要花费3-4分钟,但之后使用数据均无需任何时间。
界面比较
Excel数据透视表和smartbi的界面很接近,不同点在于Excel采用了目录型的结构,Smartbi采用了表格模式。当层次结构多时,Excel目录结构不太好,但可以通过设置布局调整为表格模式。
重计算速度
Excel在添加、删除维度后,重新计算的过程略显迟滞,Smartbi相对较快。30万行数据的差距不大,相信在更大数据量下,Smartbi的优势会更明显。
添加计算字段
原始数据只有日期字段,分析时需要按年度、月度进行汇总,所以需要添加计算字段,Excel在原始数据中插入两列,分别用Year()、Month()函数获取。
Smartbi可以新建计算字段,同样用函数提前年份、月份。
排序比较
Excel的排序功能较为隐蔽,尤其涉及多级排序时,需要多次选择排序字段。
Smartbi提供了分级排序功能,分析多层次数据时很方便。
数据筛选
Excel采用下拉框的方式来选择筛选项,对于小数据非常方便,但如果选择项目很多时略显难用。筛选项的数量上限是1万个。
Smartbi采用了对话框来选择筛选项,较适合大数据量,筛选项的数量没有上限。
交叉表
Excel交叉表的默认界面不会折行显示列标签,会把列撑的很宽,不太好看。当然你可以调整列宽,但操作上显的复杂。
Smartbi的默认行宽是固定的,数据会折行显示,界面更加友好。
总结:
Excel数据透视表确实强大,但当它碰到大数据的时候,就会发现它也有不爽之处:性能问题、界面细节问题、排序问题等等。Smartbi通过前端界面及后端存储方面的创新,对于大数据的分析显然更具优势。移动领导驾驶舱作为移动BI的核心应用,通过实时图形化展示业务指标数据,能够让企业领导者像在汽车驾驶舱里面对仪表盘一样,直观地监测企业运营情况,并对异常关键指标预警和挖掘分析。领导驾驶舱所具有直观性、全面性、方便性、多维性和可配置性,能极作为数据分析师,想必你能够熟练的使用Excel数据透视表:自由组合行列字段、对数据进行多层次汇总、排序筛选、数据作图等等。而且,当原始数据发生更改时,可以立刻更新数据透视表。
但当你拿到一个几十万行的Excel文件,该怎么办呢?Excel毕竟只是桌面应用,处理的数据量有限,2003版只能处理6.5万行数据,2007/2010/2013支持100万行,但在实际应用中,当数据量变大后,Excel 的性能剧降,打开文件可能就需要几分钟。
大数据时代,Smartbi为数据分析师提供了新的武器,它内置了列存储数据库infobright,这是TB级别的数据库,支持亿、十亿条数据,用它来处理几十万行数据,自然不是问题。在前端操作界面上,Smartbi xQuery自助分析模块提供了浏览器版的数据透视表,操作方法和Excel类似。
下面以美国金融机构投诉数据分析为例,比较一下两个软件。数据来源于消费者金融保护局(Consumer Financial Protection Bureau),数据量37万条,数据时间跨越2011年12月至2015年4月。数据项目有投诉编号、投诉产品、子产品、问题、州、投诉时间、投诉公司等。
打开数据的速度
Excel文件大小约45M,在一台高配置电脑(四代酷睿I5+8G+SSD),Excel 2010打开文件约需30秒时间。
Smartbi需要先将Excel文件导入系统,首次导入步骤需要花费3-4分钟,但之后使用数据均无需任何时间。
界面比较
Excel数据透视表和smartbi的界面很接近,不同点在于Excel采用了目录型的结构,Smartbi采用了表格模式。当层次结构多时,Excel目录结构不太好,但可以通过设置布局调整为表格模式。
重计算速度
Excel在添加、删除维度后,重新计算的过程略显迟滞,Smartbi相对较快。30万行数据的差距不大,相信在更大数据量下,Smartbi的优势会更明显。
添加计算字段
原始数据只有日期字段,分析时需要按年度、月度进行汇总,所以需要添加计算字段,Excel在原始数据中插入两列,分别用Year()、Month()函数获取。
Smartbi可以新建计算字段,同样用函数提前年份、月份。
排序比较
Excel的排序功能较为隐蔽,尤其涉及多级排序时,需要多次选择排序字段。
Smartbi提供了分级排序功能,分析多层次数据时很方便。
数据筛选
Excel采用下拉框的方式来选择筛选项,对于小数据非常方便,但如果选择项目很多时略显难用。筛选项的数量上限是1万个。
Smartbi采用了对话框来选择筛选项,较适合大数据量,筛选项的数量没有上限。
交叉表
Excel交叉表的默认界面不会折行显示列标签,会把列撑的很宽,不太好看。当然你可以调整列宽,但操作上显的复杂。
Smartbi的默认行宽是固定的,数据会折行显示,界面更加友好。
总结:
Excel数据透视表确实强大,但当它碰到大数据的时候,就会发现它也有不爽之处:性能问题、界面细节问题、排序问题等等。Smartbi通过前端界面及后端存储方面的创新,对于大数据的分析显然更具优势。大地辅助企业领导者了解相关决策信息, 抓住主要问题和问题的主要方面,对潜在问题提早预警,从而使企业更好地实现经营和领导目标。
众所周知,企业领导者不可能长时间坐在电脑前,移动设备成为必须使用的终端。因此,移动端可视化分析对于企业领导者来说意义重大。
今天,就手把手教你搭建移动驾驶舱。
第一步:理清需求,设计草图
领导驾驶舱呈现的数据是领导最关注的,也是最关键的核心数据,可以让领导一眼就看明白数据重点、形势走向,以便及时做出精准判断,有效决策。
这就需要整理出驾驶舱会包含的内容,可通过思维导图进行梳理,包括:梳理展示什么主题、什么维度、什么指标,以及报表需要实现的分析、交互等功能,比如怎么跳到其他条线驾驶舱去看数据,进行分析,以及这个领导驾驶舱会给予公司领导什么样的支撑。所谓前期多沟通,后期才少返工。期间需要不断和业务方沟通,最好能画出demo,引导一起思考,给出合理建议。
第二步:布局设计
根据第一步的设计稿规划报表布局,布局看似简单,其实是很重要的一个步骤。需要纵观整个页面的排版情况,充分考虑各组件的摆放位置;也要考虑移动端自适应,各个手机、平板分辨率差异很大,所以要满足移动端报表的自适应规则。
第三步:基本元素设计
布局中主要文本、表格和统计图是主要组成元素,占据了绝大多数版面,要达到更好的展现效果就需要发挥不同元素的特长。
第四步:对接数据
报表的布局、美观很重要,但是数据的有效性依然是第一位的,如果报表脱离了数据价值本身,那再好看也没有任何意义。
第五步:细节美化
最后需要对我们制作的分析展现进行美化,包括设置背景颜色、边框样式、文字颜色、大小、统计图配色、添加图片一个都不能少喔,做出来的领导驾驶舱一定很观。
图:Smartbi移动驾驶舱展示图
当然,移动驾驶舱制作的锦上添花的一步就是加入动态的效果以及一些细节优化。所谓“死的表格不如动的图形”,我们不仅要努力让大家能够解读数据,还要让他们还可以轻松甚至愉快地完成这些工作。
善用正确的移动驾驶舱app也同时很重要,虽说使用代码开发的工具对于企业本身会比较好,但是复杂的SQL语句在使用过程相当麻烦,可以试用BI工具的移动驾驶舱app,来构建领导驾驶舱,像思迈特软件Smartbi,只需准备好数据源,使用鼠标拖拽即可生成自己想要的领导驾驶舱,大大缩短了IT人员开发的能力,也更方便的让业务人员使用。
其实Smartbi中有很多可以实现的动态效果,比如自动轮播、播放组件、时间筛选等等。当然,还可以在整个报表的整体设置中添加脚本,通过脚本来完成自定义样式的设计等,方便了前端开发人员快速实现一些动态效果。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。