数据仓库系列文章

  1. 数仓架构发展史
  2. 数仓建模方法论
  3. 数仓建模分层理论
  4. 数仓建模—宽表的设计
  5. 数仓建模—指标体系
  6. 一文搞懂ETL和ELT的区别
  7. 数据湖知识点
  8. 技术选型 | OLAP大数据技术哪家强?
  9. 数仓相关面试题
  10. 从 0 到 1 学习 Presto,这一篇就够了!
  11. 元数据管理在数据仓库的实践应用
  12. 做中台2年多了,中台到底是什么呢?万字长文来聊一聊中台
  13. 数据仓库之拉链表
  14. sqoop用法之mysql与hive数据导入导出
关注公众号:大数据技术派,回复资料,领取1024G资料。

指标体系

提起指标这个词,每个人似乎都可以说出几个指标,像经常在工作中会听到的日活、月活、注册率、转化率、交易量等 事实上指标就是用来量化事物的一个工具,帮助我们去将一些抽象的事件得出一个轮廓上的描述。例如我们可以从指标上判断一个产品的好坏,用户粘性等等,例如我们通过日活能去判断出我们整个产品的用户量,从而能反应出我们这个产品的一个健康程度,也就是否处于增长过程中

一个好的数据指标体系可以助力业务快速的解构业务、理解业务、发现业务问题,快速定位原因,并且找到最合适的解决方案。因此学习搭建一个好的数据指标体系是数据助力业务决策的灵魂。

指标,实际上就是一种度量。大到用于监控和评估商业进程的状态,小到衡量某个功能模块的情况,或者是自己的活动效果。指标体系的构建,是为了让业务目标可度量、可描述、可拆解,所以我们的指标是基于业务目标抽取和评估的数据维度,这些数据为度可以用来帮助达到业务目标。

从而进行业务情况的监控、找到当前业务问题、评估业务可改进的地方,找出下一步工作的方向。

其实小到个人,大到国家都有各种各样的指标,就连数字中国最关键的也是各种指标指数的定义和修正机制的建设!

指标建设过程中遇到的问题

指标没有重点、没有思路,构建完成后也只是一组数据,各有用处,合起来却起不到作用;

指标空洞,粗看有模型又有分类,细看流程中却没有几个具体的指标,无法落地

指标缺乏数据,导致业务上线了又开始添加指标、增加维度,最后报表变得臃肿,数据参差不齐,影响工作推进

指标建设方法论

下面是常见的指标体系建设方法,我们比较常用的是OSM+UJM 模型,当然这也不是绝对的,主要还是得看我们的业务场景和业务目标

北极星指标

人货场指标体系

目前阶段互联网业务比较流行的一种通用抽象场景“人、货、场”,实际就是我们日常所说的用户、产品、场景,在通俗点讲就是谁在什么场景下使用了什么产品,不同的商业模式会有不同的组合模式。

以滴滴实际场景为例:哪些场景(此处场景定义为终端,如Native,微信,支付宝)的什么人(乘客)在平台上使用了哪些货(平台业务线,如快车/专车等),进而为评估用户增长的价值和效果。

“人”的视角

从“人”的视角,我们比较关心的是什么乘客在什么时间打的车,排了多长时间,等了多长时间上车,周期内第几次打车,打车花了多少钱,是否有投诉和取消行为,具体到数据指标主要看发单用户数、完单用户数、客单价、周期内完单订单数、取消订单数、评价订单数等

“货"的视角

从“货”的视角,我们比较关心的就是成交了多少,交易额多少,花了多少,到具体数据指标主要会看GMV、成交率、取消率指标,在进一步会细分到城市、区域,一级品类、二级品类。数据的效果通过目标对比,横向对比、历史比较等方式进行分析确定。

“场”的视角

从“场”的视角,我们比较关心的就是哪个渠道用户点击量大曝光率大,带来了多少新用户,完成多少交易订单,客单价是多少;或者是哪个活动拉新或促活效果怎么样转化率多少,结合场景数据实际情况制定对应策略。

以上分别从“人”、“货”、“场”三个角度进行了数据指标和分析维度的提炼,下面我们把三类指标结合指标分级方法进行分解关联。

OSM+UJM 模型

OSM+ AARRR海盗模型

指标分级方法

指标分级主要是指标内容纵向的思考,根据企业战略目标、组织及业务过程进行自上而下的指标分级,对指标进行层层剖析,主要分为三级T1、T2、T3。

T1指标:公司战略层面指标

用于衡量公司整体目标达成情况的指标,主要是决策类指标,T1指标使用通常服务于公司战略决策层

T2指标:业务策略层面指标

为达成T1指标的目标,公司会对目标拆解到业务线或事业群,并有针对性做出一系列运营策略,T2指标通常反映的是策略结果属于支持性指标同时也是业务线或事业群的核心指标。T2指标是T1指标的纵向的路径拆解,便于T1指标的问题定位,T2指标使用通常服务业务线或事业群

T3指标:业务执行层面指标

T3指标是对T2指标的拆解,用于定位T2指标的问题。T3指标通常也是业务过程中最多的指标。根据各职能部门目标的不同,其关注的指标也各有差异。T3指标的使用通常可以指导一线运营或分析人员开展工作,内容偏过程性指标,可以快速引导一线人员做出相应的动作。

指标的构成

指标 = 业务维度描述 + 技术维度描述

指标,是反映某种事物或现象,描述在一定时间和条件下的规模、程度、比例、结构等概念,通常由指标名称和指标数值组成。

指标分类

简单计数型指标
  • 简单计数型指标是指可通过重复加1这一数学行为而获得数值的指标,如UV(Unique Visit , 独立访客数)、PV(Page View,页面浏览量)
复合型指标
通过若干个基础指标计算得来的指标,在业务角度无法再拆解的指标
  • 复合型指标是由简单计数型指标经四则运算后得到的,如跳出率、购买转化率。
  • 在计算指标时,我们还会涉及绝对数、相对数;百分比、百分点;频率、频数;比例、比率等计算方式。
基础指标
  • 不能再进一步拆解的指标,可以直接计算出来的指标,如“订单数”、“交易额”
衍生指标
  • 在基础指标的基础上,通过某个特殊维度计算出的指标,如“微信订单数”、“支付宝订单数”

指标分级

在进行整个指标分级的时候,我们需要先思考:一级二级指标,能否反应产品当前的运营情况;三级四级指标能否帮助一线人员定位问题,指导运营工作

数据本身是分层的,我们在思考指标的时候,也应该有一个层级的概念,而不是现阶段关心什么,我们就放什么;指标分级可以帮助我们更高效的去定位问题,去验证你的方法论,无需每次都要思考要去看哪些指标

公司战略层面指标
  • 用于衡量公司整体目标达成情况,通常设定在5-8个指标。
  • 这类指标是与业务紧密结合,按照行业标准进行制定,有可参考的行业标准指标,且这类指标针对全公司所有员工均具有核心的指导意义。
  • 比如某游戏公司的一级指标:新增账号、留存率、DAU/MAU、付费人数(率)、收入金额等。
业务策略层面指标
  • 为了实现一级指标,企业会做出一些策略,二级指标通常与这些策略有所关联。
  • 可以简单理解为一级指标的实现路径,用于更快定位一级指标的问题
某游戏公司一级指标是游戏收入,那么二级指标可以设定为不同游戏物品的收入。一级指标是DAU,那么二级指标设定为分服务器的DAU等。这样当一级指标出现问题的时候,我们可以快速查询到问题的所在点。
业务执行层面指标
  • 三级指标是对二级指标的路径拆解,用于定位二级指标的问题。
  • 三级指标的使用通常是可以指导一线人员开展工作的指标内容
  • 三级指标的要求是:一线人员看到指标后,可以快速做出相应的动作。
游戏公司的二级指标是XX区服的DAU,那么三级指标则可以设定为游戏时长、游戏频次、游戏等级分布、游戏关卡流失情况等。通过观察这些数据,可以去针对性地做调整,如某个关卡流失的用户特别高,那么尝试降低难度。

如何设立指标体系

为什么要建立数据指标体系

  1. 当我们的业务出现数据异常时,因为数据很多,往往会一遍遍地从这些数据中去寻找可以定位原因的相关指标,这不仅会浪费很多时间,还会使人心疲

力竭。「指标」是一种度量,它用于追踪和评估商业进程的状态,确保项目务在正确的轨道上运营,同时验证方法论,不断地学习。指标监控体系最大的价值就是帮助大家高效利用时间,把时间花在解决问题上,而不是寻找问题上,从而提高团队整体的人效

  1. 指标也是目标,没有目标就不知道做什么,搭建指标体系是为了更好地发现用户的问题,并且去解决。所以我们需要站在用户的场景去考虑整体的内容。

首先我们来看下为什么我们需要一个好的数据指标体系。这边给大家看一个故事,估计大家都会比较有体感:大家有没有在半夜收到过老板的信息,问为什么业务上的核心指标GMV下降了?然后这里边我们产品同学小六就会赶紧把电脑打开,但是他所有能获取的信息就只有一个Dashboard,里边只有一个GMV核心指标,环比同比同时下降,这个时候他怎么回答老板的问题?

结果基本靠猜,是不是竞对做了一些活动?是不是某个主播停播了?另外一种可能性的情况是小六同学手里边有一百多张报表,这一百多张报表里边,有四百多个指标,然后每一个指标都在下降,那在这种情况下,也没有办法回答老板的问题,为什么这个核心指标下降,到底是DAU下降了,还是用户满意度下降了,还是转化效率下降了等等?

另外一种情况是老板同样提了这样一个问题,然后另外一个产品同学小快不紧不慢的拿出了一张这样的一个报表体系,他说:“老板,我认为GMV下降会跟整个业务流程都有相关性,我们从业务角度进行了这样的一个拆解,发现在流量入口,和最后的人均消费来看的话,其实并没有下降,主要下降来源其实来源于列表页转化效率的下降。再往下拆解,发现高价的商品的曝光占比和低价的曝光占比并不太平衡。高价商品的一个曝光占比比较高,但是它的转化效率却是低的,所以从这个角度来讲,我认为可能在列表页来里面的不同价格的商品的分发策略或者曝光策略需要进行优化,然后通过A/B test去看一下我们这个策略调整的效果是什么样子的”。

我们看到数据指标体系可以帮助我们 整体理解业务、全面了解问题、快速定位原因、迅速落地方案,我们说的指标体系不止是指标,还有指标管理和指标监控

如何建立指标体系 OSM 模型

OSM模型(Obejective,Strategy,Measurement)分别代表业务目标、业务策略、业务度量

O:用户使用产品的目标是什么?产品满足了用户的什么需求?我们的运营目标是什么

如果你是公司的负责人,想一想公司的核心目标是什么,可能是公司今年的利润额。如果你是产品部门负责人,那你需要思考未来几年的产品规划

S:为了达成上述目标我采取的策略是什么?这些策略往往是一些列的

M:这些策略随之带来的数据指标变化有哪些?它用于衡量我们的策略是否有效,反映目标的达成情况。「业务度量」涉及到以下两个概念:一个是 KPI ,用来直

接衡量策略的有效性;一个是 Target,是预先给出的值,用来判断是否达到预期。

然后在这个目标Objective的方向上,我们可以使用UJM(User Journey Map)去拆解相对应的这个业务策略(Strategy)。UJM的逻辑是从业务的核心目标出发,拆解整个业务流程上我们为用户提供价值点,以及这些价值点触达用户的整体路径都有哪些。

知乎的例子

以知乎为例,按照OSM模型,它的指标是什么样的,其实你会看到这个目标不仅仅是企业本身的盈利目标,也可能是解决用户的目标

O:用户来使用知乎这个产品,目标是什么

这里涉及两个不同的用户——内容分享者和内容消费者,这里简单介绍内容生产者的分析思路

  1. 用户需求:分享知识观点(发布观点),建立行业影响力(内容受到反馈)
  2. 那么,如何让用户感受到自己的需求被满足了呢?

S:知乎做的策略是:内容点赞评论、内容打赏、盐值增加、XX话题优秀回答者

M:需要针对这些用户动作去做指标,在这里面我们的指标会有两个,分别是结果指标和过程指标

结果指标:用于衡量用户发生某个动作后所产生的结果,通常是延后知道的,很难进行干预。

过程指标:用户在做某个动作时候所产生的指标,可以通过某些运营策略来影响这个过程指标,从而影响最终的结果。

还是以内容生产者为例:

结果性指标:发布文章数、发布文章的人数、文章点赞/评论数、被打赏人数、被打赏金额、优秀回答者人数、新增优秀回答者人数等。

过程性指标:使用内容导入人数、内容发布转化率、文章互动率、评论折叠率等。

通常我们会在指定指标的过程中使用OSM的模型,去针对用户在不同场景下产生的动作,以及这个动作可能带来的结果,用户在这个动作中会出现什么样的数据变化。之后再结合数据,针对性地去调整我们的运营策略或者产品功能。

简单理解:结果性指标更多的是监控数据异常,或者是监控某个场景下用户需求是否被满足。而过程性指标则是更加关注用户的需求为什么被满足(没被满足)。

滴滴的例子

O:用户使用滴滴这个产品,目标是什么?

可以快速打到车,安全到达目的地。 那么,如何让用户感受到自己的需求被满足了呢

S:滴滴做的策略是:

  1. 快车、拼车、优享等多种车型,解决不同用户诉求;
  2. 根据早晚高峰提高热点区域运力,减少用户排队时间;
  3. 司机准入机制、全程录音等方式提高安全性。

M:针对这些策略去做指标,得到的结果指标和过程指标分别是:

  1. 结果指标:渠道转化完成率、乘客取消率、供需比、司机服务分
  2. 过程指标:渠道发单数、渠道完单数、排队乘客数、乘客排队时长、司机好评率、司机接单量、司机取消数等
提高GMV(Gross Merchandise Volume)

GMV=1销售额+2取消订单金额+3拒收订单金额+4退货订单金额*

GMV是流水,只要你下了订单,生成订单号,就算了GMV, GMV某种意义说明了平台的市场份额,但是对于商家来说,没有实际意义

拼多多的百亿补贴主要就是提高客单价,销售高端产品,这主要是因为拼多多早起走的是性价比路线,在用户数的扩张到一定规模之后,遇到了瓶颈期,所以调整了业务方向,也就是提高客单价走高端路线。

非标住宿

下面以「非标住宿」平台为例分享一下,如何去选取正确的指标;或者说,负责搜索功能的产品经理如何利用 OSM 模型搭建数据监控指标体系。非标住宿有个特点,就是产品个性化。比如说我们住宿的时候选择情侣房等个性化住房,其数量是有限的,同一个风格的房源一般不会超过 5 间

从发起搜索到搜索结果页,再到产品详情页,最后填写订单、预订成功,这是该非标住宿搜索预订的完整路径。在这整个业务流程中,我们该如何搭建数据监控体系,通过数据分析指导业务增长呢?

指标衡量的是什么

在这个例子中,选定目标运用了 2 种视角:

  1. 第一种,用户视角,让用户通过搜索高效地找到心仪的住宿产品。
  2. 第二种,业务视角,提高从搜索到最后成功下单的转化率。

为了提高这个转化率,我们会采取什么样的策略呢?

  1. 第一,返回与用户搜索值相匹配的搜索结果。
  2. 第二,提供有效的搜索结果排序。对于非标类产品,我们需要思考
  3. 怎样把用户感兴趣的产品放在第一屏或者前三位,能够让用户一眼就看到他想搜索的产品。
  4. 第三,当搜索没有结果或者结果不足时,我们就要做有效的推荐。
如何有效衡量“什么”

第一步,选择合适的 OSM 指标度量。

针对从搜索到下单的整个流程,可以拆解 2 个 KPI 指标。KPI 1 是搜索到详情页的转化率,我们设置的 Target 是 30%。在这一步,用户通过搜索得出想要的结果,才会点击产品的详情页。KPI 2 是详情页到下单的转化率,Target 也是 30%。在这一步,如果用户看的产品详情页是符合心意的,才可能会产生订购,达到最后的预定成功。

第二步,注意结果性指标和过程性指标。

结果性指标,就比如电商场景下的 GMV 或订单量,它通常是业务漏斗的底部,是一个不可更改的、后验性的指标。

过程性指标,可以简单理解为到达这个结果之前经过的路径,以及通过这个路径去衡量转化好坏的过程,它是可干预的,而且通常是“用户行为”。

如何衡量指标的好坏

我们需要设定 Target 来衡量指标的好坏,这基于我们内部的历史数据和行业的 benchmark,其设定原则是:要对内部有一定的挑战性,但又不是遥不可及的。

例如从开始搜索到商品详情页,转化率是 23.2%;从商品详情页到最后预定成功, 转化率是 23.8%,两者比较接近。这个时候我们选择 30% 作为 Target 是比较合适的

明确业务目的 确定核心指标

指标的选取是很核心的一步。如果我们选择了正确的指标,它就像一个晴雨表,能很好地衡量业务的健康状况。如果我们选择了一个错误的或者是虚荣的指标,它可能会把我们引导到一个错误的路径上去,这是一个很大的陷阱。

业务目标其实是和我们的产品息息相关的,我们可以大致将我们的产品划分到下面四类中去

针对每一类的产品,我们都可以抽象出下面的一些比较通用的指标

工具类业务

帮助用户节省时间,产品自身提供价值。如墨迹天气、TEA。核心指标应该聚焦到判断工具的使用率。

比如说为用户提供工具类型业务策略,一般是为了让用户节省时间,快速的定位到所需要的信息或者完成某一种任务, 那么这种策略核心的价值就在于提升效率,一般的衡量指标是:使用量,目标达成率, 频次;以电商的例子来讲的话,就是第一步中的流量推荐位,以及搜索功能是不是能够让用户快速的定位到它所感兴趣的直播内容,那这种情况下做优化流量位的内容和搜索匹配优化我的衡量标准就是它的效率,曝光,点击,转化效率。

内容类业务

比如说为了用户提供消遣的内容,让用户可以消磨时间, 那么这种策略的核心价值就在于为了用户提供丰富的高质量的内容,不管是短视频, 直播, 或者活动玩法。那么这种策略的核心的价值就在于为用户提供内容的量与质,一般衡量指标是:消费人数, 消费广度, 消费市场,以及用户与内容的互动,用来衡量用户对于内容的喜爱。比如B站的弹幕就是一种用户对于内容认可的更高层次的情感表达。

交易类业务

帮助用户节省时间,产品通过链接其他资源提供价值。如淘宝、京东金融。核心指标应该聚焦到转化率。

那么这种策略的核心价值就在于为用户提供好的购物体验,能够提升付费页面转化效率, 提升购买的总规模,客单价以及复购率。

社交类业务

杀掉用户时间,产品通过链接其他资源提供价值。如Soul、探探。核心指标应该聚焦到用户的活跃程度。

比如说为了用户提供与其他人的情感连接, 促进用户和用户之间的关系沉淀,进而让用户对于平台或者对于业务更有依赖性,促进用户的活跃和互动,一般的衡量指标是:内容的发布量,用户和用户之间的互动量,沉淀下来的关系对数

微信,是用户和用户之间的一个情感的连接,那衡量这种连接的紧密性主要是人与人之间的互动量,点评赞数量,沉淀的关系的数量

拆解核心指标

明确业务类型和业务指标之后,我们要结合实际业务,将主要关注的指标拆解到可行动的程度,后面我们再解释可行动的程度到底是什么意思,也就是如何评价指标的环节

下面就是一个常见的指标拆解示意图,我们将我们公司的一级指标也就是战略指标进行拆解,然后拆解到各个部门、各个环节,直到可以定位到个人,这样才能充分发挥人员的价值与能力

按场景拆分成多个子指标的和

DAU ≈ 日新增用户+留存用户+回流用户;

按一定的关系拆分成多个子指标的积
  • GMV (总消费额)≈ 用户数 x 购买频次 x 客单价;
  • 销售额 ≈ 用户总量 x 付费率 x 客单价;
  • LTV(生命周期总价值 ,life time value )=LT(生命周期 ,life time)x ARPU(每个用户的平均花费,Average Revenue Per Use)

指标迭代

一个好的指标肯定不是能一鼓作气就可以实现的,需要不断的迭代,而这个过程需要多方进行配合。

评价指标体系

在了解了好的数据指标体系的必要性之后,我们来看一下究竟什么样的指标体系是一个好的数据指标体系。大家在做一些数据分析的时候,我们都会看到列出来的一些标准:数据指标必须是准确的,是能够周期性统计,当然这只是一方面,另外一方面就是业务层面是有价值,可衡量业务真实情况,并且还要简单可执行。

从技术层面来看,一个好的指标,统一具备四个特点:容易收集快速衡量;准确度高;可被多维度分解;单一数据源。就像我们经常使用的衡量APP产品启动人数,使用UUID或者是COOKIE往往比使用IP更加准确。

但很多时候,因为技术或者是业务自身的原因,我们往往很难找到很完美的指标。那么这个时候我们最重要的就是统一口径进行分析,更多地观察数据的波动情况。

我们可以从下面几个方面去评价指标体系的好坏,其实主要还是分为两大类,一是真实贴合业务,可以反映业务;二是可以快速定位问题,提供解决方案

系统性

能够发现局部与整体的关系及问题定位,当数据发生异动时,通过指标体系的逻辑拆解,能迅速定位到大致的异动模块及原因

全面性

能满足不同数据使用方的日常需求,对产品经营及发展情况有整体了解;

认知统一

指标体系服务于不同角色群体,简单科学可解释,符合大众认知,大家都共同认可。

真实性

指标体系要能反映产品真实情况,杜绝华而不实的虚荣指标;

据指标是为了让公司,业务,或者项目的成员围绕着一个可量化的目标展开一系列的工作的。如果数据指标没有贴合业务核心目标的话,那么给公司,业务或者项目带来的会是巨大的损失。

可迭代

指标体系随不同生命周期阶段而改变,指标体系要在发展中保持迭代

可操作

如果能从时间纵向对比、或者从其他维度比如用户群体、产品、地域等不同角度进行横向比较,可以更好地观察业务的发展趋势,定位问题,找到原因,以及改善业务中需要改善的环节。

  • KPI达标率:如果你的核心指标是KPI指标,那就直接根据KPI达标率来判断即可。这个应该是最常见的一种方式。
  • 竞品对标:如果你能从靠谱渠道搜集到竞品相关数据,那以竞品为参照物进行判断。
  • 环比对比:查看环比数据,如果业务走势呈明显周期性,选择一个历史数据较为不错的数据进行对比。
  • 同比对比:查看同比数据,预估每个周期增长多少个百分点,与上一周期数据进行对比,看是否达标。

在中间过程如果任何一个指标出现了问题,第一是能够提前判定这个业务的健康度是什么样子的,是不是出现问题了。第二个好处在于这些中间过程的指标可以拆分到负责的团队里边,定位到负责人。业务上面如果出现问题的话,可以第一时间负责人,之后进行下一步的优化措施的拆解。

GMV我们拆分到IPV乘以付费转化效率再乘以相对应的APPU(人均付费值),这个是行业内非常常见的一个拆解方式,从用户的角度去进行拆分,那这种情况下的IPV就有由对应的搜索团队或者是推荐团队负责,他需要去优化整个页面的一个规模或者说到访用户的规模,付费转化效率由产品团队负责,去进行相对应的一些产品优化,减少摩擦点,能够提升我们付费转化效率;APPU值这一块更多的是由运营的团队去负责,因为运营团队需要去做一些活动,或者是通过一些优惠券的方式能够促进用户买了再买,购了再购。

指标管理

公司层面有公司最关注的KPI,比如:日活、GMV、订单量等等;不同的部门又有不同的关注KPI,比如:新用户数、复购人数等等,有了KPI,我们就可以根据KPI来考察部门的表现,也就是绩效。这也是数字化转型,所有的管理、绩效都数字化

上面讲的都是如何去定义指标,定义指标之后如何评价指标,下面我们看一下如何管理指标。

就数据平台来说,指标算是元数据的一种,指标的维护和管理是有套路的,下面就简单分享下关于指标的管理——指标字典。但是开始之前我们先说一下为什么要进行指标管理。

指标作为业务和数据的结合,它基础是数据统计,指标也是量化业务效果的依据。既然和业务挂钩那就会有说不明道不清的变化,其实着也是我们做指标管理的主要原因,业务在快速发展,所以在这个过程中业务的口径和逻辑都在发生变化,如果不统一进行管理和维护的话就会出现指标口径模糊逻辑不清

我们可以从从业务、技术、产品三个视角来看:

  • 业务视角

    业务分析场景指标、维度不明确;

    频繁的需求变更和反复迭代,数据报表臃肿,数据参差不齐;

    用户分析具体业务问题找数据、核对确认数据成本较高。

  • 技术视角

    指标定义,指标命名混乱,指标不唯一,指标维护口径不一致;

    指标生产,重复建设;数据汇算成本较高;

    指标消费,数据出口不统一,重复输出,输出口径不一致;

  • 产品视角

    缺乏系统产品化支持从生产到消费数据流没有系统产品层面打通

还有一个原因就是因为一个公司的指标本身就有很多,所以在这个过程中出现的指标名称混乱,指标不唯一 所以我们在定义指标的时候就需要参考已有指标的,从而避免命名和含义上的冲突,做好数据有序地和有结构地分类组织和存储也是避免底层数据的重复建设、数据统计来源的不唯一的重要手段

指标管理系统只不是为了更好的管理指标引入的一套工具,当然只好好的工具配合好的理念才行,也就是说如果没有指标管理系统你也可以做指标管理。

指标的管理—指标字典

  • 指标字典,其实就是对指标的管理,指标多了以后,为了共享和统一修改和维护,我们会在Excel中维护所有的指标。当然,Excel对于共享和版本控制也不是很方便,有条件的话,可以开发个简单的指标管理系统,再配合上血缘关系,就更方便追踪数据流转了。
指标编码
  • 为了方便查找和管理,我们会对指标定义一套编码
业务口径
  • 指标最重要的就是,明确指标的统计口径,就是这个指标是怎么算出来的,口径统一了,才不会产生歧义
口径梳理
  • 一开始指标的梳理是很麻烦的,因为要统一一个口径,需要和不同的部门去沟通协调;
  • 还有可能会有各种各样的指标出现,需要去判断是否真的需要这个指标,是否可以用其他指标来替代;指标与指标之间的关系也需要理清楚
迭代维护
  • 而且第一版指标梳理好之后,需要进行推广和维护,不断地迭代,持续推动,让公司所有部门都统一站在一个视角关注问题。
计算公式
  • 对业务口径的翻译,需要业务方告知你从哪里的数据去计算
指标模板
  1. 数据域
    指面向业务分析,将业务过程或者维度进行抽象的集合。其中,业务过程可以概括为一个个不拆分的行为事件,在业务过程之下,可以定义指标;维度,是度量的环境,如乘客呼单事件,呼单类型是维度。为了保障整个体系的生命力,数据域是需要抽象提炼,并且长期维护更新的,变动需执行变更流程。
  2. 业务过程

    指公司的业务活动事件,如,呼单、支付都是业务过程。其中,业务过程不可拆分。

  3. 时间周期

    用来明确统计的时间范围或者时间点,如最近30天、自然周、截止当日等。

  4. 修饰类型

    是对修饰词的一种抽象划分。修饰类型从属于某个业务域,如日志域的访问终端类型涵盖APP端、PC端等修饰词。

  5. 修饰词

    指的是统计维度以外指标的业务场景限定抽象,修饰词属于一种修饰类型,如在日志域的访问终端类型下,有修饰词APP、PC端等。

  6. 度量/原子指标

    原子指标和度量含义相同,基于某一业务事件行为下的度量,是业务定义中不可再拆分的指标,具有明确业务含义的名称,如支付金额。

  7. 维度

    维度是度量的环境,用来反映业务的一类属性,这类属性的集合构成一个维度,也可以称为实体对象。维度属于一个数据域,如地理维度(其中包括国家、地区、省市等)、时间维度(其中包括年、季、月、周、日等级别内容)。

  8. 维度属性

    维度属性隶属于一个维度,如地理维度里面的国家名称、国家ID、省份名称等都属于维度属性。

  9. 指标分类

    主要分为原子指标、派生指标、衍生指标

    1. 原子指标

      基于某一业务事件行为下的度量,是业务定义中不可再拆分的指标,具有明确业务含义的名称,如呼单量、交易金额

    2. 派生指标

      是1个原子指标+多个修饰词(可选)+时间周期,是原子指标业务统计范围的圈定。派生指标又分以下二种类型:

    1. 事务型指标
      指对业务过程进行衡量的指标。例如,呼单量、订单支付金额,这类指标需要维护原子指标以及修饰词,在此基础上创建派生指标。
    1. 存量型指标

      是指对实体对象某些状态的统计,例如注册司机总数、注册乘客总数,这类指标需要维护原子指标以及修饰词,在此基础上创建派生指标,对应的时间周期一般为“历史截止当前某个时间

    2. 衍生指标
      是在事务性指标和存量型指标的基础上复合成的。主要有比率型、比例型、统计型均值

指标的管理—指标管理系统

有了上面的指标字典,指标字典其实相当于是我们的底层逻辑,其实实现这个底层逻辑我们可以使用word、excel 等工具都可以去实现,但是为了能够更加方便的管理,我们可以开发一套系统,也就是我们的指标管理系统。

指标作为数据平台上的核心数据资产,我们也可以将其做到我们的资产管理平台中去。

场景落地

直播电商

酒旅业务

理财产品

共享单车

网站业务

总结

建设指标体系,需要回答以下几个问题

  1. 为什么建设数据指标体系
  2. 如何评价数据指标体系,一个好的数据指标体系是要需要回答两个问题,它是不是有助于业务发展,以及说这个指标体系拆解是不是可具备、可落地、可实操的可能性。
  3. 如何建设数据指标体系,这就需要我们的建设方法论了
  4. 如何维护和管理指标,指标的维护和管理是有套路的,最简单的指标管理方法——指标字典,我们在此基础上可以做指标管理系统

OSM 实现了业务目标结构化,UJM 实现了业务目标流程化。

数据指标体系其实只是数据赋能业务的万里长征的第一步。未来如果希望更加泛化地去支持到更多的业务场景,其实是需要去做一些产品化的沉淀的,把一些固化下来的指标体系或者分析框架沉淀下来,去赋能更多的业务人员,可以使用相对应的数据产品,帮助他们去做相对应的业务决策。进一步提升他们决策的效率,同时降低使用数据的一个门槛。

交流群

加我微信:ddxygq,回复“加群”,我拉你进群。
ddxygq

猜你喜欢
数仓建模—宽表的设计
Spark SQL知识点与实战
Hive计算最大连续登陆天数
Hadoop 数据迁移用法详解
Flink计算pv和uv的通用方法


大数据技术派
5 声望7 粉丝