电企数据资源与数据资产剖析

PowerData

以下文章来源于数据攻城狮乐哥 ，作者数据攻城狮乐哥

[

数据攻城狮乐哥 .

10年+能源电力行业深耕，信息化/数字化项目经验，致力做“数据+业务”复合型数据攻城狮，郑州数据交易所首批数据经纪人，深圳数据交易所开放群岛开源社区首批行业数据科学家，DAMA国际会员，CDMP国际注册数据管理师。

](#)

进入云（计算）、大（数据）、物（联网）、移（动互联网）、智（能电网）、（区块）链、的数字化时代，从业务运营到客户服务，从电网调度到设备运维，各类业务数据无不呈现海量、爆发式增长的趋势。促使电力企业不得不重视数据的重要，谋划提升数据的管理利用水平。但站在渐趋成熟数据资源管理实践的今天回望，时下数据资源质量的参差不齐、散乱分布、缺乏有效整合、统一规范，亟需构建统一的跨业务的共享共用机制，消除数据信息孤岛，促进数据价值发挥，是当时面临的核心痛点、堵点。

一、相关专业概念术语

 数据资源，是企业拥有或控制的，以各种数字化形式存在的原始记录、文件、信息等的集合。 

数据资产，是经过加工处理，能为企业带来经济利益或提升企业竞争力的数据资源。

业务数据，由企业各种业务活动直接产生的数据，如电力交易数据、客户数据、电量电费数据、生产检修工单数据等。

元数据，描述数据的数据，包括描述数据的定义、来源、格式、更新频率等属性信息。

数据元，描述数据的最小单位/单元，具有明确的定义和数据类型。

数据目录，是关于数据资源的清单，包含数据的名称、描述、存储位置等信息，方便用户查找和使用。

二、数据资源和数据资产的关系及异同

总体来讲，数据资源和数据资产既有密切的联系，又存在一定的区别。

1、二者的关系  转化数据资源是数据资产的基础和前提。大量的数据资源经过筛选、加工、治理等一系列操作，当具备了明确的价值和权属后，就有可能为数据资产。有些高价值的数据资源本身就可以直接认定为数据资产，无需再经过操作处理。同时，受到政策、业务适用环境、地域、空间、时间等因素的影响，数据资源和数据资产又具备双向的动态流动性与相对固定性。

2、二者相同点

（1）都以数据为载体。无论是数据资源还是数据资产，其本质都是数据。

（2）都需要管理和保护。两者都需要通过有效的管理手段来保证数据的质量、安全性和可用性，尤其是对于受到明显行业团体、政府、相关组织监管、定期报送数据的企业组织更为明显。3、二者不同点（1）价值体现。数据资源强调潜在的价值，其价值可能尚未被明确挖掘和体现；而数据资产具有明确的、可衡量的经济价值，能够直接为企业带来经济效益。（2）权属明晰程度。数据资源的权属可能不够清晰明确；数据资产的权属则清晰确定，明确了所有者和使用者的权利和义务。

（3）可交易性。数据资源通常不具备直接交易的属性；数据资产在满足一定条件下可以进行交易和流通。

（4）标准化和规范化程度。数据资产往往经过了更高程度的标准化（经过企业级统一的标准信息模型、数据模型处理，比如国家电网的SG-CIM）和规范化（比如数据质量监测、治理、提升等）处理，以保证其数据质量和高可用性；数据资源在这方面可能相对较弱。

结合本行业来说，电力企业收集的大量用户用电原始数据可以视为数据资源，而经过分析处理形成的能够准确预测用户用电行为从而为企业优化电力供应策略、降低成本并带来直接经济收益的数据集，则可以认定为数据资产。

三、数据资源的来源

1、企业内部数据资源。由内部电力生产系统、营销管理系统、财务管理系统等业务系统产生的数据；设备传感器采集的实时运行数据；员工录入的业务数据，如工单信息、客户资料等。

2、企业外部数据资源。企业通过数据要素市场交易、公共申请等渠道方式，合法合规获得的非本企业拥有的数据资源。具体包括政府部门发布的能源政策、行业统计数据；气象部门提供的气象数据，用于分析气象对电力负荷的影响；第三方数据服务机构提供的市场数据，如竞争对手的电价策略等。

四、数据资源管理

（一）涉及的具体工作

数据资源管理工作包括数据的采集、存储、处理、共享、维护等全生命周期管理。目标是确保数据的准确性、完整性、一致性和及时性，建立数据管理制度和流程，明确数据管理责任。

展开来讲，通常至少包括以下内容。

1、数据规划 

（1）公司级层面，制定数据战略和规划，明确数据资源管理的目标和方向。 

（2）确定公司级，数据资源管理的政策制度、流程工序和数据资源相关的标准规范。 （包括但不限于资源归集、接入处理及更新、存储、目录管理、共享服务、合规使用等方面）。

2、数据资源采集 

从各种采集来源收集数据，包括内部业务系统、外部数据源等。 确保数据采集的准确性、完整性和及时性。

 3、数据资源存储

（1）选择合适的数据存储方式，如数据库、数据仓库、数据湖、非结构化对象存储容器等。

（2）设计合理的数据存储架构，优化存储性能和成本。

 4、数据资源接入处理

（1）对采集到的数据资源进行适度清洗、转换、加工整合等操作，确保数据资源的有效性。 

（2）去除重复、错误和不一致的数据，提升数据可用性。 

5、数据资源的质量管控

（1）建立数据质量评估指标和标准。 

（2）监测和改进数据质量，解决数据质量问题。 

6、数据资源安全管理 

（1）制定数据安全策略和措施，保障数据的机密性、完整性和可用性。

（2）进行数据访问控制、加密、备份和恢复等操作。

 7、数据资源共享与交换 

（1）建立数据资源的共享机制和流程，促进数据资源在各业务部门之间的数据流通。 

（2）确保数据在跨部门、跨业务共享和交换过程中的合规性和安全性。 

8、元数据管理 

（1）管理数据的元数据，包括各种数据资源的定义、结构、来源、业务使用场景等信息。 

（2）确保元数据的准确性和一致性。 

9、数据资源目录管理 

（1）构建和维护数据资源目录，方便数据的查找和使用。 

（2）数据资源审计，对数据资源的使用和管理活动进行审计和监督。 

10、数据资源成本管理

（1） 评估和控制数据资源管理的成本、投入产出比。

（二）有效数据资源的认定评价标准

1.定性标准。从定性上来讲，有效的数据资源通常具有以下几个关键特征。

可用性。易于理解、访问和使用，其格式和结构符合用户的需求和使用场景。

相关性。与特定的业务目标、决策问题或操作流程紧密相关，能够为解决实际问题提供有价值的信息。

可靠性。数据来源可靠，经过验证和审核，并且在多次使用和处理中表现稳定。

2.定量标准。从可量化评价的角度讲，有效的数据资源通常具有以下几个关键特征。

数据的错误率。如错误记录数占总记录数的比例；数据更新频率，满足业务需求的更新周期；数据覆盖率，特定业务领域数据的覆盖程度。

准确性。数据能够准确反映所描述的对象或事件的真实情况，误差在可接受的范围内。

完整性。涵盖了所需的全部关键信息，没有重要字段或数据项的缺失。

一致性。在不同的系统、流程或数据集中，相关数据的逻辑和内容保持一致，不存在相互矛盾的情况。

时效性。数据是及时更新的，能够反映最新的状态和情况，以满足决策和业务操作的需求。

例如，在电力企业中，实时准确的电网运行数据就是有效的数据资源，它能帮助运维人员及时发现运行过程中，各种电力设备设施潜在的问题，以便支持做出决策，保障电网的安全稳定运行。

（三）数据资源梳理盘点的方法论

建议采用自上而下与自下而上相结合的方法。

自下而上的方式则是从现有的数据资源出发，清查数据的实际状况。以电力企业为例，可能涵盖了各种监控系统、数据库、数据仓库等。通过清查，明确实际存在的数据的内容、质量、格式、存储位置等具体情况。比如，发现某些地区的用电数据存在缺失或不准确的问题，某些设备监测数据的格式不一致等。

同时，运用数据血缘分析技术，厘清数据的来源、流向和加工过程。例如，对于某电力企业的用户用电量数据，其来源可能是智能电表的采集，经过数据传输和初步处理进入到地区的数据库，然后经过汇总和分析进入到企业的决策支持系统，用于制定供电计划和营销策略。

这种综合性的方法能够保障数据资源梳理的全面性与准确性，使企业既能依据数据资源管理的战略需求，去规划预期的数据架构，又能基于实际情形进行合理的调整和优化，从而更有效地支持企业的决策制定和业务发展。

（四）数据资源管理的核心过程

数据资源的管理工作，通常包含以下11个核心过程步骤。

1、明确目标和范围

（1）确定资源梳理盘点的具体目标，例如了解企业数据现状、发现数据质量问题、摸清全业务域数据资源家底、优化数据架构等。

（2）明确数据资源盘点时涵盖的业务领域、系统和数据类型的范围。

2、组建跨职能工作团队

（1）整个团队成员包括来自业务部门、技术部门（如数据库管理员、系统分析师）和数据管理部门的人员。

（2）需确保团队成员具备相关的业务知识、技术能力和数据管理经验。

3、既有数据资料收集与分析

（1）收集现有的数据资源相关文档，如数据字典、系统设计文档、业务流程文档等。

（2）分析已有的数据架构、数据资源的流向和使用情况。

4、业务流程分析

（1）深入了解企业各个业务域的核心业务流程，确定每个流程中产生、使用和流转传递的数据。

（2）绘制业务流程图，标识与业务数据相关的业务节点和活动环节。

5、数据源识别

（1）确定所有可能的数据来源，包括内部业务系统、外部合作伙伴、公共数据等。

（2）记录数据源的类型、位置、更新频率等关键信息。

6、数据资源分类与建模

（1）根据业务需求和数据特征，对数据进行分类，如按照业务主题、数据格式、数据用途等。

（2）建立数据资源存储的数据模型，描绘各个数据资源之间的逻辑关系和结构。

7、数据质量评估

（1）为数据资源制定数据质量评估指标，如准确性、完整性、一致性、时效性等。

（2）通过抽样、数据验证和数据分析等方法评估数据资源的质量、业务数据的质量。

8、数据血缘分析

（1）追踪数据的来源和流向，了解数据在不同系统和流程中的产生、转换、衍生、使用、销存等过程。

（2）绘制数据血缘图，清晰展示数据的整个生命周期。

9、数据资产目录构建

汇总数据资源梳理盘点的结果，创建详细的数据（资源）目录，包括数据的名称、描述、所有者、存储位置、访问权限、使用业务场景等。

10、结果审查与验证

（1）由相关业务人员、数据技术专家、数据管理人员等等，对数据资源梳理盘点的结果进行审查和验证。

（2）确保评审结果的准确性和完整性，发现并纠正可能存在的偏差和错误。

11、持续改进

将数据资源梳理盘点作为一个持续更新迭代的过程，定期更新和完善数据（资源）目录。根据业务变化和技术发展，不断优化数据管理策略和方法。

举个例子简要案例说明。例如，某电力企业在进行数据资源梳理盘点时，首先明确要优化数据架构以支持智能电网的发展这一目标，范围涵盖发电、输电、变电、配电和用电等业务环节。组建了由电力工程师、IT 专家和数据管理员组成的团队，收集并分析现有系统的资料，深入研究电力生产和供应的业务流程，识别出各个环节的数据源，对电量、电压、电流等数据进行分类建模，评估其质量，分析数据血缘，创建数据资产目录，最后经过审查验证不断完善，为企业的数据管理和利用提供了清晰的指导。

（五）公司级数据资源共享服务管理平台构建

1、目标用户。

服务企业内部的业务部门、管理人员、数据分析人员；外部合作伙伴，如供应商、政府部门等。

2、必需的功能。总结下来，至少有如下10个。

（1）数据接入和整合功能

能够连接多种数据源，包括不同的数据库、文件格式、系统接口等。

需对来自不同来源的数据进行整合和统一处理。

（2）数据存储和管理功能

提供高效、可靠的数据存储解决方案，适应大规模数据的存储需求。

支持数据的分类、索引和快速检索。

（3）数据(质量治理功能

包含数据质量检测、数据清洗、数据标准化等工具和流程。

对数据进行监控和审计，确保数据的准确性和合规性。

（4）数据共享和发布功能

支持按照不同的权限级别向用户提供数据访问和下载。

能够以多种格式和方式发布数据，满足不同用户的需求。

（5）数据安全控制功能

实施用户认证和授权，确保只有合法用户能够访问相应数据。

对数据进行加密传输和存储，保障数据的安全性和隐私性。

（6）数据目录和元数据管理功能

建立清晰的数据目录，方便用户查找和了解数据资源。

管理数据的元数据，包括数据的定义、来源、结构等信息。

（7）数据监控和预警功能

实时监控数据的更新、访问情况和系统运行状态。

对异常情况进行预警和通知。

（8）数据血缘追溯功能

清晰展示数据的来源、流转过程和加工处理环节。

（9）数据版本管理功能

记录数据的修改历史，支持数据版本的回溯和比较。

（10）用户管理和权限分配功能

方便管理员对用户进行增删改查操作。

灵活设置不同用户或用户组的数据访问和操作权限。

（六）数据资源共享服务的应用方向

（1）支持业务决策优化

整合多源数据，为企业决策提供全面、准确的信息支持。

帮助管理层基于数据做出科学的战略规划和业务决策。

（2）提升运营效率

实现各部门间数据资源的快速共享和流通，减少业务、数据层面的信息孤岛赌点。

促进业务流程的优化和协同，提高整体运营效率。

（3）创新业务模式

挖掘数据价值，发现新的业务机会和增长点。

支持企业开展基于数据资源融通共用的创新业务，如数据分析应用产品服务。

（4）促进跨部门合作

打破部门壁垒，加强部门间的业务、数据交流与合作。

基于数据资源的挖掘，促进跨业务部门解决业务问题，提升企业内部凝聚力。

（5）支持数据交易

为数据资源的共享、流通提供平台和规范。

推动企业将闲置数据资源转化为间接或直接的经济收益。

（6）提升客户服务

基于数据资源的挖掘利用，深入了解内外部客户需求和行为，提供个性化的服务和产品，提高客户满意度和忠诚度。

（7）推动行业交流与合作

在安全合规前提下，在企业内部、与业内其他企业共享部分数据资源，促进共同利用。

参与行业数据标准的制定和推广。

（8）助力合规与监管

确保企业数据资源使用符合法律法规和监管要求。

便于快速响应监管部门的数据资源查询和审查要求。

（9）促进技术研发

为技术研发团队提供全面的数据资源支持，推动新技术的研发和应用。

五、数据资源认定为数据资产的指导原则

数据资源认定为数据资产时，应遵从以下指导原则。

（1）业务价值原则

数据能够为企业的核心业务流程提供直接或间接的支持，有助于提高业务效率、改善业务决策或创造新的业务机会。

（2）权属清晰原则

明确数据的所有权、使用权和管理权，避免潜在的法律纠纷和产权争议。

（3）可计量原则

能够对数据资产的价值、成本和收益进行合理的计量和评估，以便进行有效的资产管理和决策。

（4）质量可靠原则

数据应具有足够的准确性、完整性、一致性和时效性，以保证其在业务中的可用性和可信度。

（5）安全合规原则

数据的收集、存储、使用和共享符合法律法规、行业规范和企业内部的安全政策，确保数据的安全性和合规性。

（6）可复用原则

数据具有在多个业务场景或流程中重复使用的潜力，能够为企业带来持续的价值。

（7）稀缺性原则

数据具有一定的独特性或稀缺性，相对于竞争对手或市场而言具有竞争优势。

（8）稳定性原则

数据的来源和生成过程相对稳定，能够在一定时期内持续提供有价值的信息。

（9）战略相关性原则

与企业的长期战略目标和发展方向相契合，对企业的战略规划和实施具有重要意义。

（10）成本效益原则

数据资产的获取、管理和利用所带来的收益大于相关的成本投入。

六、数据资产的来源

1、企业内部

经过深度加工和分析的数据资源，如客户画像数据、设备故障预测模型数据；企业积累的知识产权数据，如专利数据、技术标准数据。

2、企业外部

购买的第三方数据，如市场调研报告数据；与合作伙伴共享的数据，如产业链上下游企业的数据。

七、数据资产价值的确认

当数据资源被确认为数据资产时，至少应遵从以下评价标准。

1、定性评价标准,10个。

数据的战略价值，对企业战略目标的支持程度；

数据的稀缺性，市场上获取的难易程度；

数据的创新性，能否为企业带来新的业务模式或创新思路。

可用性,易于理解和使用，格式规范、清晰。能够与现有系统和技术架构兼容，便于整合和应用。

相关性,与企业的核心业务和战略目标紧密相关，能够为关键业务决策提供支持。

法律合规性,数据的获取、存储、使用和共享符合法律法规和道德规范。不存在侵犯个人隐私、知识产权等法律风险。

安全性,具备完善的安全保护措施，防止数据泄露、篡改和滥用。

可管理性,能够进行有效的管理和维护，包括数据的更新、备份、监控等。

稳定性,数据来源稳定可靠，不会频繁出现数据中断或异常。

可扩展性,能够适应企业业务的发展和变化，具备进一步挖掘和扩展价值的潜力。

2.定量评价标准，7个。

数据的收益贡献（经济价值），通过数据应用带来的经济效益，如降低成本、增加收入、提高市场竞争力，具有潜在的商业变现能力，例如通过数据交易、数据租赁等方式获取经济回报等；

数据的成本效益比，数据管理成本与收益的比值；

数据的投资回报率，衡量数据资产投资的效益。

数据质量方面，至少4个。

准确性（高），数据真实可靠，误差在可接受范围内。

完整性（好），涵盖了关键的信息，不存在重要数据的缺失。

一致性（强），在不同的系统和业务流程中保持逻辑一致。

时效性（佳），能够及时反映最新的业务状态和情况。

简要举例，比如一家电力企业拥有详细的用户用电行为数据，这些数据经过分析可以帮助企业精准制定营销策略，降低运营成本，具有明确的经济价值；数据准确、完整、及时，并且符合法律规定和安全要求，同时与企业的业务发展密切相关，易于管理和扩展，那么就可以认定为数据资产。

八、数据资产与数据资源的关注异同

1、相同关注点

（1）基础目标一致，都是为了全面了解企业所拥有的数据情况，包括数据的规模、类型、分布等。

（2）都依赖技术手段，都需要借助一定的技术工具和方法，如数据发现工具、数据分析软件等。

（3）都在促进数据管理，有助于发现数据管理中的问题和不足，从而推动数据管理水平的提升。

（4）涉及数据范围有交集，通常都涵盖企业内部的各类数据，包括业务数据、运营数据等。

2、不同关注点

（1）重点关注不同，

数据资源盘点更侧重于数据的完整性、准确性和可用性等基本属性。

数据资产盘点则更注重数据的价值评估、权属确认和潜在商业价值。

（2）价值考量差异，

数据资源盘点较少直接评估数据的经济价值。

数据资产盘点将数据的经济价值作为重要考量因素，判断其能否为企业带来直接或间接的经济效益。

（3）权属明晰程度，

数据资源盘点对数据权属的明确要求相对较低。

数据资产盘点需要清晰界定数据的所有权、使用权等权属问题。

（4）结果应用不同，

数据资源盘点的结果主要用于优化数据存储、改善数据质量、元数据管理等方面。

数据资产盘点的结果常用于资产核算、战略决策、数据交易等领域。

（5）复杂程度有别，

数据资产盘点由于涉及价值评估和权属确认等复杂问题，通常比数据资源盘点更具复杂性。

简要举例，在一家电力企业中，数据资源盘点可能主要关注电力生产、传输和销售过程中各类数据的完整性和准确性；而数据资产盘点则要进一步评估如特定区域的用电行为数据在精准营销、需求预测方面的潜在经济价值，以及这些数据的所有权归属等问题。

九、数据资产的应用方向

1、精准营销与客户关系管理

基于客户数据进行细分，实现精准的产品推荐和个性化服务。

预测客户需求和行为，提高客户满意度和忠诚度。

2、风险管理与决策支持

利用数据分析评估信用风险、市场风险等，制定风险应对策略。

为企业战略决策、投资决策等提供数据驱动的依据。

3、优化运营与流程改进

分析业务流程中的数据，发现瓶颈和优化点，提高运营效率。

监测设备运行数据，实现预测性维护，降低维修成本和停机时间。

4、产品创新与开发

依据市场数据和用户反馈，开发新的产品或改进现有产品。

5、供应链管理

优化库存管理，通过数据分析预测需求，实现精准采购和配送。

评估供应商绩效，选择优质合作伙伴。

6、数据交易与合作

将数据资产出售或与其他企业进行合作交换，实现价值变现。

7、合规与监管应对

满足监管要求，提供数据证明企业的合规性。

以电力企业为例，通过分析用户用电数据资产，可以精准推出节能套餐；利用设备运行数据资产优化检修计划；在合规前提下与相关企业交易电力市场数据资产等。

关于作者

10年+电力央企乙、丙、丁方服务经历，能源电力行业数字化转型项目经验丰富，深度参与业务系统、数据中心、数据管理/治理、行业业务咨询等项目实践工作，略有些许墨水积累。

公众号聚焦行业数据工程师打怪升级、心路经验，行业知识、学习笔记、随笔碎碎念等。尽可能All in原创，All in 干货。展示一个真实数据攻城狮的那些青葱岁月。

关于社区

PowerData数据之力社区是由一群数据从业人员，因为热爱凝聚在一起，以开源精神为基础，组成的数据开源社区，目前成员5000+。由数据攻城狮乐哥与PowerData共建的国内首个能源电力大数据群组，目前已聚集100+在行业深耕的各类数据技术人员、业务分析人员，以技术开源协同、行业实践探讨、推动行业应用场景落地等为目标，开展交流。

社区群内会定期组织模拟面试、线上分享、行业研讨（涉及金融、医疗、能源电力、工业制造业、互联网等）、线下Meet UP、城市聚会、求职互助内推等。同时，在社区交流群内您可以进行技术讨论、问题请教，结识更多志同道合的数据从业同行。

此外社区还有每日一题汇总及往期社区分享PPT，内容涵盖大数据组件、编程语言、数据结构与算法、企业真实面试题、行业交流等各个领域，帮助您自我提升，成功上岸。可以添加作者微信（Keep\_Sober\_Li），进入PowerData官方社区群及相关行业大数据群组。