头图

页数:47页
下载:关注“思码逸研发效能”公众号,回复“基准报告

立刻下载

本文共计6000字,建议阅读时间:5-10分钟。

阅读本文你将收获:

  • 研发效能基准指标
  • 研发效能基准指标数据:交付速率、交付质量、交付能力
  • 研发效能综合分析:流程体系、工具平台和数据度量对研发效能带来的影响

在市场竞争加剧的背景下,提高研发效能不仅是技术优化的需要,更是企业生存与发展的战略要求。提升研发效能能够显著缩短产品上市时间,降低研发成本,提升产品质量,从而增强企业的市场竞争力。

然而,企业在研发效能构建过程中,往往会存在以下几个关键问题:

  • 行业定位不明确:许多公司难以确定自身研发效能在行业中的水平,缺乏行业基准数据进行对标,导致无法准确评估自身的竞争力和改进空间。
  • 优势与劣势识别不明:公司难以明确哪些研发维度已经达到最佳状态,不必再投入过多资源进行优化,结果可能导致资源浪费和过度竞争,影响整体研发效能。
  • 薄弱点识别缺乏数据支持:团队在某些方面的薄弱点难以被准确识别,缺乏具体数据作为改进的依据,导致改进措施不够针对性和有效性,难以推动实际提升。
  • 业务压力和资源限制:在面对巨大的业务压力和高昂的研发成本时,如何有效利用有限资源突破瓶颈成为一大难题。资源分配不当或效率低下会进一步拖慢研发进度,影响整体效能。
  • 过程管理复杂化:研发过程的管理往往过于复杂,缺乏高效的流程和工具支持,导致沟通不畅、协调困难以及决策迟缓,进一步降低了研发效能和团队的工作效率。

基于此,思码逸携手合作伙伴启动了DevData 2024研发效能基准调研,并联合中国信息通信研究院(简称“中国信通院”)、QECon、InfoQ研究中心、TGO鲲鹏会等机构共同发布《DevData 2024 研发效能基准报告》(以下简称“报告”),帮助管理者了解企业在行业中的研发效能水平,识别自身短板,找准提升方向,从而在快速变化的产业格局中做出正确定位,选择有效战略,在未来市场竞争中抢占先机。
图片

前言

报告是业内首次采用客观数据结合主观问卷的方式,避免了传统主观调研中的大量误差和模糊信息,基于对上百家不同行业的企业的调研,包括金融/保险、制造业、工业、新能源汽车等,收集了企业实际的研发数据。

采用科学的分析方法,统计出包括贡献均衡度、代码生产率、需求吞吐量、需求交付周期、重点问题密度、缺陷修复工作量在内的15个指标的基准线(或表征)。

同时,报告从研发交付速率、交付质量、交付能力等多个维度探究了效能提升的关键因素和存在的主要障碍,揭示了高效能团队的共性特征,以期帮助管理者们了解企业研发效能水平在行业中的位置,明确自身短板,找准提升方向。

针对备受关注的AI方向,报告也分析了AI工具在研发过程中的应用,明确指出了AI在提升需求交付速度和代码内建质量方面的巨大潜力。这对于推动AI技术在软件研发领域的应用,加速企业数字化转型具有重要意义。

立刻下载

基准指标

2.1 指标选择

报告以采集客观数据为特色,选取了15个典型研发效能指标,反映企业交付效率、交付质量和交付能力的普遍现状。为清晰刻画软件研发效能的度量领域,《软件研发效能度量规范》[定义了软件研发效能度量框架(见图1-1),明确提出了度量软件研发效能的五个认知域,即交付价值、交付速率、交付质量、交付成本和交付能力。五个认知域的度量可以全面评估软件研发效能的不同方面,帮助研发组织通过客观数据了解其研发效能表现和现状,并为改进提供指导和决策依据。
图片

2.2 基准数据概览

提供行业研发效能的基线统计值,帮助企业准确评估自身位置,明确优化方向。报告选取了15个典型研发效能指标,覆盖了软件研发效能度量框架中的三个主要认知域,包括交付速率、交付质量和交付能力,采用四个广泛采纳、易于理解的统计指标报告基准数据:下四分位值、中位值、上四分位值和平均值。这些统计能够全面反映整个数据集的分布状况,同时排除少数极值的影响,保证基准分析的准确性和稳健性。
图片

2.3 高效能团队特征

报告深度剖析了高效能团队特征,为企业勾勒出高效研发团队的构建蓝图。基于基准数据涉及的度量指标,报告通过综合模型计算了各个企业研发效能的综合总分,并将综合评分位于前20%的团队定义为高效能团队。
图片
交付能力、交付速率、交付质量具体数据,欢迎大家关注“思码逸研发效能”公众号,回复“基准报告”,免费下载完整版报告,确立研发效能增长路径的可靠度量标准!

立刻下载

基准数据

报告选取了需求吞吐量、需求交付周期、需求颗粒度、开发过程稳定性、代码贡献均衡度等15个典型研发效能指标。

3.1 交付速率

报告通过分析需求和代码数据对交付效率进行度量。由于不同企业对需求的定义存在差异,且不同类型需求颗粒度不同,本报告确保单个受访企业仅统计如下类型需求中的一种: REQUIREMENT(需求)、STORY(故事)、FEATURE(特性)。需要特别说明的是,由于需求颗粒度、项目复杂度及业务类型等存在差异,不同企业间需求相关指标一般不具备横向可比性,故仅作为表征数据提供给相似特征的研发团队参考。

交付速率核心数据如下:

  • 需求吞吐量:不论中位值还是平均值,20人以下团队相对更大规模团队的人均需求吞吐量都更高。建议企业尽量缩减团队规模,从康威定律角度看,团队结构会影响系统架构设计。另一方面,建议基于历史数据形成需求颗粒度的组织内基准线,对需求进行合理拆分,以实现合理的需求规划及分配,维持需求在研发团队中的正常流转,充分有效利用资源带宽。
    图片
  • 需求颗粒度:受访企业研发团队2023年的需求颗粒度中位值为217代码当量。该指标数据分布相对分散,表明需求颗粒度存在较大差异。建议企业按照自身业务及开发模式,合理拆分需求,为代码提交效率和质量保证打下基础。
    图片
  • 代码生产率:受访企业研发团队2023年的代码生产率相较于2022年稳中有升,中位值上升7.3%,平均值上升10.6%。代码生产率受多种因素的综合影响,企业研发团队应从流程体系、工具平台、系统架构等多角度审视,找到可行动的改进项,快速实践并通过数据获得反馈。
    图片

3.2 交付质量

研发团队在预定时间内按预期交付高质量产品的能力,报告核心数据如下:

  • 单元测试覆盖度:受访企业研发团队2023年单元测试覆盖度中位值仅为15%,提示该指标仍有较大提升空间。提升单元测试覆盖度,可以提高代码内建质量,减少维护成本,降低软件重构带来的风险;同时会增加研发团队成员的工作量,需平衡投入产出比。建议企业研发团队有的放矢,加强核心函数、复杂函数的单元测试覆盖;而对项目整体,则需关注交付效率等其他指标,实现综合收益的最大化。
    图片
  • 代码不重复度:受访企业研发团队2023年代码不重复度的中位值为88%。对于项目代码中重复或相似的逻辑,建议研发团队将其抽象成函数或者可以公用的基类,以增加代码的可读性和可维护性。
    图片

3.3 交付能力

本报告采用部署频率、变更前置时间、服务恢复时间以及变更失败率共四项指标来衡量受访企业研发团队的交付能力。

指标定义及等级说明摘自Google Cloud《加速:2022年DevOps 现状报告》其中,部署频率和变更前置时间度量了研发团队持续交付的吞吐量水平,而变更失败率和服务恢复时间反映了研发团队持续交付的稳定性。

从数据上看,超过60%的受访企业在服务恢复时间及变更失败率方面的能力较高(处于高级区间);同时,接近四分之一的受访企业在部署频率和变更前置时间方面的能力较低(处于低级区间)。开发过程稳定性、代码贡献均衡度、注释覆盖度、重点问题密度、缺陷修复工作量、交付能力整体水平等基准数据,欢迎大家关注“思码逸研发效能”公众号,回复“基准报告”,免费下载~

立刻下载

综合分析

在统计基准数据和高效能团队表现的基础上,报告进一步通过交叉分析,探索了流程体系、工具平台和数据度量对研发效能带来的影响。

报告发现:

  • 敏捷开发模式呈现优势:采用敏捷开发模式的研发团队,中位值更高,比其他模式(含混合模式)高9%。敏捷开发方法在快速响应变化、及时交付价值等方面呈现更多优势。敏捷方法强调持续交付、选代开发和灵活性,使团队能够更快速地开发和交付产品功能,适应市场变化和客户需求,助力企业提高市场竞争力。
    图片
  • 外包模式的双刃剑:引入外包的研发团队相比非外包模式团队,代码生产率高12%,同时重点问题密度高25%。外包人员可以根据项目需求进行灵活调配,根据工作量的变化来调整团队规模。这种灵活性使得团队能够更好地适应项目的变化和需求。然而,引入外包人员并不一定总能带来更高的代码生产率和更优的代码质量。团队的合作和协调、项目管理和沟通等仍然是关键影响因素。如何在资源灵活配置的同时保证质量水平,值得技术管理者关注。
    图片
  • 自动化工具助力效能提升:调研数据表明,应用自动化测试工具是实现质量保证左移的一种有效方式,有助于在持续集成中解决代码中的部分重要问题,降低质量风险后置带来的巨大成本。对于未应用自动化测试工具的企业,建议同时考虑单元测试等手段以降低重点问题密度,避免将质量风险延后至测试阶段。
    图片

AI工具助力企业需求交付周期、代码内建质量、度量指标管理研发效能企业人均生产率等数据,欢迎大家关注“思码逸研发效能”公众号,回复“基准报告”,免费下载~

立刻下载

报告先进性

《软件研发效能基准报告》首创性地采用受访企业收集提交客观数据的方式,与主观问卷的方式相结合,较为有效地消除了传统调研中的主观偏差和噪音,为软件行业技术管理者提供了宝贵的第一手参考资料。

编写单位
思码逸
思码逸成立于 2018 年,致力于为企业提供专业的研发效能度量分析平台,提升全行业的软件工程水平,助力研发团队创造更多价值。先后获得了纪源资本、经纬中国、奇绩创坛等头部资本投资。旗下产品 DevInsight 为企业研发团队提供专业的研发效能度量分析平台及配套解决方案。

DevInsight 基于深度代码分析技术,从代码和 DevOps 工具链中提取数据,帮助研发团队快速低成本构建并完善研发效能度量分析平台,通过平台内置的研发效能指标体系、 数据看板,从项目、团队、个人多视角呈现研发效率、软件工程质量、组织与人才发展等多维度的数据洞察,帮助研发管理者获取可靠的数据洞察,驱动团队提效,更高效地交付业务价值。
思码逸团队在软件工程前沿研究领域深耕多年,产品原型论文在国际顶级软件工程会议 FSE2018 上发布。

2021 年,思码逸作为标准起草组成员单位,参与编写了由中关村智联软件服务业质量创新联盟、中国软件协会过程改进分会发起的《软件研发效能度量规范》。

2022 年,思码逸原创的研发产出度量指标“代码当量”,被纳入信通院开源生态检测平台使用。同年,思码逸开源了 Apache DevLake 并捐赠给 Apache 软件基金会。该项目现已成为 Riot Games、Bell、Scarf、Bestseller 等知名公司信赖的研发效能开源解决方案。

目前,思码逸已为腾讯、美团、网易、中国平安、泰康集团、宁波银行、中金公司、国泰君安、国金证券、阳光保险、工银瑞信、中国移动、天翼云、联通产互、宝马、保时捷、极氪汽车、喜马拉雅、戴尔EMC、商汤、奇安信、汇川、贝壳等众多行业标杆客户提供服务。

中国信息通信研究院云计算与大数据研究所
中国信息通信研究院云计算与大数据研究所围绕云计算、大数据、人工智能、数据中心以及关联应用领域的开展技术、标准研究,构建相关技术的测试、试验和统计平台,承担相关服务和产品的测试评估工作,承担相关国家重大科技项目、产业化项目,提供相关技术标准的咨询服务。

总主编
任晶磊:思码逸创始人及CEO,清华大学计算机系博士,前微软亚洲研究院研究员;《软件研发效能度量规范》标准核心专家。

特邀专家
张乐:腾讯研发效能资深技术专家,腾讯研究院特约研究员,《软件研发效能权威指南》主编,《研发效能100问》主编。

编写组
关钦杰:思码逸技术咨询总监,研发过程提效专家
张超:思码逸高级咨询顾问陆欣星:思码逸高级咨询顾问
魏俊华:思码逸高级咨询顾问

欢迎大家关注“思码逸研发效能”公众号,回复“基准报告”,免费下载~

立刻下载

专家推荐
报告获得了行业内12+专家的携手推荐,报告腾讯研发效能资深技术专家、QECon大会发起人、同济大学特聘教授、衡石科技创始人、长城汽车云平台质量效能负责人等,让研发效能成就企业高增长引擎。

一份行业调查分析报告,你最看重的是什么?我想可能是:数据客观准确、分析方法科学、结论有理有据、可以指引行动等等。

在软件研发效能领域,这样的报告可以说是凤毛麟角。大多数报告都是使用问卷的调研方式,基于被访者主观预估和手工填写的数据收集和整理而成的,常常会出现一些数据偏差、客观性不足的问题。

但你现在看到的这份报告是一种新的尝试,我认为也是一种新的突破,实现了以企业客观数据为主体,辅以主观调研的调查方式,结合专业科学的分析方法,形成了国内首个研发效能基准分析报告。

你可以在报告中获得关于研发交付速率、交付质量、交付能力等多个维度的行业效能客观数据及基线的具体数值,更可以参考报告中挖掘出的高效能研发团队的共性特征,在充分理解自身场景和瓶颈的情况下推进一系列改进尝试。

强烈推荐你仔细阅读一下这份高水平的报告,应该可以提升你对于行业研发效能客观现状及发展趋势的理解,助力你更好的做出效能提升的思考和决策。
——张乐 腾讯研发效能资深技术专家 、《软件研发效能权威指南》主编、《研发效能100问》主编

《DevData 2024研发效能基准报告》亮点在于,以客观数据为基础,采用中位值、IQR和均值等统计方法,深入分析了影响软件研发交付效率、质量和能力的关键因素,为我们呈现了包括需求吞吐量、交付周期、人均生产率等在内的12个核心指标的基准线。

它不仅揭示了高效能研发团队的共性特征,还针对不同管理模式、工具应用对研发效能的影响进行了深入探讨,提出了切实可行的提升建议。

特别值得一提的是,报告对于AI工具在研发过程中的应用给予了重点关注,明确指出了AI在提升需求交付速度和代码内建质量方面的巨大潜力。

这对于推动AI技术在软件研发领域的应用,加速企业数字化转型具有重要意义。总的来说,这是一份集科学性、实用性和前瞻性于一体的报告,对于希望提升软件研发效能的企业和技术管理者来说,是一份不可多得的宝贵资料。

我强烈推荐所有致力于通过技术创新提升研发能力的企业和个人,阅读并借鉴这份报告的深刻见解。
——朱少民 QECon大会发起人、同济大学特聘教授

优秀的工程师是一个普通工程师效能的10x,卓越的工程师甚至能达到100x!”

一直以来,我们都只能通过一些模糊定性的描述来试图表达软件研发在效能上的巨大差异,缺乏精确的度量方法论和指标体系。

这份效能基准报告试图在行业内定义度量研发效能的标准,将为产业同仁提供相对清晰的量化指标,这让我们的研发管理工作可以更客观和诚实。而这些效能测量的工作是仅仅关乎效能吗?

在复杂软件的构造中,大量的隐性成本发生在软件投入使用后,用户的反馈(未必能准确的表达)、功能的演进(必然有不靠谱的设计)、缺陷的修复(往往引入更多缺陷)、性能的优化重构(一定引入更多缺陷)这些动作会长期伴随一个软件在它生命周期中的成长、成熟直到衰亡。这是难以忽视的科技型公司成本结构的重要影响因子,也是这一代软件公司盈利的头号关注对象,研发效能测量就是为了算好研发投入的经济账,我们到底在研发上要投入多少?或者,我们其实真正在研发上投入了多少?

当我们都能够更加专业的看待软件研发的真实难度,更加敬畏的在自己的边界内沉淀标准化产品,更加开放的相互依赖合作,企业软件和服务这个产业的成本结构才有可能得到系统性优化,这才是我们迎来SaaS和软件产业百花齐放的前提。
——刘诚忠 衡石科技创始人

在当前这个数字化飞速发展的时代,企业的研发效能直接关系到其市场响应速度与创新力。如何提升研发效能,如何在保证质量的前提下提高交付速率,这些都是我们面临的关键问题。

《DevData 2024研发效能基准报告》通过客观数据的分析提炼,为我们提供了跨行业的经验分享和实践建议。通过与报告中基线数据的对比,进一步提升团队的数据洞察分析能力。报告从团队规模、研发模式、工具引入等不同维度,为各场景下的研发效能提升提供有效的改进建议。——芦笛 长城汽车云平台质量效能负责人......

欢迎大家关注“思码逸研发效能”公众号,回复“基准报告”,免费下载~

立刻下载


DevStream
1 声望0 粉丝