CMMI五级比三级多带来了哪些价值?

CMMI五级和三级有实质的区别吗?导入CMMI高成熟度除了竞标的加分项以外有实质价值吗?有令人信服的数据分析吗?这是企业经常会问的几个问题。近期发现了一份SEI发的最后一篇CMMI研究报告,这是个历时三年的研究,SEI跟踪了下列6家美国军工企业,比较分析了五级项目和三级项目在进度、成本、质量结果等方面的差异,至少在军工软件领域回答了CMMI五级的价值问题。
下面是SEI发布的六家企业五级和三级数据的比较结果。
1. 进度改进效果

使用的度量指标

改进结果

按时交付率

提升4.9%,从95%提升至99.9%

缺陷发现前移及修复

节省了6.35倍的缺陷发现和修复工作量,相当于5至6.5个月的进度

SPI

从0.78提升至0.93,  提升估算精准度19.2%

2. 返工和成本改进效果

使用的度量指标

改进结果

缺陷修复总工时

缺陷修复工时降低58%,平均每个项目节省190-230万美金的成本

每千行代码发现和修复缺陷工时

下降22%

集成和测试阶段修复严重缺陷工时

平均每个缺陷降低24%

CPI

0.88提升至0.96

软件开发成本

降低28%

很明显,缺陷发现前移是实现这些改进效果的关键。下图显示三级和五级组织不同阶段,单个缺陷修复工时的比较,注意节省最多的是系统测试和验收阶段。
不同阶段对比
下图显示三级和五级组织不同阶段,缺陷修复总工时的比较,节省最多的同样是系统测试和验收阶段。
修复对比
3. 质量改进效果

使用的度量指标

改进结果

严重级别缺陷密度

降低62.5%

芯片设计缺陷密度

降低65%

缺陷植入阶段发现率 (本阶段植入,本阶段发现)

增加240%

缺陷阶段遏制率(defect  phase containment

增加13%

验收测试缺陷密度

< 0.15/KLOC

系统测试前缺陷清除率

> 85%

5级项目在控制缺陷阶段遏制率方面的巨大改进。多年前曾在国内军工企业尝试过用缺陷阶段遏制率作为抓手,推动高成熟度的落地,其中一家近期通过了5000B四级。他们把缺陷阶段遏制率作为量化管理的核心指标,在质量控制方面取得了一些效果。
4. 生产率改进效果

使用的度量指标

改进结果

生产率的提升

提升范围:25.2%  42%

5. 客户满意度改进效果

使用的度量指标

改进结果

竞标胜出项目金额

增加50%

为客户节省成本

25%

下图显示不同CMMI不同级别对项目合同额的影响。

合同影响
6. 改进ROI效果
结合SEI之前的研究结果,美国军工CMMI改进的ROI范围在1.7:1到27.7:1之间,确实令人刮目相看。
国内CMMI和5000圈子对导入高成熟度改进性价比一直有许多争议,由于缺少有说服力的数据分析,很难达成共识。最近有六家军工组织通过了5000 B四级评估(SEI这份报告也是基于6家军工企业的跟踪研究),也许新时代也可以花2到3年的时间,结合中国国情,设计规划好指标和比较方法,用实实在在的数据验证5000高成熟度的价值。这对后续5000B的改进方向,统一大家的认识都会有重要的正面影响。