Kost testen de helft van je projectbudget?

ROI en rendement van testenVolgens gezaghebbende bronnen gaat de helft van het gemiddelde IT projectbudget op aan testen. Zelfs testers reageren hier soms verbaasd op! Toch is dit een onderbouwd en geaccepteerd percentage. Hieronder twee van die gezaghebbende bronnen (of eigenlijk drie).

Gartner

De IT benchmarks van Gartner zijn breed geaccepteerd. 50% testen is een van de ‘key metrics' uit Gartners benchmarks. In (bl. 45) is het als volgt verwoord:

"Gartner's IT Key Metrics indicate that development and unit testing, system testing, defect removal and quality management comprise around 50% of Application Development. This excludes the validation effort of the requirements and design phases".

The Mythical Man Month

Gartner is niet de enige. Fred Brooks' klassieker 'The Mythical Man Month' zegt in 1995 al hetzelfde:

"In examining conventionally scheduled projects, I have found that few allowed one-half of the projected schedule for testing, but that most did indeed spend half of the actual schedule for that purpose."

Die 50% wordt dus zelden vooraf gepland maar als je terugkijkt blijkt het vaak wel de realiteit te zijn.

Ook dit is een gezaghebbende bron. Amazon: 'Few books on software project management have been as influential and timeless as The Mythical Man Month'.

SmarTEST

Voor verdere nuancering en onderbouwing: zie SmarTEST hoofdstuk 7 "Begroten en Plannen van Testen". Daar zie je dat o.a. Martin Pol en TMap eigenlijk hetzelfde zeggen. Als je de ontwikkeltesten er buiten laat kom je uit op ca 30% voor systeem- en acceptatietesten. Maar dat zijn niet alle testen!

 

Een Universeel Test Begrotings Model

Hoofdstuk 7 van het boek gaat uitvoerig in op testbegroting. Daarbij wordt een simpele maar verrassend betrouwbare aanpak gehanteerd, op basis van het volgende model:


 

Gartner: business ziet waarde testen niet

Gartner Research zegt in hun rapport 'Hype Cycle for IT Outsourcing', 2010, het volgende:

"Decreased business "lead times" are driving a strong focus on shrinking lead times for new developments, from design to production, inclusive of applications. With 25% (best case) to 50% (worst case) of the AD life cycle in testing, shrinking that is becoming an obvious "low-hanging fruit" for IT and the business

(Gartner's IT Key Metrics indicate that development and unit testing, system testing, defect removal and quality management comprise around 50% of AD. This excludes the validation effort of the requirements and design phases).

However, most business organizations still tend to view testing as a technology service which does not add direct value to the business (during a poll at an April 2010 Quality Assurance event only 40% recognized the business value of testing)."

 

Verdubbel de business waarde van testen

Op de Bridging The Gap conferentie van 2014 daagde Egbert Bouman zijn publiek uit om de waarde voor de business minimaal te verdubbelen en gaf hij concrete handvatten.

Download hier de

 

Belangrijk en moeilijk

Tijdig begroten en plannen van testen is belangrijk en moeilijk. Softwareontwikkeling is een relatief jonge discipline die nog niet zo is uitgekristalliseerd als het bouwen van huizen. Of zelfs het aanleggen van palmeilanden voor de kust van Dubai. Alle pogingen tot standaardisatie ten spijt kennen software en systeemontwikkeling nog een grote component van creativiteit en onvoorspelbaarheid.

 ‘The best rule of thumb for estimating software costs is to say it will cost more than anyone ever imagined.'
(Tom Capers Jones, godfather van CMM, het Capability Maturity Model)
Dat raakt natuurlijk ook het testproces, met al zijn afhankelijkheden van de voorafgaande fasen.