De inhoudsopgave van het boek

VOORWOORDSmarTEST deel 1

TEN GELEIDE

De relevantie van testen
IT-kwaliteit in Nederland: 20 jaar stilstand?
Kwaliteit kun je er niet in testen
Bent u een goede opdrachtgever?
Testen maakt echt verschil!
Waarom SmarTEST?
SmarTEST in het (wetenschappelijk) onderwijs
Voor wie is dit boek bedoeld?
Dankwoord

LEESWIJZER
Over de drie delen
De website
Andere literatuur
De verschillen met de eerste druk

DEEL 1: HET WAT & WAAROM VAN TESTEN

1. GOED OPDRACHTGEVERSCHAP EN IT GOVERNANCE

1.1 Gezocht: Grip en Inzicht
1.2 Bedrijfsdoelen als vertrekpunt
1.3 IT doet ertoe!
1.4 IT onder architectuur
1.5 Business case en requirements
1.6 Wet- en regelgeving, compliance
1.7 Testen in samenhang met andere disciplines

         Initiatie: Van idee naar plan
         Definitie: Requirements-definitie en business-architectuur
         Ontwerp: IT-architectuur en high-level ontwerp
         Realisatie: Bouw en programmering
         Controle: Systeem- en acceptatietesten
         Exploitatie: Beheer en performance management
         Coördinatie: Projectmanagement

2. SUCCES IS MEER DAN EEN MOOI SYSTEEM

2.1 Risicobeheersing op basis van requirements
2.2 Productrisico's versus projectrisico's
2.3 Niet alleen een systeem, ook processen en informatie
2.4 Integraal beheer van requirements en acceptatiecriteria
2.5 Succes = Kwaliteit x Acceptatie
2.6 Voorkomen én genezen
2.7 Is een zesje genoeg?

3. SYSTEEM-, DATA- EN PROCESKWALITEIT

3.1 De scope van SmarTEST
3.2 Waarom kwaliteitsmodellen?
3.3 Het IPS-referentiemodel voor productkwaliteit
3.4 Systeemkwaliteit en het ISO 9126 model
3.5 Informatiekwaliteit en het IDQ-model
3.6 Proceskwaliteit en het POQ-model
3.7 Modellen op maat, voor testers én ontwikkelaars
3.8 Tot slot van dit hoofdstuk en van deel 1

DEEL 2: GRIP OP TESTEN

4. TESTAANPAKKEN: EEN VERGELIJKENDE INVENTARISATIE

4.1 Hoe ziet een goede testaanpak eruit?
4.2 De beste testaanpak?
4.3 Testen en moderne systeemontwikkeling
4.4 SmarTEST
4.5 TMap
4.6 TestFrame
4.7 ISTQB

5. HET SMARTEST PROCES

5.1 Procesmodel
5.2 Testactiviteiten
5.3 Fasering
5.4 Testproducten
         (Master) Test Plan
         PRIMA-matrix
         Reviewrapporten
         Lijst van acceptatiecriteria
         Testspecificaties
         Bevindingen
         Vrijgavekaart
         Eindrapport met advies
5.5 Organisatie, Testbeleid en Infrastructuur
         Organisatie
         Testbeleid
         Infrastructuur

6. TESTSOORTEN EN HET W-MODEL, BIJZONDERE TESTEN

6.1 Testsoorten
6.2 Van V-model naar W-model
6.3 Testen in beheer
6.4 Continu testen
6.5 De operationele test, schaduwdraaien
6.6 Operationele monitoring
6.7 Testen van standaard-software
6.8 Ketentesten

7. BEGROTEN EN PLANNEN VAN TESTEN

7.1 Testbegroting
7.2 Teststrategie en het kiezen van testsoorten
7.3 Het testplan
7.4 Slim testen in PRINCE2-projecten

8. TESTCOMPETENTIES EN TESTROLLEN

8.1 Is testen een vak apart?
8.2 Het competentievierkant
         Testvakkennis
         Domeinkennis
         IT-kennis
         Softskills: prettig en stevig
8.3 Gebruikersinbreng via het testproces
8.4 Testrollen, testfuncties en carriërepaden
8.5 People issues en cultuur

9. TESTORGANISATIE EN UITBESTEDING

9.1 Overwegingen bij de organisatie van het testproces
9.2 Testorganisatie in de lijn
9.3 Testorganisatie in projecten
9.4 Professional Test Services en Managed Test Services
9.5 Uitbesteding, outsourcing en smartsourcing
9.6 Het factory-model
         Als testen routine wordt...
         De slimme test factory
         Werken in een factory-setting

10. TEST PROCESS ASSESSMENT EN -VERBETERING

10.1 Over ambitie en pragmatisme
10.2 TPI, TMMi en TPS
10.3 Tot slot van dit hoofdstuk en van deel 2

DEEL 3: VAKKUNDIG TESTEN

11. INTAKE, REVIEW EN INSPECTIE

11.1 Toetsen en statisch testen
11.2 Inspecties, Reviews en Walkthroughs
11.3 Fagan Inspectie
11.4 Individuele reviewtechnieken: SmartReview, SQ3R

12. RISICOANALYSE

12.1 Geen risico, geen test
12.2 Belang en faalkans bepalen het risico
12.3 Wanneer een risicoanalyse?
12.4 Decompositie van het testobject
12.5 Eendimensionale risicoanalyse: de TRA-methode
12.6 Tweedimensionale risicoanalyse: de PRIMA-methode
12.7 Het PRIMA-stappenplan
12.8 Hoe verder? De gewetensfunctie van de productrisicomatrix

13. REQUIREMENTS EN ACCEPTATIECRITERIA

13.1 Stakeholders en acceptanten
13.2 Van requirements naar acceptatiecriteria
13.3 SMART formuleren van requirements en acceptatiecriteria
13.4 Acceptatiecriteria als de spil van het testproces

14. TESTSPECIFICATIES

14.1 Testspecificaties: eerst denken, dan doen
14.2 Testontwerptechnieken en dekkingsgraad
         Software-gebaseerde of white-box technieken
         Op de specificaties gebaseerde of black-box testtechnieken
         Op ervaring en vuistregels (heuristics) gebaseerde technieken
14.3 Testgevallen: logisch en fysiek
14.4 De betrekkelijkheid van testgevallen
         Projectomstandigheden zijn nooit ideaal
         Testgevallen zijn nooit 100 procent dekkend
         De onderhoudsparadox: reviewbaarheid en onderhoudbaarheid
14.5 Compacte en reviewbare testware met testscenario's
         Onderscheid tussen WAT en HOE
         Reviewbare eenheden
         Er is een relatie tussen (sub)onderdelen uit de PRIMA-matrix en testscenario's
         ‘Testscripts' voor geautomatiseerd testen zijn optioneel
14.6 De inhoud van een testscenario
14.7 SmarTEST terminologie vergeleken met TMap, ISTQB en TestFrame
         SmarTEST neemt acceptatiecriteria als expliciet vertrekpunt
         Testdoelen, testcondities, testsituaties en ‘test ideas'
         Over vlaggen, ladingen, beestjes en naampjes
         Clustering van testscenario's
         Geen rigide model
14.8 Testspecificatietips uit de praktijk

15. TESTUITVOERING

15.1 Stappenplan testuitvoering
         Stappenplan
         Smoketest
15.2 Exploratief Testen
         Testontwerp en -uitvoering gecombineerd
         Supertesters of slimme gebruikers?
15.3 Wanneer stoppen met testen - het Cornettodiagram

16. BEVINDINGENBEHEER

16.1 Het belang van bevindingenbeheer
16.2 Statusverloop
16.3 De rollen
16.4 Het loketmodel en het monitormodel
16.5 Het bevindingenoverleg
16.6 Attributen in de bevindingendatabase: niet te veel
         Impact voor de business (gewicht, ernst, severity)
         Prioriteit
         Onderdeel (categorie)
16.7 Bevindingenbeheertools, SmarTRACK
16.8 Root cause analyse en statistische analyse
16.9 Bevindingenbeheertips uit de praktijk

17. RAPPORTAGE EN ADVIES

17.1 De vier pijlers voor transparant rapporteren
17.2 Rapportage per acceptatiecriterium
17.3 De Vrijgavekaart
17.4 Metrics en het Trendoverzicht Bevindingen
17.5 Het Testrapport
17.6 Vrijgavecriteria en vrijgaveadvies

18. GEAUTOMATISEERD TESTEN

18.1 Slapend testen?
18.2 De top 3 in betaalde en open-source tools.
18.3 Een softwareproject erbij!
18.4 Testen met actiewoorden
18.5 Wanneer wordt geautomatiseerd functioneel testen rendabel?
18.6 Geautomatiseerd performance-, load- en stresstesten
18.7 Waar tools nog meer kunnen helpen
18.8 Voorkom ‘shelfware': selectie en implementatie van test tools
18.9 Management commitment
18.10 Samenvattend

19. TESTEN VAN DATAKWALITEIT


19.1 Het belang van datakwaliteit
19.2 Data, metadata en informatie
19.3 Testen van datakwaliteit
19.4 Total Data Quality Management
19.5 De kracht van Data Profiling
19.6 Tools voor Data Profiling

20. TESTEN VAN PROCES- EN ORGANISATIEKWALITEIT

20.1 Procesvalidatie
20.2 EDP- en IT-auditing
20.3 Waarom auditors en testers elkaar vaker tegenkomen
20.4 Handvatten voor testers
20.5 Tot slot van dit hoofdstuk, van deel 3 en van dit boek

BIJLAGE A: HET ISO 9126 MODEL VOOR SOFTWAREKWALITEIT: DEFINITIES

BIJLAGE B: VOORBEELDEN VAN KWALITEITSKENMERKEN MET ACCEPTATIECRITERIA

BIJLAGE C: ‘REQUIREMENTS VOOR REQUIREMENTS', MET ENKELE VOORBEELDEN

BIJLAGE D: REQUIREMENTS ENGINEERING, REQUIRESMART®

BIJLAGE E: WERKINSTRUCTIE ‘RISICOANALYSE MET DE PRIMA-MATRIX'

BIJLAGE F: VOORBEELD TESTSCENARIO MET TESTGEVALLEN

BIJLAGE G: VOORBEELD TESTSCENARIO ZONDER TESTGEVALLEN

LITERATUUR

 

 

 

De index van het boek

A
aandeelhouderswaarde 25
acceptanten 33, 37, 38, 46, 81, 84, 98, 143, ...
acceptatiecriteria 34-38, 56, 57, 63, 84, ...
accountants 150
accountantscontrole 231
actiewoorden 212
adaptief testen 96
aggregatieanalyse 226
agile 56, 179
alfatest 96
algemene Teststrategie 74
Anteater 210
applicatie-integratie 85
auditing 150, 231
audit trail 194
Auto-IT3 210

B
Basel II 29
bedrijfsdoelstellingen 25, 26, 56
bedrijfseisen 37, 143
bedrijfsprocessen 25, 34, 86, 229, 243
bedrijfsstandaarden 136
behandelaar 186, 189
behandelcoördinator 186
behandeling status 186
beheer 82
beheerder 189
beheer-integratie 85
beschikbaarheid 26
beslispunten 160
beslissingstabeltesten 160
bestandseigenschappen 220
bèta-test 96
betrouwbaarheid 26, 42
beveiligingslekken 84
bevindingen- 183
-administratie 73
-beheer 183
-beheertools 194
-flow 185
-overleg 187
-score 207
BIV 42
black-box testtechnieken 160
boardroom 111
boomstructuur 173
briefing 179, 180
browser-compatibiliteit 198
bug trackers 194
Bugzilla 195
Business Balanced Scorecard 73
business case 27, 30, 251
Business Continuity Management 232
business-IT alignment 23
Business Objects 227
Business Process Analyse 143
business rules 226
business-scenario's 230
Business Study 55

C
Capability Maturity Model 127
capture/playback 209
carrière 111
carrièrepaden 74
CARS 210
CASRE 196
categorie 192
centrale testafdeling 114
change management 83
Change Request 83
checklist 135
CISA 231
ClearQuest 195
clustering 155, 172
clusterkaarten 157
CMG:Cast 59
CMMi 73
CobiT 232
codeanalyse 214
code walkthrough 134
collegiale toetsing 133
commitment 136
competentievierkant 106
compliance 23, 29
componentintegratie 85
componenttesten 95
conformance 235
Continu Testen 84
Cornettodiagram 181
corporate data 219
Corporate Governance 23
COSO-managementmodel 232
COTS 88
CRUD-matrixtest 161
CTAL 62
cyclische ontwikkelmethoden 36, 80
cyclomatische complexiteit 214

D
dashboard 202
dashboardachtig overzicht 73
data-integratie 225
datakwaliteit 43, 219
Data Profiling 224
Datawarehouses 221
DBMS 226
decharge 87, 205
Defect Detection Rate 203
defect trackers 194
defect trend 202
dekkingsgraad 159
Deming 222
Detail Test Plan 100
documentinspectie 135
domeincontrole 225
domeinkennis 106
drijfveren 116
DSDM 55, 82, 98
DTP 69
dynamisch testen 131

E
earned value 202
EDP-auditing 231
efficiëntie 42, 116
EFQM 231
eindrapport 73, 205
end-to-end 89
Enterprise Architecture 30
Enterprise Service Bus 26
entry-criteria 70
entry-test 178
ERP 89
Error guessing 162
ETL 223
Excel-draaitabellen 227
expert review 133
exploitatietest 82, 84, 96, 162
Extreme Programming 56

F
faalkans 142
Fagan/Gilb Inspection 132
Fagan Inspectie 132, 135
fall-backprocedures 86
faseloos testen 84
faseringsmodel 54, 67
FAT 96
Feasibility Study 55
fijnmazigheid 159
fit-for-purpose 221
fitness for purpose 37
formalisme 15
formele toetsing 133
foutafhandeling 211
fout-paden 174
functionaliteit 42
functioneel beheer 31, 83
functionele systeemtest 95
FURPS 42
fysieke testgevallen 157, 163

G
GAT 96
geaccepteerd status 186
gebruikersparticipatie 108
gecombineerde test 96
gegevenscyclustest 161
Generieke Test Afspraken 74
Generieke Teststrategie 74
gesloten status 186
gewetensfunctie 148
goed opdrachtgeverschap 23
goed-paden 174
graceful degradation 213
grenswaardeanalyse 160
Grinder 213
groepsreview 133
GTA 74
GUI-test 96

H
helpdesk 150
herhaalbaarheid 165
hersteld status 186
hertest status 186
heuristics 162, 180
hoofdtestsoorten 77

I
IAD 55
IAF 26
ICT-eisen 26, 28
IDQ-model 42, 43
imago 25
impact 191, 192
Impactanalyse 83
implementatietest 87
increment 54
Informatie Analyse 143
informatiecatalogus 220
informatiemanagers 149
informatiesystemen 24
INK-managementmodel 231
in-sourcing 120
inspectie 132
inspectiebijeenkomst 132
inspectiquette 138
intake 69
intaketest 178
integratietest 31, 85, 95
IPS-model 35, 41
ISEB 60
ISO 9126 42
issue trackers 194
ISTQB 52, 60, 127, 171
IT-auditing 231
IT-Governance 120, 235
IT-infrastructuur 25
IT-managers 17
IT-projecten 35

J
JFunc 210
JIRA 195
JMeter 213
joint requirements workshops 54
JUnit 210
just enough process 118
JuVoTA 43

K
kentallen 196
kerncompetenties 25
ketenpartner 89
ketentest 13, 89, 96, 230
ketentestscenario's 90
klantfocus 25
knijpveermodel 80
kolomanalyse 225
kosten- 91
-besparing 121
-optimum 39
kreukelzone 51
kwaliteitsborging 102
kwaliteitseigenschappen 145
kwaliteitsoordeel 15, 154
kwaliteitszorg 38, 102

L
legacy 89
lineaire aanpak 78
link checkers 215
Loadrunner 213
loadtesten 213
localiseerbaarheid 43
logische testgevallen 157, 163
loketmodel 189
loopbaanroutes 111

M
Magic Quadrant 227
Managed Services 120
Managed Test Services 118, 119
managementinformatie 203
Mantis 195
Master Test Plan 66, 100
mensgericht testen 184
metadata 44, 220, 224
metrics 196, 203
migraties 219
missie 25, 70
Model Based Testing 16, 214
moderator 136
moduletesten 31
monitormodel 189
MOSCOW 155
MTP 100
Murphy 162

N
near-shoring 120
negatieve testen 173
netwerkstructuur 173
NORA 26
nulmeting 123

O
objectmodellen 69
off-shoring 120
onafhankelijkheid 116
onderhoudbaarheid 42
onderhoudsparadox 165
ontwikkelaar 186
onvoorwaardelijke vrijgave 206
opdrachtgeverschap 14
opdrachtspecificatie 30
open-source 27, 195, 210
Operational Auditing 231
Operationele Acceptatie Test 96
operationele monitoring 90
operationele pilot 87, 96, 230
operationele test 86, 87
opleiding 74
OTAP 75
outsourcing 120
Overall Test Plan 100
overdraagbaarheid 165
overnames 219
overzetbaarheid 42

P
parallelliteit in het testproces 65
partnership in testen 119
PAT 87, 96
peer review 133
people issues 112
performance- 31
-management 31
-test 31, 96, 213, 213
Performance Validation Services 213
permanente testorganisatie 114
Perspective Based Reading 139
pesticide-paradox 61, 83
Plan-Do-Check-Act 222
planning 117
POQ-model 42, 44, 235
post-implementatietest 87
pragmatische aanpak 15
pragmatische benadering 125
PRA-productrisicoanalyse 54
Preferred Supplier 118
PRIMA-matrix 72, 193
PRIMA-risicomatrix 66
PRINCE2 27, 66, 101, 103
prioriteit 72, 155, 191, 193
procesanalyse 45
procesdocumentatie 173
proceskwaliteit 44
procesmoderator 135
procesverbetering 133, 136
Productie Acceptatie Test 82, 87
productie-implementatietest 87
productie-like 96
productrisico 33
Product Risico Matrix 145
Professional Test Services 118, 119
programmatest 95
programmeur 186
progressietest 174
projectbesturing 14
projectborging 102
Project Control 102
Projectmanagement 31
projectondersteuning 102
Project Risico Logboek 103
projectrisico's 33, 34, 103
Project Support 102
Proof of Concept 88, 195, 216
prototyping 54

Q
QA-aanpak 103
QA Director 210
QALoad 213
QARun 210
Quality Assurance 102
Quality Control 102
Quality Management System QMS 103
quality-to-market 60
quick scan 126
Quick Test Pro 59, 210, 211

R
radardiagram in TPS 127
raming 91
RAS 42
record/replay tools 209
regressietest 83, 87, 96, 174
reproduceerbaarheid 158, 187, 191
requirements 30, 33
Requirements engineering 151
requirementssandwich 254
REQUIRESmart 253
return on investment 27
review- 133
-houding 133
-opdracht 137
-rapporten 72
risicoanalyse 30, 46, 66, 72, 141
risicobeheersing 33, 56
risicogebaseerd testen 54, 141
risicogedreven 56
risicomanagement 33
root cause analysis 196
RUP 55, 65, 82, 98
RUP whalechart 65

S
sanity check 178
schaalbaarheid 43
schade 13
schaduwdraaien 86, 87
schaduwomgeving 87
SDM 78
second opinion 134
Security Auditing of Forensic Auditing 231
security-auditors 231
security-classifi catie 220
security offi cer 150
semantische analyse 226
SEPA 28
servicecatalogus 114
Service Level Agreements 74
shelfware 215
showstopper 192, 207
SLOC 214
SMART 56, 57, 152
SmarTEST 171
SmarTEST-procesmodel 63
SmartReview 137, 138
smartsourcing 120
SMERFS 196
Smoketest 177
snelleestechnieken 137
SOA-testen 107
softskills 106, 108
softwarekwaliteit 42
SOx 29, 233
SQ3R-methode 138
stabiliteit 26
stakeholders 57, 142, 149
statements 160
statisch testen 131, 174
status 192
strategic slicing 72
strategische doelen 25
stresstest 96, 213
structured walkthrough 134
structuuranalyse 225
stuurgroep 23
supertester (rol) 189
supplier-management 14
systeemdocumentatie 173
systeemintegratietest 89, 95
systeemkwaliteit 42
systeemontwikkeling 15

T
Tabaksblatt 29
TDQM 222
technical review 133
templates 162
testbasis 164, 169
testbegroting 91
testbeleid 94
testclusters 157
Testcompetentievierkant 106
TestComplete 210
testcondities 157, 172
testcoördinator 189, 190
testdata 59, 89, 164
Test Director 195
testdoelen 169, 172
Test Effort Estimation 92
tester (rol) 189
test factory 123
TestFrame 52, 59, 171
TestGoal 52
test harness 215
test idea list 172
testimplementatie 163
test levels 77
testmanager 38, 87, 99, 106, 116, 146, 147, ...
Test Maturity Model 126
testmissie 168, 169, 178, 180
TestNet 18, 53
testobject decompositie 143
testontwerp 70
testontwerptechnieken 158
TestPartner 210
testplan 99
test policy 74
testprocedures 157
Test Process Improvement 126
Test Process Scorecard 126
test progress trend 202
Test Punt Analyse 92
testrapport 67, 205
testrecord 170
testscenario 72, 157
testscripts 157, 168
testsituaties 157, 172
testsoorten 77, 95
testspecificatie 70, 72, 157
teststrategie 69, 94
test tools 215
testuitvoering 177
Test Volwassenheids Matrix 126
testware 157
time boxing 54, 67
time-to-market 60
TMap 52, 58, 171
TMap Next 58
TMMi 126, 127
TOAD 215
toetsen 131
toezichthouders 149
TOGAF 26, 254
TPI 126
TPS 126
TRA 144
transparantie 57, 153
Trendoverzicht Bevindingen 196, 203
Trillium 227
TTCN3 16
tunnelvisie 106

U
uitbesteding 120
uitgangssituatie 170
unittest 95
universiteiten 16
usability test 96
use cases 69
UTBM 93

V
Validate Build Stability 178
validatie 14, 78
verificatie 14, 78
V-model 54, 78
Volere aanpak 151
voortschrijdend inzicht 36, 46, 97, 99, 101, 261
Voorwaardelijke vrijgave 206
vrijgaveadvies 115
vrijgavecriteria 200, 207
vrijgavekaart 73, 194, 202
Vuistregels 180

W
waardeketen 26
Walkthrough 134
watervalmethode 54, 78
watervaltijdperk 57
WBP 28
website 20
wensen 198
white box-technieken 160
white box-testen 174
wijzigingenbeheer 83
Winrunner 59, 210
W-model 81, 82
workflow 185

Z
Zachman 26