Michael Huijbregts, Test Consultant bij Openpeople en gedetacheerd bij TVM, bezocht onlangs de Nederlandse Testdag. Dit evenement, georganiseerd door Nederlandse universiteiten, stond dit jaar in het teken van een urgente vraag: waarom zijn juist testers belangrijk ten tijde van AI? We spraken Michael over zijn belangrijkste inzichten van deze dag.

Michael, wereldwijd staan door AI veel banen op de tocht. Hoe zit dat met testers?

"Wat opvalt is dat AI voor nu vooral developers lijkt te treffen, maar testers nog minder. En daar zijn goede redenen voor. Menselijke testers zijn momenteel gewoon nog steeds beter dan AI-testers. AI heeft namelijk geen ervaring met het systeem dat getest wordt. De ervaringen die we als testers opdoen met een systeem zijn van cruciale waarde om bugs te vinden."

Wat maakt een menselijke tester dan zo waardevol?

"Een goede regressietest is bijvoorbeeld niet zozeer een uitgebreide automatiseringsset waarbij alle vinkjes groen zijn. Het is meer een goede analyse van wat er met de nieuwe oplevering geraakt is en wat voor problemen dat mogelijk oplevert - en dan niet alleen op functioneel vlak. Een goede tester kijkt verder dan alleen de basisvraag 'werkt de software?'. Door zaken proberen stuk te maken, of randgevallen op te zoeken, kom je er pas echt achter hoe sterk de kwaliteit achter de software is."

Je noemde ook dat de scheiding tussen ontwikkelaars en testers belangrijk is. Kun je dat toelichten?

"Absoluut. Ontwikkelaars hebben incentives om goede producten te bouwen, niet om tekortkomingen in het eigen werk te vinden. Dat is immers alleen maar meer werk voor ze. Voor testers is er wel de inherente motivatie om fouten te vinden. Een goede tester experimenteert en houdt een gezonde, kritische afstand tot het bouwen van de software. Dit is een fundamenteel verschil."

Dit is ook een mooi antwoord op die veelvoorkomende intake-vraag: waarom wil je eigenlijk tester worden en geen ontwikkelaar?

Ook het testen van specifiek AI-systemen zelf werd besproken. Wat maakt dat zo lastig?

"Het testen van AI en LLMs is een uitdagend proces. Ten eerste zijn de algoritmes niet te volgen en is de output instabiel. Maar er zijn meer specifieke problemen. Gebruikers blijven bijvoorbeeld prompts herformuleren als het niet het antwoord is wat ze willen zien. De output conformeert zich op geen enkele wijze aan een waarheid. En er wordt veel bullshit gegenereerd, maar de output lijkt waarheidsgetrouw."

Heb je daar een voorbeeld van?

"Zeker. We kregen een interessante opdracht: probeer een AI te vragen om een tabel te maken met in de linkerkolom de cijfers 11 tot en met 20, geschreven in Nederlandse spelling in de rechterkolom, op alfabetische volgorde. Een niet nader te benoemen AI-systeem is hier bijvoorbeeld niet in geslaagd. Zelfs zo'n first-hurdle-test is al een uitdaging voor AI." Daarin is een mens voorlopig echt nog beter dan machine.

Een opvallend onderdeel was de keynote over test automation en het milieu. Vertel daar eens over.

"Dat was inderdaad bijzonder. Zonder dat we het beseffen, verbruiken we met test automation een significante hoeveelheid stroom. Veel van de rekenkracht wordt gebruikt in de cloud. Als we een gemiddelde Java-applicatie automatisch testen volgens een doorsnee hedendaags testplan, verbruikt het datacentrum momenteel bij benadering op jaarbasis evenveel emissies als een enkele reis met het vliegtuig van Schiphol naar Egypte!"

Dat is behoorlijk wat. Wat kunnen we daar dan aan doen?

"Het is geen argument om te stoppen met automatisering, maar we kunnen ons wel een paar vragen stellen. Is het nodig op iedere commit weer een testrun te starten? Is het nodig om alle branches dagelijks te testen? En waar staat mijn datacentrum? Heb ik daar invloed op?"

Maakt de locatie van het datacentrum dan uit?

"Absoluut. Canada en Zweden zijn bijvoorbeeld top vanuit emissie-perspectief. Deze landen wekken veel elektriciteit op uit waterkracht, wat duurzaam is. China is sowieso af te raden, deels vanuit milieu-oogpunt. En als je niet zelf de locatie kan bepalen: overweeg om de testsuite niet in de nacht te draaien. Overdag is er meer zonne-energie beschikbaar en is er dus minder fossiele brandstof nodig."

Michael voegt toe: "Inmiddels is de test automation impact van TVM, waar ik in opdracht zit, al wat lager sinds vorige week. Hopelijk maken we allemaal de wereld net wat duurzamer."

Zou je andere testers aanraden om ook naar de Nederlandse Testdag te gaan?

"Zeker weten. Al met al vond ik het een interessante dag en beveel ik het aan, tenzij je het erg vindt dat een significant deel van het programma wat academischer van aard is. Maar juist die combinatie van praktijk en theorie maakt het waardevol."

Bij Openpeople stimuleren we onze consultants om zich blijvend te ontwikkelen en kennis te delen met de community. Michael's ervaringen bij de Nederlandse Testdag laten zien hoe belangrijk het is om voorop te blijven lopen in ontwikkelingen binnen je vakgebied.

Nieuwsgierig over jouw ontwikkeling?

Wil je meer weten over de ontwikkelingsmogelijkheden bij Openpeople? Neem dan contact op met Aldo

Aldo lufting

• 06 11372170
• [email protected]
• Aldo lufting