Stel je bent een rechter in de Verenigde Staten en je gaat je uitspreken over de strafmaat van een winkeldief. Het is een routinezaak en normaal gesproken vergt de hele zitting vijf, maximaal tien minuten. Het kan nog korter, want menig rechter gebruikt vandaag de dag een digitale buddy die met een waarschijnlijkheid van 79% een correct vonnis adviseert.
De digitale buddy is een algoritme dat iedere verdachte een risicoscore geeft. Ze kennen namen als de PSA (Public Safety Assessment) en COMPAS (Correctional Offender Management Profiling for Alternative Sanctions). Hun score moet helpen bepalen of verdachten voorlopig kunnen worden vrijgelaten, in afwachting van de verdere behandeling van hun zaak. De werking en het advies van PSA is eenvoudig te herleiden. Het algoritme houdt rekening met negen verschillende factoren, zoals de zwaarte van eerdere veroordelingen, leeftijd, wegblijven op hoorzittingen. Deze worden gewogen en resulteren in twee scores. De makers van het COMPAS-algoritme willen uit commerciële overwegingen niet kwijt hoe hun algoritme werkt (‘beroepsgeheim’).
Het beste algoritme zit er in 21% van de gevallen naast. De geadviseerde strafmaat is te hoog of te laag en de hoop is dan gevestigd op de rechter die het algoritme ‘doorziet’. In de overige 79% adviseert het algoritme weliswaar correct, maar het baseert zich op veelal historische data. En die zijn niet in het voordeel van verdachten ‘met een ander huidkleurtje’. Hoewel de PSA-makers stellen dat ras geen onderdeel uitmaakt van hun algoritme, adviseert hun algoritme volgens critici racistisch. De achterliggende redenering is dezelfde als hoe een zoekmachine voor jou de hoofdstad van Kazachstan vindt. Hij weet het niet, maar statistisch gezien is Astana het meest waarschijnlijke antwoord …
Uit: SOS Geluk 3, Griffo & Van Hamme (1989)
En hoe zou jij je voelen als je wordt beoordeeld door een algoritme waarvan niet te achterhalen is hoe het tot zijn advies of besluit is gekomen? Want er komt een tijd dat een robot zo wat menselijk lijkt en het gros van de mensen nauwelijks het oordeel van het algoritme durft te weerstaan. Want hij wordt beschouwd als de nieuwe Hippo, de highest paid person’s opinion.