'Onzichtbare wiskundige wapens bedreigen onze rechtsstaat'

Weapons of Math Destruction, zo noemt Cathy O’Neil slecht ontworpen algoritmen. Wiskundige vernietigingswapens die rechtssystemen kunnen ontwrichten, vaak onbedoeld. De zelfverklaarde ‘mathbabe’ promoveerde in de wiskunde en werkte ooit voor een hedgefonds; nu strijdt ze tegen algoritmisch gecreëerd onrecht. In Utrecht sprak ze onlangs voor een uitverkochte zaal.

Wat is een algoritme?

In O’Neils definitie is een algoritme ‘iets’ dat de toekomst voorspelt op basis van het verleden. ‘Iedereen heeft algoritmen in zijn hoofd. Wat ik voor avondeten zal maken, bepaal ik met een simpel algoritme. Dat analyseert de keukenvoorraad, mijn energieniveau, en het succes van eerdere maaltijden in mijn gezin. Het is subjectief: ik bepaal wat telt als ingrediënt, en kant-en-klare noedels vallen daar bijvoorbeeld niet onder. En ik definieer ‘succes’: een maaltijd is geslaagd als mijn kinderen groenten eten. Mijn zoontje zou eerder de hoeveelheid Nutella in een willekeurige maaltijd als succesmaat hanteren. Maar ik heb de macht, hij niet.’

Het soort algoritmen waar O’Neil haar pijlen op richt, draait niet in menselijke hersenen, maar in computerservers. Gevoerd met Big Data beïnvloeden ze belangrijke beslissingen. De hoogte van rentes over leningen, van verzekeringspremies, en soms zelfs van de strafmaat. En net als haar avondetenformule zitten ze vaak vol waardeoordelen en maken ze selectief gebruik van data, aldus O’Neil.

Welke data doen ertoe?

In sommige staten in de de V.S. worden algoritmen gebruikt om het risico te berekenen dat een crimineel in herhaling zal vallen (wat de strafmaat kan bepalen). Ze worden gevoerd met wijd uiteenlopende, ogenschijnlijk ongerelateerde informatie, over onder andere de buurt waarin de veroordeelde woont en zijn of haar financiële situatie.

Dat zijn vaak indirecte indicaties van klasse en ras, aldus O’Neil. Een analyse wees uit dat het risico-algoritme zwarten inderdaad systematisch als gevaarlijker beoordeelde dan blanken. Het bleek ook nog eens bijzonder slecht in wat het moest doen: recidive voorspellen.

Ontslagen door een slechte formule

O’Neil beschrijft hoe slecht ontworpen algoritmen bepalen welke onderwijzers in Washington ontslagen worden, en sollicitanten selecteren op hun ingeschatte geestelijke gezondheid. Die in cijfers uitgedrukte ‘kwaliteit’ van leraren en werknemers wordt ook vaak berekend met slechte formules en gebrekkige data, aldus O’Neil.

Sturende algoritmen zijn geen exclusief Amerikaans fenomeen. De Nederlandse politie gaat als eerste land ter wereld landelijk algoritmen inzetten om criminaliteit te voorspellen. Ze gebruikt criminaliteitscijfers en ook algemenere demografische gegevens om buurten en tijdstippen aan te wijzen met, bijvoorbeeld, een verhoogd risico op inbraak.

Heterdaadjes

Maar O’Neil waarschuwt dat historische gegevens die dat soort systemen gebruiken vertekend kunnen zijn. Want in wijken waar veel gesurveilleerd wordt, zijn meer ‘heterdaadjes’, wat de criminaliteitscijfers omhoog haalt - ook daar niet meer criminaliteit is.

Daarvoor waarschuwde ook Marc Schuilenburg, criminoloog aan de VU. De kans is klein dat ‘blanke mannen op de Zuidas’ in de ‘digitale glazen bol van de politie’ opduiken, schreef hij. Vermoedelijk worden daar de nodige cocaïne gebruikt en financiële overtredingen begaan, maar dat blijft onder de radar. Terwijl intensievere patrouilles in zogenoemde ‘slechte wijken’ leiden tot meer heterdaadjes, die leiden tot een hogere criminaliteitsscore, waardoor er meer agenten naartoe gestuurd worden, waardoor daar meer heterdaadjes zijn … enzovoort.

Resultaten uit het verleden

Volgens O’Neil zullen slecht ontworpen algoritmen fouten uit het verleden eindeloos herhalen. (Zou jij een algoritme je nieuwe partner laten selecteren, enkel op basis van gegevens over je eerdere partnerkeuzes?) En ze kunnen patronen versterken. Zonder dat we dat doorhebben: weapons of math destruction zijn voor de gemiddelde leek onbegrijpelijk, en bovendien vaak geheim.

De remedie, zegt O’Neil, is dus: openheid afdwingen, als het moet via de wet. ‘Het is tijd voor een internationaal handvest voor digitale mensenrechten’.

Dit artikel is verzorgd door de wetenschapsredactie van De Kennis van Nu (NTR).

NPO Radio 1 houdt je dagelijks op de hoogte over de laatste ontwikkelingen in de wetenschap

Maandag t/m vrijdag rond 16.20 uur in Nieuws en Co