WIL stopt met DPS Matrix

2022-06-25 Styloblog

Argeloze sociale dienst schrikt van Argos

Dit bericht maakt deel uit van het dossier Algo: go.stylo.nl/algo

over het gebruik van algoritmes door WIL e.a. - Zie ook: 

Beleidsplan Handhaving 2022 van WIL met samenvatting op trefwoord  DPS'; Styloblog 1-7-22 met antwoorden van VNG, WIL en gemeente Houten; links naar uitzending Argos en achtergrondinformatie over DPS etc. 

De fracties van D66 en PvdA in de gemeenteraad van Houten hebben op 11 juli 2022 schriftelijke vragen gesteld over de DPS Matrix van WIL. Zie hier. 

Argeloze sociale dienst schrikt van Argos

Kamerlid Pieter Omtzigt wil de regering om een onderzoek vragen naar de vraag waarom de gemeenten Houten, Nieuwegein, IJsselstein, Lopik tot deze week nog steeds gebruik maakten van verboden profilering en welke gevolgen dat heeft gehad voor mensen die bijstand aanvroegen. Dat zei hij in de uitzending van het radioprogramma Argos van zaterdag 25 juni. Advocaat Bernhard de Leest zei in dezelfde uitzending dat de Autoriteit Persoonsgegevens (AP) onderzoek kan doen en boetes uitdelen aan de vier gemeenten. Bijstandtrekkers zouden via collectieve actie compensatie kunnen eisen.

Werk en Inkomen Lekstroom (WIL), de sociale dienst van Houten, Nieuwegein, Lopik en IJsselstein, gebruikte tot voor kort een omstreden systeem van risicoprofilering van mensen die bijstand aanvroegen. Dit blijkt uit onderzoek van journalistencollectief Lighthouse Report, Argos en NRC. Zij deden een beroep op de Wet openbaarheid bestuur (Wob). Argos (Vpro/Human, NPO Radio 1, 14:00-15:00 uur) en NRC hebben er zaterdag 25 juni een uitzending en artikel aan gewijd. De vier gemeenten profileerden hun 'bijstandsvolume' op basis van een eenvoudig Excel-bestand met fraudescores. Dit systeem heet DPS Matrix (Diagnose, Plannen, Sturen). Mensen met een 'hoog regelovertredingsrisico' (HOR) doorliepen bij hun bijstandsaanvraag een langere procedure met meer in te leveren documenten dan mensen met een 'lage regelovertredingsrisico' (LOR). De scores zijn terug te vinden in één bestandje. Mensen in woonwagens, schoonmaakbedrijven, kappers, glazenwassers, bouwvakkers en horecapersoneel maakten een extra hoge kans om gecontroleerd te worden, aldus de NRC. 

De zogenoemde 'fraudescorekaart' is rond 2003 ontwikkeld met subsidie van het ministerie van Sociale Zaken. Er is geen wetenschappelijke basis te vinden voor de voorspellingen van het systeem. Dat er in bepaalde groepen meer gefraudeerd zou worden dan in andere, werd onderbouwd met verouderde data. Sinds 2012 werd het systeem niet meer onderhouden. Het werd door 158 gemeenten gebruikt, maar na de toeslagenaffaire en waarschuwingen van verschillende kanten werd in 2020 de stekker er uit getrokken. In de uitzending van Argos wordt de opkomst en ondergang van het systeem geschetst. Volgens het UWV was het systeem in strijd met de AVG, ontbrak de rechtsgrond, was niets vastgelegd over de werking van de algoritmes (geen "algorithmic accountability") en kende het systeem discutabele variabelen, zoals opleiding, beroep, woonsitutaie en woonwijk. Argos noemt het een "bijstandsfraudebingo". 

Desondanks bleven de vier Lekstroom-gemeenten werken met een van de fraudescorekaart afgeleide commerciële 'standalone' versie, de DPS Matrix. Volgens Wim Roelofs, de ontwikkelaar van het oorspronkelijke systeem, kan dat echt niet. Het systeem is nooit "gevalideerd" - op waarheid getest - en de wegingen zijn niet of nauwelijks aangepast aan daadwerkelijke resultaten. Dat betekent dat bijstandsaanvragen door Werk en Inkomen Lekstroom werden gewogen op basis van risicoprofielen van twintig jaar oud. 

WIL stopt ermee
Naar aanleiding van de "doorwrochte" vragen van Argos is WIL onmiddellijk gestopt met het systeem. In een verklaring laat WIL weten: "Bij het in gebruik nemen van de DPS Matrix vertrouwden wij op de betrouwbaarheid van het rekenmodel erachter. Duidelijk is nu, mede dankzij de doorwrochte vraagstelling van Argos, dat de matrix niet met enige regelmaat gevalideerd is. Daar zijn we ons eerder niet van bewust geweest. WIL is inmiddels gestopt met het gebruik van de DPS Matrix en we gaan op zoek naar een ander instrument dat voldoet aan de landelijke richtlijnen op het gebied van gebruik van algoritmen." 

WIL benadrukt dat de DPS Matrix nooit heeft bepaald of iemand wel of niet een uitkering kreeg. Het was een hulpmiddel bij het bepalen wie de reguliere en wie een verkorte route doorliep. De afgelopen jaren werd voor circa 80% de korte en voor 20% de "reguliere" langere route - met meer documenten en controles - gevolgd. 

Beleidsplan 'In vertrouwen handhaven'

In het NRC-artikel is te lezen: "Door het Wob-verzoek kwamen documenten vrij waaruit blijkt dat DPS Matrix in 2022 nog werkte bij Werk en Inkomen Lekstroom". Dat is zo, maar het was ook uitgebreid en openlijk te lezen in WIL's beleidsplan Handhaving 2022 'In vertrouwen handhaven' (februari 2022), dat gepubliceerd is in de kennisbank van de VNG en bekend is bij de raadsleden, maar waar kennelijk iedereen overheen heeft gelezen.

In het beleidsplan (p8) is te lezen dat het systeem DPS Matrix wordt gebruikt voor preventie aan de poort, waar de uitkering wordt aangevraagd. "Aan de hand van een door medewerkers ingevulde vragenlijst volgt een profiel. Daarmee beoordelen wij de kans op regelovertreding. Wij maken onderscheid tussen een hoge kans op regelovertreding of een lage kans op regelovertreding. Dit betekent meer controle in situaties waar het nodig is. En minder controle in situaties waar de kans op onrechtmatigheden gering is."  

Volgens het beleidsplan (p11, 18) zijn de visie en de huidige methode van risicosturing, de DPS Matrix, goed doordacht en hebben hun nut bewezen. "Deze visie en methode blijft WIL hanteren."

Ook stelt het beleidsplan (p11-12): "WIL maakt verder geen gebruik van algoritmen. Dat is nu niet mogelijk en WIL heeft ook geen plannen in deze richting." 

Wat WIL daarmee bedoelt, is mij niet helemaal duidelijk. Maakt WIL helemáál geen gebruik meer van algoritmes of geen andere algoritmes dan die in de DPS Matrix. Vrijdag 24 juni heb ik WIL gevraagd waarin de 'risicoberekeningen' van dit systeem zich onderscheiden van 'algoritmes'. (Antwoord toegezegd.)

Eerder al, in eind 2019, is WIL gestopt met het in nauwe samenwerking met WIL zelf ontwikkelde systeem van Totta Data Lab in Amsterdam. WIL leverde periodiek een dump van alle gegevens van alle bijstandontvangers aan dit Amsterdamse marketingbedrijf, dat met behulp van een zelflerend algoritme voor iedereen de fraudekans bepaalde. Nadat het FNV met een gang naar de rechter dreigde en TNO-onderzoek aantoonde dat het systeem niet deugde, omdat het oncontroleerbaar en onbetrouwbaar was (verschillende uitkomsten bij dezelfde gegevens) stopte vorig jaar als laatste de gemeente Nissewaard (Spijkenisse) met dit Totta-systeem. 

Een jaar geleden heeft het college van B&W van Houten op schriftelijke vragen van raadslid Jaap Staman (D66) geantwoord: "Het Dagelijks Bestuur van WIL heeft het besluit genomen dat niet meer gewerkt wordt met algoritmes" Het College voegde daar aan toe: "Later dit jaar wordt het nieuwe handhavingsplan voor WIL vastgesteld. De verwachting is dat hier aandacht zal zijn voor de wenselijkheid van gebruik van algoritmes. Op dit moment is de verwachting van het gebruik van algoritmes als onwenselijk wordt beoordeeld". 

---

Zie ook: 

Beleidsplan Handhavng 2022 (samenvatting op trefwoord DPS)

Links naar de uitzending en achtergrondinformatie over DPS Matrix etc.

Dossier Algo (gebruik van algoritmes door WIL e.a.): go.stylo.nl/algo