Myndigheters användning av AI för kontroll av medborgarna har redan fått förfärande konsekvenser. Nu vill EU:s franska ordförandeskap utöka användningen.
I Nederländerna använde skattemyndigheten en dålig självlärande algoritm för att komma till rätta med bidragsfusk bland barnfamiljer. Resultatet blev katastrofalt.
Tiotusentals oskyldiga familjer drabbades av stora återbetalningskrav, som ödelade deras ekonomier. Människor begick självmord. Tusentals barn togs ifrån sina familjer.
Nu har skattemyndigheten dömts till 3,7 miljoner euro i böter. Regeringen tvingades avgå. Och tiotusentals människor har fått sina liv ödelagda.
Det kan hända igen – Frankrike driver på.
Detta kan vara bra att känna till när EU nu är på väg att sjösätta sin AI Act. Hittills har man varit försiktig vad gäller att använda AI för brottsbekämpning, just på grund av att det ibland kan gå fruktansvärt fel.
Nu flaggar det franska EU-ordförandeskapet för en kursändring som leder till ökad användning av AI bland de rättsvårdande myndigheterna. Speciellt gäller detta polisens användning av biometrisk data.
Vilket i sin tur ligger helt i linje med EU:s långsiktiga ekonomiska stöd till system som samkör bland annat kameraövervakning med ansiktsigenkänning i realtid, övrig biometrisk data, AI-baserad beteendeanalys samt myndigheternas existerande och nya register. Redan för tio år sedan varnades för konsekvenserna av detta.
Inget datasystem är bättre än hur det utformas. Och självlärande AI-system tycks tendera att förvärra ogenomtänkt input över tid.
Som vanligt är det den som är oskyldig som har mest att frukta.
Länkar:
• Dutch scandal serves as a warning for Europe over risks of using algorithms »
• EU: AI Act: Plans to loosen controls on law enforcement use of artificial intelligence »
• Civil society calls on the EU to ban predictive AI systems in policing and criminal justice in the AI Act »
