Myndigheters användning av AI för kontroll av medborgarna har redan fått förfärande konsekvenser. Nu vill EU:s franska ordförandeskap utöka användningen.
I Nederländerna använde skattemyndigheten en dålig självlärande algoritm för att komma till rätta med bidragsfusk bland barnfamiljer. Resultatet blev katastrofalt.
Tiotusentals oskyldiga familjer drabbades av stora återbetalningskrav, som ödelade deras ekonomier. Människor begick självmord. Tusentals barn togs ifrån sina familjer.
Nu har skattemyndigheten dömts till 3,7 miljoner euro i böter. Regeringen tvingades avgå. Och tiotusentals människor har fått sina liv ödelagda.
Det kan hända igen – Frankrike driver på.
Detta kan vara bra att känna till när EU nu är på väg att sjösätta sin AI Act. Hittills har man varit försiktig vad gäller att använda AI för brottsbekämpning, just på grund av att det ibland kan gå fruktansvärt fel.
Nu flaggar det franska EU-ordförandeskapet för en kursändring som leder till ökad användning av AI bland de rättsvårdande myndigheterna. Speciellt gäller detta polisens användning av biometrisk data.
Vilket i sin tur ligger helt i linje med EU:s långsiktiga ekonomiska stöd till system som samkör bland annat kameraövervakning med ansiktsigenkänning i realtid, övrig biometrisk data, AI-baserad beteendeanalys samt myndigheternas existerande och nya register. Redan för tio år sedan varnades för konsekvenserna av detta.
Inget datasystem är bättre än hur det utformas. Och självlärande AI-system tycks tendera att förvärra ogenomtänkt input över tid.
Som vanligt är det den som är oskyldig som har mest att frukta.
Länkar:
• Dutch scandal serves as a warning for Europe over risks of using algorithms »
• EU: AI Act: Plans to loosen controls on law enforcement use of artificial intelligence »
• Civil society calls on the EU to ban predictive AI systems in policing and criminal justice in the AI Act »
Pewe säger
Du ska nog vara tydlig med att algoritmen i sig troligen inte är dålig utan snarare underlaget den fått för att lära upp sig. Det finns ganska få sätt att implementera en AI men desto fler sätt att träna den och underlaget för att träna dem är oftast dåligt till uselt, därför är det så otroligt viktigt att om en myndighet vill driftsätta en AI att befolkningen inte bara har tillgång till algoritmen utan även underlaget för träning och parametrarna man satt för att träna den, utan den infon kan man aldrig replikera AI’n och därför aldrig avgöra var problemet ligger.
Politiker bör hålla sig till att stifta lagar och myndigheterna till att efterfölja dem inom de ramarna politikerna sagt att lagarna avgränsas av, AI varken bör eller skall implementeras i oficiella system som är styrda av lag.