AI Act

EU:s ministerråd kan tänka sig AI-stödd massövervakning. Samtidigt säger en majoritet i Europaparlamentet nej.

EU:s ministerråd har enat om en gemensam linje för de kommande förhandlingarna om unionens nya AI Act. Man kan notera att rådet är oroväckande vagt vad gäller användning av artificiell intelligens för massövervakning.

Många medlemsstater är närmast entusiastiska inför möjligheten att använda AI för övervakning och kontroll. Det gäller inte minst AI som stöd för biometrisk massövervakning.

Ledamoten av Europaparlamentet Patrick Breyer (PP, DE) kommenterar:

»The position adopted today would enable a dystopian future of biometric mass surveillance in Europe, potentially exposing everybody to constant identification, monitoring their behaviour and analysing their emotions in public spaces. It would justify the permanent and ubiquitious deployment of face surveillance to look for the thousands of ‚victims‘, ‚threats‘ and suspects of ‚serious crime‘ that are wanted at any time. We must not normalise a culture of suspicion and side with authoritarian regimes which use AI for repression of civil society, for social scoring, human rights violations, and total surveillance.«

I sammanhanget är det värt att notera att experiment med till exempel AI-stödd automatiserad ansiktsigenkänning visat sig ha en hög felprocent (falska positiva).

I grunden ligger samma principfråga som för datalagringen. EU:s datalagringsdirektiv upphäves av EU-domstolen för att det strider mot rätten till privatliv. Enkelt uttryckt får övervakning endast inriktas mot personer som misstänks för brott – inte omfatta alla hela tiden, utan skäl.

I Europaparlamentet säger samtidigt en majoritet nej till AI-stödd massövervakning.

Myndigheters användning av AI för kontroll av medborgarna har redan fått förfärande konsekvenser. Nu vill EU:s franska ordförandeskap utöka användningen.

I Nederländerna använde skattemyndigheten en dålig självlärande algoritm för att komma till rätta med bidragsfusk bland barnfamiljer. Resultatet blev katastrofalt.

Tiotusentals oskyldiga familjer drabbades av stora återbetalningskrav, som ödelade deras ekonomier. Människor begick självmord. Tusentals barn togs ifrån sina familjer.

Nu har skattemyndigheten dömts till 3,7 miljoner euro i böter. Regeringen tvingades avgå. Och tiotusentals människor har fått sina liv ödelagda.

Det kan hända igen – Frankrike driver på.

Detta kan vara bra att känna till när EU nu är på väg att sjösätta sin AI Act. Hittills har man varit försiktig vad gäller att använda AI för brottsbekämpning, just på grund av att det ibland kan gå fruktansvärt fel.

Nu flaggar det franska EU-ordförandeskapet för en kursändring som leder till ökad användning av AI bland de rättsvårdande myndigheterna. Speciellt gäller detta polisens användning av biometrisk data.

Vilket i sin tur ligger helt i linje med EU:s långsiktiga ekonomiska stöd till system som samkör bland annat kameraövervakning med ansiktsigenkänning i realtid, övrig biometrisk data, AI-baserad beteendeanalys samt myndigheternas existerande och nya register. Redan för tio år sedan varnades för konsekvenserna av detta.

Inget datasystem är bättre än hur det utformas. Och självlärande AI-system tycks tendera att förvärra ogenomtänkt input över tid.

Som vanligt är det den som är oskyldig som har mest att frukta.

Länkar:
• Dutch scandal serves as a warning for Europe over risks of using algorithms »
• EU: AI Act: Plans to loosen controls on law enforcement use of artificial intelligence »
• Civil society calls on the EU to ban predictive AI systems in policing and criminal justice in the AI Act »