Femte juli Nätet till folket!

Nätet till folket!

Indect

Faran med dåliga AI-system i statens tjänst

av 1 kommentar

Myndigheters användning av AI för kontroll av medborgarna har redan fått förfärande konsekvenser. Nu vill EU:s franska ordförandeskap utöka användningen.

I Nederländerna använde skattemyndigheten en dålig självlärande algoritm för att komma till rätta med bidragsfusk bland barnfamiljer. Resultatet blev katastrofalt.

Tiotusentals oskyldiga familjer drabbades av stora återbetalningskrav, som ödelade deras ekonomier. Människor begick självmord. Tusentals barn togs ifrån sina familjer.

Nu har skattemyndigheten dömts till 3,7 miljoner euro i böter. Regeringen tvingades avgå. Och tiotusentals människor har fått sina liv ödelagda.

Det kan hända igen – Frankrike driver på.

Detta kan vara bra att känna till när EU nu är på väg att sjösätta sin AI Act. Hittills har man varit försiktig vad gäller att använda AI för brottsbekämpning, just på grund av att det ibland kan gå fruktansvärt fel.

Nu flaggar det franska EU-ordförandeskapet för en kursändring som leder till ökad användning av AI bland de rättsvårdande myndigheterna. Speciellt gäller detta polisens användning av biometrisk data.

Vilket i sin tur ligger helt i linje med EU:s långsiktiga ekonomiska stöd till system som samkör bland annat kameraövervakning med ansiktsigenkänning i realtid, övrig biometrisk data, AI-baserad beteendeanalys samt myndigheternas existerande och nya register. Redan för tio år sedan varnades för konsekvenserna av detta.

Inget datasystem är bättre än hur det utformas. Och självlärande AI-system tycks tendera att förvärra ogenomtänkt input över tid.

Som vanligt är det den som är oskyldig som har mest att frukta.

Länkar:
• Dutch scandal serves as a warning for Europe over risks of using algorithms »
• EU: AI Act: Plans to loosen controls on law enforcement use of artificial intelligence »
• Civil society calls on the EU to ban predictive AI systems in policing and criminal justice in the AI Act »

Problemen med automatiserad ansiktsigenkänning

av Lämna en kommentar

Man måste hålla isär saker och ting när man talar om automatiserad ansiktsigenkänning.

Det kan handla om verktyg som i efterhand går igenom till exempel övervakningsfilm kopplad till en brottsplats för att utreda om vissa personer befunnit sig där. Detta är i stort sett oproblematiskt, då det handlar om att automatisera något som annars hade utförts ändå, fast av människor. (Även om datorerna inte kan göra samma breda analys av en bild och dess allmänna kontext som en människa, vilket kan leda till att annat som är av intressant i en utredning missas.)

Sedan har vi poliser som på eget bevåg använder Clearview-appen för att identifiera folk med hjälp av aggregerad information från sociala media m.m. Vilket inte är och inte bör vara tillåtet. Skall ansiktsigenkänning alls användas, då skall det ske under ordnade och rättssäkra former med myndighetens egna verktyg.

Vi har också företag som använder ansiktsigenkänning för att kunna identifiera sina kunder och därmed förbättra kundupplevelsen. Och Big Data som vill kunna kartlägga oss och våra vanor, i utbyte mot användbara gratis tjänster som mail, online-dokument, lagring, kommunikation och sociala plattformar. Vilket delvis är en annan och större fråga.

Sedan har vi kameraövervakning i realtid kopplad till automatiserad ansiktsigenkänning. Det vill säga att man inte nödvändigtvis söker efter någon speciell person – utan är mer intresserade av om någon av intresse skulle dyka upp i folkströmmarna. Sådan övervakning kan även användas för att punktbevaka en enskild individ, om det finns tillräckligt mycket kameror (som i t.ex.London). Detta är problematiskt.

För det första innebär det att man övervakar hederliga medborgare, som inte är misstänkta för något brott. Att behandla alla som potentiella brottslingar och att urskiljningslöst övervaka alla som råkar befinna sig på allmän plats hör inte hemma i en demokratisk rättsstat.

Det handlar även om att fritt kunna röra sig i det samhälle man lever i, utan att ständigt behöva känna sig övervakad.

Sedan är detta ett verktyg som lätt kan användas av staten för att förtrycka sin befolkning, kartlägga oppositionella och förfölja oliktänkande. Det behöver inte handla om ondska. Det kan lika gärna vara fråga om överdriven ambition, missriktad välvilja eller inkompetens.

Medborgarrättsaktivister har framfört kritik mot denna utveckling under lång tid. EU har i årtionden finansierat utvecklingsprojekt som INDECT – vars mål har varit just kameraövervakning med automatiserad ansiktsigenkänning i realtid, kopplad till beteendeanalys och myndigheternas olika register. Och nu befinner vi oss vid den punkt där dessa system är klara att rullas ut.

Reclaim your face har en lista över hur automatiserad ansiktsigenkänning används på olika, problematiska sätt runt om i Europa. Där kan man även skriva under ett Europeiskt Medborgarinitiativ som kräver att EU reglerar användningen på ett sätt som respekterar individens rätt till privatliv.

Dubbla budskap om ansiktsigenkänning från EU

av Lämna en kommentar

En notis om ansiktsigenkänning från EUobserver:

The European Commission is exploring stricter rules for facial recognition technology, senior EU officials have told the Financial Times.

European citizens would be given the right to ”know when [facial recognition] data is used,” with any exceptions ”tightly circumscribed” to ensure the appropriate use, they said.

Det får ses som positivt att även EU börjar få upp ögonen för riskerna med ansiktsigenkänning.

Men samtidigt skall man komma ihåg att EU finansierar projekt som INDECT, som bland annat går ut på att utveckla teknik för just ansiktsigenkänning via övervakningskameror – och att eventuellt samköra denna information med andra register i realtid. Projektet omfattar även automatiserad beteendeanalys.

Länk: EU considers new rules on facial recognition »

EU upprättar en gigantisk persondatabas och inför obligatoriska ID-kort

av 4 kommentarer

EU är på väg att upprätta en av världens största persondatabaser med biometrisk information – som dessutom kommer att samköras med andra register. Dessutom är ett nytt, obligatoriskt EU-ID-kort med biometrisk data på väg. Vad kan möjligen gå fel?

ZDnet skriver…

The European Parliament voted last week to interconnect a series of border-control, migration, and law enforcement systems into a gigantic, biometrics-tracking, searchable database of EU and non-EU citizens.

This new database will be known as the Common Identity Repository (CIR) and is set to unify records on over 350 million people.

Samtidigt förbereds en informell överenskommelse mellan EU:s medlemsstater i ministerrådet om ett nytt, obligatoriskt EU-ID-kort med biometrisk information. (Genom att göra en informell uppgörelse medlemsstaterna emellan kan detta införas utan att de folkvalda i Europaparlamentet behöver tillfrågas.)

SecureIDnews skriver…

Each card will have two fingerprints of the cardholder stored digitally on a contactless chip, the European Council said, with each card having the country code of the issuing country inside the EU flag. Cards will be good for at least five years but expire after no more than 10 years, though EU member states can issue cards with longer lifespans for citizens who are at least 70 years old. The council said that “identity cards will have to be produced in a uniform, credit card format (ID-1), include a machine-readable zone, and follow the minimum-security standards set out by ICAO (International Civil Aviation Organization).” (…)

This discussion about biometric ID cards for EU citizens does not address or provide the “legal basis” for the creation of national or regional biometric databases, according to the European Council. Such databases are instead “a matter of national legislation that needs to be in full compliance with data protection rules.”

Märkte du vad de just gjorde? Dels inför man obligatoriska biometriska ID-kort i EU bakvägen. Dels fattas ett helt annat beslut – den formella vägen – om en gigantisk »Storebrors-databas« som också innehåller biometrisk information och som är tänkt att samköras med andra register.

Och plötsligt har man ett verktyg som – om man så önskar – kan användas för i stort sett vilka syften som helst. Det vore t.ex. en möjlig bas för att upprätta något som liknar Kinas kontroversiella system för »social scoring«. Allt som krävs är ett klubbslag, när den dagen kommer.

Samtidigt pågår en ändamålsglidning som i små steg expanderar registrering av våra flygresor (PNR) till andra färdmedel som t.ex. tåg och hyrbilar och även av hotellövernattningar. Och under radarn diskuteras i EU ett ID-krav för uppkoppling till internet. Lägg till detta EU:s Indect-projekt som bland annat innehåller realtidsövervakning med ansiktsigenkänning och samkörning av register.

Ingen lär väl bli förvånad över att Sverige befinner sig i denna utvecklings framkant.

Länkar:
• EU votes to create gigantic biometrics database »
• Say Cheese! The EU Is Set to Create One of Earth’s Biggest Biometric Databases »
• Statewatch (PDF): Interoperability morphs into the creation of a Big Brother centralised EU state database including all existing and future Justice and Home Affairs databases »
• Mandatory biometric ID cards for EU citizens move closer to reality »
• EU:s ministerråd: Better security for ID documents: Council Presidency and European Parliament reach provisional agreement »
• ID-krav för nätuppkoppling och resor? »