Problemen med automatiserad ansiktsigenkänning

Man måste hålla isär saker och ting när man talar om automatiserad ansiktsigenkänning.

Det kan handla om verktyg som i efterhand går igenom till exempel övervakningsfilm kopplad till en brottsplats för att utreda om vissa personer befunnit sig där. Detta är i stort sett oproblematiskt, då det handlar om att automatisera något som annars hade utförts ändå, fast av människor. (Även om datorerna inte kan göra samma breda analys av en bild och dess allmänna kontext som en människa, vilket kan leda till att annat som är av intressant i en utredning missas.)

Sedan har vi poliser som på eget bevåg använder Clearview-appen för att identifiera folk med hjälp av aggregerad information från sociala media m.m. Vilket inte är och inte bör vara tillåtet. Skall ansiktsigenkänning alls användas, då skall det ske under ordnade och rättssäkra former med myndighetens egna verktyg.

Vi har också företag som använder ansiktsigenkänning för att kunna identifiera sina kunder och därmed förbättra kundupplevelsen. Och Big Data som vill kunna kartlägga oss och våra vanor, i utbyte mot användbara gratis tjänster som mail, online-dokument, lagring, kommunikation och sociala plattformar. Vilket delvis är en annan och större fråga.

Sedan har vi kameraövervakning i realtid kopplad till automatiserad ansiktsigenkänning. Det vill säga att man inte nödvändigtvis söker efter någon speciell person – utan är mer intresserade av om någon av intresse skulle dyka upp i folkströmmarna. Sådan övervakning kan även användas för att punktbevaka en enskild individ, om det finns tillräckligt mycket kameror (som i t.ex.London). Detta är problematiskt.

För det första innebär det att man övervakar hederliga medborgare, som inte är misstänkta för något brott. Att behandla alla som potentiella brottslingar och att urskiljningslöst övervaka alla som råkar befinna sig på allmän plats hör inte hemma i en demokratisk rättsstat.

Det handlar även om att fritt kunna röra sig i det samhälle man lever i, utan att ständigt behöva känna sig övervakad.

Sedan är detta ett verktyg som lätt kan användas av staten för att förtrycka sin befolkning, kartlägga oppositionella och förfölja oliktänkande. Det behöver inte handla om ondska. Det kan lika gärna vara fråga om överdriven ambition, missriktad välvilja eller inkompetens.

Medborgarrättsaktivister har framfört kritik mot denna utveckling under lång tid. EU har i årtionden finansierat utvecklingsprojekt som INDECT – vars mål har varit just kameraövervakning med automatiserad ansiktsigenkänning i realtid, kopplad till beteendeanalys och myndigheternas olika register. Och nu befinner vi oss vid den punkt där dessa system är klara att rullas ut.

Reclaim your face har en lista över hur automatiserad ansiktsigenkänning används på olika, problematiska sätt runt om i Europa. Där kan man även skriva under ett Europeiskt Medborgarinitiativ som kräver att EU reglerar användningen på ett sätt som respekterar individens rätt till privatliv.

Nygammal tysk lag om massövervakning klubbad

2013 avslöjade Edward Snowden den globala massövervakningen. Dessa avslöjanden rörde inte bara USA, utan även samarbetsländer som Tyskland (och Sverige).

Trots all kritik som följde på avslöjandet fortsatte Tyskland sin verksamhet – genom att man antog en ny lag som i stora drag gjorde sådant som var förbjudet och kontroversiellt lagligt. Denna lag underkändes dock av den tyska författningsdomstolen.

Nu har man antagit en ny lag som påminner väldigt mycket om den förra, med närmast kosmetiska förändringar.

Den nya lagen innebär bland annat:

  • Man får rätt att samla in, processa och exportera ofantliga mängder data. Det talas om en kapacitet på upp till en tredjedel av alla globala telekommunikationer.
  • Man kommer att få lov att i hemlighet hacka nätföretag som Facebook, Google, Appole, Amazon och Microsoft.
  • Man får även rätt att övervaka inrikes kommunikationer i Tyskland, med undantag för kommunikationer mellan två fysiska personer. Vilket är en gummi-paragraf, eftersom en stor del av all kommunikation betraktas som kommunikaterion mellan människa och maskin, snarare än människa och människa.

CDU/CSU och SPD röstade för den nya lagen och hela oppositionen (FDP, Grüne, Linke & AfD) emot. Kritik kommer även från Amnesty och Reportrar utan gränser.

Detta kommer med säkerhet – återigen – att bli en fråga för den tyska författningsdomstolen.

Länk: Bundesnachrichtendienst erhält so viele Überwachungsbefugnisse wie noch nie »

Om rätten till privatliv och privat kommunikation

Decennier av krypskytte mot kryptering från regeringar världen över; EU:s idéer om avkryptering och granskning av meddelanden och e-post; FRA-lagen med sin ändamålsglidning som ger allt fler myndigheter tillgång till innehållet i våra elektroniska kommunikationer… Exemplen på hoten mot vår rätt till privatliv och privat kommunikation online är många.

Men varför är denna rätt så viktig att den betraktas som en grundläggande mänsklig rättighet?

Man kan resonera längs flera olika spår.

Till exempel är fri åsiktsbildning och fri debatt en förutsättning för en fungerande demokrati. Det finns goda skäl att anta att själva vetskapen eller misstanken om att någon kikar över vår axel inskränker denna fria åsiktsbildning. Mycket av framstegen i vårt samhälle bygger på idéer som till en början var kontroversiella eller till och med olagliga.

Man kan också fundera i banorna av att laglydiga medborgare skall lämnas i fred av staten. En stat som betraktar alla sina medborgare som potentiella brottslingar som måste övervakas och vars kommunikationer måste granskas – det är en stat som inte respekterar sitt folk. Staten skall vara till för medborgarna, inte behandla oss som undersåtar.

Om man ansluter sig till idén om att människan har vissa naturliga rättigheter (liv, säkerhet och egendom) då anser man förmodligen också att frihet har ett positivt värde för såväl individen som samhället. Denna frihet inskränks om man är övervakad och därmed måste anpassa sitt beteende för att inte göra något som kan misstolkas. I övervakningsstaten har även den som är oskyldig mycket att frukta.

Även om du har rent mjöl i påsen och även om du själv aldrig kommer att få övervakningsstatens ögon på dig – så bör du ändå vara för rätten till privatliv. Visselblåsaren Edward Snowden uttryckte saken så här: Att vara emot rätten till privatliv bara för att man inte har något att dölja, det är som att vara emot yttrandefriheten bara för att man inte har något att säga.

Sedan har vi naturligtvis risken för att vi någon gång kommer att få en regering med auktoritära böjelser. För en sådan är övervakning av medborgarnas kommunikationer ett utmärkt verktyg för att komma åt dissidenter, för att kartlägga oliktänkande och för att hindra att oppositionella organiserar sig. Varför ge överheten ett sådant verktyg?

Det behöver inte vara en ondskefull regering. Det räcker med någon obalanserad befattningshavare på mellannivå för att dessa verktyg skall kunna missbrukas. Eller överdriven ambition. Missriktad välvilja. Eller inkompetens.

Steg för steg blir övervakningsstaten allt mer omfattande – på bekostnad av medborgarnas rätt till privatliv. Oavsett vilket slags regering vi har kan det inte fortsätta hur långt som helst. I vart fall inte utan att samhället blir outhärdligt att leva i.

Hela idén med grundläggande mänskliga rättigheter är att de utgör individens skydd mot staten. Därför skall man inte kompromissa om dem. Utan dem kan staten göra precis som den vill och individen blir då rättslös.

Bryr sig någon om EU:s nya nätcensur?

I Europaparlamentet kommer man under våren (förmodligen under april-sessionen, vecka 17) att rösta om förordningen om terror-relaterat innehåll online (TERREG / TCO).

Det känns som att jag tjatar om detta. Och som att aktivister, media och allmänheten inte riktigt bryr sig.

Ändå handlar det om att införa censur av åsikter på nätet. Vilket är en stor sak.

Erfarenheten visar att denna typ av lagar ofta drabbas av ändamålsglidning. Med ett klubbslag kan censuren utökas – och det saknas inte krafter som vill förbjuda både det ena och det andra på nätet.

Speciellt oroande är att detta sammanfaller med att EU senare i år kommer att uppdatera sina riktlinjer vad gäller hat och hot online. Om principen om nätcensur då redan är etablerad, då kommer det att bli frestande att använda detta verktyg utan att det har ett dugg med terrorism att göra.

Dessutom är denna förordning illa utformad i sak. Flaggat material skall tas ner inom en timma, vilket knappast ger utrymme för någon seriös analys av dess laglighet. Någon föregående rättslig prövning kommer inte att ske. Myndigheter i en medlemsstat kan beordra nedtagning av innehåll på servrar i andra EU-länder. Material som en gång flaggats skall inte kunna laddas upp igen – vilket kommer att kräva kontroll och analys av allt som alla laddar upp.

Det där sista kommer i praktiken att kräva uppladdningsfilter – även om man noga undviker att använda just det ordet i förordningen.

När denna förordning väl är klubbad – då har vi som sagt  infört censur av åsikter online. Förordningar och direktiv staplas på varandra. Var för sig går de kanske att motivera på ett eller annat sätt. Men sammantaget kommer de att få konsekvenser för det fria ordet online och den fria åsiktsbildningen.

Något intresse av att stanna upp för att analysera helhetsbilden eller ens åtgärdernas effektivitet finns inte. Det gäller såväl när det kommer till inskränkningar av informationens frihet som utrullningen av en aldrig sinande ström av övervakningslagar.

Steg för steg rör vi oss mot att skapa en Storebrorsstat. Till sist når vi en punkt där detta blir ett påtagligt demokratiskt problem. Möjligen är vi redan där.

Läs mer: En votering kvar innan EU inför nätcensur för åsikter »

Twitter och indiska regeringen i censurbråk

Med anledning av det pågående bonde-upproret har den indiska regeringen givit Twitter order att stänga eller göra 1.100 konton osynliga, då de anklagas för att ha uppmanat till våld och att spridit falska nyheter.

Twitter har delvis gått med på regeringens krav, men vägrar att stänga konton som tillhör journalister, aktivister och andra som utövar sin grundläggande rätt att kritisera regeringen.

Shira Ovide skriver i New York Times On Tech Newsletter:

»The government of Prime Minister Narendra Modi is saying Twitter is breaking the law. Twitter is saying that India is breaking its own laws. And democracy activists say that tech companies like Twitter shouldn’t play along when governments pass laws that effectively shut down free speech.

There are regularly disputes between internet companies and governments — both democratic and not — over whether posts break a country’s laws. What’s unusual here is how public and high profile the disagreement is, and that India has threatened to imprison Twitter employees.«

Värt att notera är att den indiska regeringens begäran kom från ett ministerium och inte från en domstol. Den kan därmed betraktas som mer politisk än rättsligt prövad och bindande.

Det som sker nu kan även få betydelse för hur Twitter kommer att agera i andra länder med auktoritära regimer.

USA: Banker och betalningsförmedlare kan fortsätta agera moralpolis

Vi har sett många exempel på hur banker, kreditkortsföretag och andra betalningsförmedlare som PayPal strypt betalningskanalerna för verksamhet som anses som kontroversiell. Det gäller allt ifrån Wikileaks och kryptovalutor till postorderbutiker för sexleksaker.

Detta är naturligtvis allvarligt. Verksamhet som är laglig bör få använda de stora och totalt dominerande betalningskanalerna. I vissa fall – som Wikileaks – blir det i förlängningen även en fråga om förutsättningarna för det fira ordet.

Ett annat exempel är Patreon, som stängt av möjligheten till crowdfunding för innehållsskapare vars åsikter företaget inte delar.

Ett tredje är hur vissa banker säger upp konton för kunder som genomför transaktioner kopplade till köp eller försäljning av kryptovalutor

Den förra amerikanska administrationen införde en Fair Access Rule som säger att »banks should conduct risk assessment of individual customers, rather than make broad-based decisions affecting whole categories or classes of customers when provisioning access to services, capital, and credit«. Det vill säga att man skall värdera varje enskilds kunds beteende och riskprofil snarare än att utestänga hela kategorier av laglig verksamhet från betalningssystemen.

Detta regelverk har ännu inte hunnit träda ikraft och kommer inte heller att göra det – då det redan upphävts av den nya amerikanska administrationen.

Reason skriver:

»This regulation was meant to shield politically unpopular but otherwise legal companies from banking discrimination, following Operation Chokepoint, a program initiated by President Barack Obama’s Justice Department. While ostensibly designed to combat fraud, in practice, Reason writers have observed, it empowered the government to target unfavorable industries, such as payday lending and pornography, by ”coercing private businesses in an attempt to centrally engineer the American marketplace based on its own politically biased moral judgments.”«

När Operation Chokepoint bland annat ledde till att Wikileaks fick sina betalningskanaler för stöd stängda uttalade Europaparlamentet att sådana rutiner är ett hot mot det fria ordet och den fria åsiktsbildningen.

Läs mer hos Reason: Biden Administration Suspends Rule Protecting Businesses from Banking Discrimination »

Rapport från EU-debatten om sociala media och skyddet för grundläggande rättigheter

I Europaparlamentet har man just avslutat debatten »Democratic scrutiny of social media and the protection of fundamental rights« i vilken även EU-kommissionen och ministerrådet deltagit. Debatten skedde på begäran av EPP-gruppen, efter stormningen av Capitolium i Washington och efter att Donald Trump blivit avstängd från Twitter.

Bland de åsikter som framfördes var att samma regler gör gälla online som in resten av samhället, att reglerna bör fastställas av lagstiftare och upprätthållas av domstolar samt att man vill se ökad transparens vad gäller sociala medias algoritmer. Bland de mer färgstarka inläggen fanns de som betraktade sociala media som spridare av antidemokratiska virus och de som vill ställa Twitter, Facebook och Youtube under demokratisk (det vill säga politisk) kontroll.

Värt att notera är att ledamöter från Polen och Ungern varnade för vad som kan hända om man ger politiken kontroll över sociala media.

Enda svenska röst i debatten var Arba Kokalari (M) som konstaterade att det finns en brist på tydliga regler, vilket leder till att användare blir censurerade eller avstängda utan förklaring. Detta menar hon att man kan komma till rätta med genom EU:s nya Digital Services Act (DSA), där hon är skuggrapportör för EPP-gruppen.

Debatten  utgick (precis som DSA) från att sociala media även i framtiden kommer att se ut som och fungera ungefär som idag. Vilket knappast kommer att vara fallet. De enda som gjorde något försök att blicka framåt var de två piratpartistiska ledamöterna Marcel Kolaja (Tjeckien) och Patrick Breyer (Tyskland). Båda pekade på behovet av alternativa och decentraliserade plattformar.

Från kommissionen och ministerrådet kom även besked om att man nu dels arbetar med en »Democracy Action Plan« och dels med en »Media and audiovisual action plan« – vilka vi naturligtvis skall kika närmare på.

Intressant är även vad som inte nämndes i debatten. Till exempel har kommissionär Ylva Johansson flaggat för att en ny »Code of Conduct on countering illegal hate speech online« skall tas fram. Att detta inte togs upp i debatten kan vara ett tecken på att den kommer att utarbetas utanför de demokratiska institutionerna – gissningsvis bakom stängda dörrar tillsammans med de sociala mediejättarna i the European Internet Forum.

Debatten kan ses i efterhand här (timestamp från kl 15) »

Facebooks oversight board prövar Trumps avstängning

I ett läckt konferenssamtal med Facebooks ledningsgrupp meddelar dess PR/PA-chef Nick Klegg att företagets oversight board skall pröva Donald Trumps permanenta avstängning.

Man har även bett om vägledning för hur man skall hantera frågor om avstängning av politiska ledare i allmänhet. Enligt videon oroas man över den kritik som framförts från bl.a. Alexei Navalny och Angela Merkel. Klegg säger även att man är överens med kritikerna om att sådana avstängningar bör hanteras inom ramen för demokratiskt fastställda regler. Han noterar också att några sådana regler inte existerar idag.