EU: AI och övervakning – regler med många undantag

EU-kommissionens förslag till reglering av artificiell intelligens (AI) har läckt ut via olika media.

Bloomberg rapporterar följande:

  • AI systems used to manipulate human behavior, exploit information about individuals or groups of individuals, used to carry out social scoring or for indiscriminate surveillance would all be banned in the EU. Some public security exceptions would apply.
  • Remote biometric identification systems used in public places, like facial recognition, would need special authorization from authorities.
  • AI applications considered to be ‘high-risk’ would have to undergo inspections before deployment to ensure systems are trained on unbiased data sets, in a traceable way and with human oversight.
  • High-risk AI would pertain to systems that could endanger people’s safety, lives or fundamental rights, as well as the EU’s democratic processes — such as self-driving cars and remote surgery, among others.
  • Some companies will be allowed to undertake assessments themselves, whereas others will be subject to checks by third-parties. Compliance certificates issued by assessment bodies will be valid for up to five years.
  • Rules would apply equally to companies based in the EU or abroad.

Särskilt intressant är att titta på undantagen. Till exempel kommer dessa regler inte att gälla för militär verksamhet. Vidare är »public security exceptions« en brasklapp som i praktiken kan öppna för vad som helst.

Medias rubriker talar om att EU skulle införa ett förbud mot AI-stödd ansiktsigenkänning. Vilket inte är vad som står i den läckta texten. Istället talas om »special authorization from authorities« – vilket är ytterligare en brasklapp som ger politiker och myndigheter stort svängrum.

Läckta texter är ofta arbetstexter som kan komma att ändras innan de läggs fram, så det ovanstående kan komma att ändras. I detta fall väntas ett skarpt förslag från EU-kommissionen den 21 april. Förslaget skall sedan knådas och godkännas av medlemsstaterna och av Europaparlamentet.

Relaterat: EDRi om AI och grundläggande rättigheter (PDF) »

Europaparlamentet fortsätter brottas med datalagringen

Idag har Europaparlamentets utskott för mänskliga rättigheter (LIBE) debatterat datalagringen.

Inte för att det finns något konkret förslag att ta ställning till. EU-kommissionen och ministerrådet har flaggat för att de vill ha ett nytt datalagringsdirektiv. Men man har ännu inga konkreta idéer om hur det skulle kunna se ut. Framförallt har man ingen klar uppfattning om hur datalagring skall kunna vara laglig – med tanke på att det förra direktivet upphävdes av EU-domstolen.

EU-domstolen har upprepade gånger slagit fast att urskiljningslös lagring av data om alla medborgares tele- och datakommunikationer inte får förekomma – och att övervakning måste begränsas till konkreta misstankar om brott.

Europaparlamentet står och stampar på samma plats som kommissionen och ministerrådet. De stora partigrupperna menar att datalagring behövs – men har ingen aning om hur detta kan ske utan att kollidera med EU-domstolens dom. Mindre partigrupper som liberalerna och de gröna/piraterna försöker påpeka detta, men utan att någon verkar bry sig.

Trots att Europaparlamentets egen utredningstjänst kommit fram till att det inte finns någon direkt koppling mellan datalagring och uppklarningsprocent för brott, upprepar många påståenden om det motsatta.

Under debatten framkom till och med åsikten att det vore diskriminerande (!) att bara lagra data när det finns en misstanke om brott.

Så vad händer nu? En välgrundad gissning är att man kommer att försöka få till en rapport (ej lagstiftning) där Europaparlamentet ger kommissionen och ministerrådet sin välsignelse vad gäller att fortsätta arbetet med ett nytt datalagringsdirektiv.

Men så länge man inte adresserar kärnfrågan – urskiljningslös datalagring av allt, utan brottsmisstanke – kommer man inte att komma någonstans. Då kommer EU-domstolen även att upphäva det nya direktivet och vi är tillbaka på ruta ett igen.

En sak att hålla ögonen på är att det finns tecken (bl.a. från Europol) om att myndigheterna kan vilja ha direktåtkomst till data som finns lagrad hos operatörerna, utan att behöva bry sig om att gå via respektive operatör. I Sverige har det redan gjorts sådana framstötar från polisens sida.

Detta kommer att bli en utdragen process, under vilken det är viktigt att hålla ögonen på bollen: Datalagring strider mot de mänskliga rättigheterna och vad dessa har att säga om rätten till privatliv och privat korrespondens – vilket har fastslagits av EU-domstolen.

Studie: Länder med datalagring löser färre brott

Trots EU-domstolens upprepade beslut om att datalagring (lagring av data om alla medborgares alla telefonsamtal, meddelanden, nätuppkopplingar, mobilpositioner m.m.) inte får ske urskiljningslöst och inte utan misstanke om brott – så envisas EU:s medlemsstater med att vilja ha ett nytt datalagringsdirektiv.

Senast för en månad sedan upprepade unionens justitie- och inrikesministrar detta krav.

Men fungerar datalagringen över huvud taget? En studie från Europaparlamentets utredningsservice visar att:

  • Trots att länder som Österrike, Nederländerna och Tyskland inte har allmän datalagring (efter att EU-domstolen upphävt datalagringsdirektivet) har uppklarningsprocenten av brott ökat i dessa länder.
  • I Italien, Spanien och Sverige – som trotsar EU-domstolen och fortsätter med datalagring – har uppklarningsprocenten minskat.

Det verkar alltså inte finnas något belägg för att datalagring är den patentlösning mot brottslighet som polis och åklagare vill göra gällande. Snarare gäller det omvända.

(I Sverige är uppklarningsprocenten i grova drag hälften jämfört med Nederländerna, en tredjedel jämfört med Österrike och en fjärdedel jämfört med Tyskland.)

 

EU-rapport vill blockera ful-streamad sport på nätet, snabbt och utan föregående rättslig prövning

Europaparlamentet håller på att behandla en rapport om ful-streamning av sport.

Bland annat vill man att icke-auktoriserade liveströmmar skall blockeras av internetoperatörerna inom 30 minuter (vilket är hälften så lång tid som föreslagits vad gäller terror-relaterat innehåll). Vilket dels är praktiskt svårt för små ISP:ar som inte har dygnet-runt-bemanning med beslutsfattare som kan göra ett informerat ställningstagande om att stänga ner trafik. Dels är blockering ett trubbigt verktyg, som lätt kan kringgås.

Det hela blir särskilt märkligt då EU:s föreslagna Digital Services Act (DSA) redan föreskriver att olagligt innehåll skall avlägsnas skyndsamt, men att det krävs någon form av formell motivering. Samtidigt vill rapporten att de statligt godkända ”ordningsmän” på nätet – trusted flaggers – som föreslås i DSA skall kunna beordra blockering även om det är oklart om materialet är lagligt eller ej.

Det känns som om denna rapport är det direkta resultatet av lobbying från sportkanalernas sida, då den bryter loss en enskild företeelse ur DSA och stressar fram en separat rapport.

Den piratpartistiske, tyske ledamoten av Eutopaparlamentet Patrick Breyer kommenterar:

“This text appears to have been dictated by industry lobbyists, it threatens fundamental digital rights”, comments MEP Patrick Breyer (Pirate Party). “It is completely at odds with the European Parliament’s position on the Digital Services Act which is sufficient to deal with illegal content. A 30 minute delay would be even shorter than what will be required for taking down terrorist content, and much too short outside business hours. Allowing private ‘flaggers’ with vested interests to have content removed without an assessment by an independent judicial authority would result in the over-blocking of legal content.“

Breyer elaborates: „And requiring ISPs to block access is easy to circumvent by changing DNS servers. Blocking access to an entire IP address results in massive collateral damage on valuable legal content. All in all, the profit-driven quest for ever more draconian measures ignores the obvious: the best way of reducing illegal streaming is to ensure that there is universal and affordable legal access to sport event broadcasts, both subscription-based and pay-per-view.”

Man kan även notera att rapporten är ytterligare ett steg i utvecklingen mot nätcensur utförd av privata aktörer. utan föregående rättslig prövning. Vilket är problematiskt.

Man kommer att rösta om rapporten i Europaparlamentets rättsliga utskott (JURI) vid sitt möte nu på måndag.

Länk: Doubts about European Parliaments ideas to crack down on illegal livestreams of sports events »

EU satsar 5M€ på att knäcka 5G-kryptering

Bloggaren Matthias Monroy skriver:

»The EU Commission announces new efforts to break end-to-end encrypted communications. This is according to the work programme of the Horizon 2020 research framework programme, which proposes numerous new projects in the area of „Civil Security for Society“ for the next two years. According to this, the Commission wants to spend five million euros on a platform for penetrating encrypted telephony.

The focus is on intercepting connections of the fifth mobile phone generation, which makes encrypted and anonymised connections technically possible.«

Vad man vill komma runt är att telefonens och SIM-kortets ID-nummer enligt uppgift krypteras i 5G-systemet. Vilket gör det svårt att sortera ut de kommunikationer som myndigheterna är intresserade av.

Den nya projektgrupp som skall sköta detta skall tydligen även fundera kring lösningar vad gäller kvantdatorer och avlyssning.

Länk: Security research – EU Commission to fund technology to decrypt 5G connections »

Problemen med automatiserad ansiktsigenkänning

Man måste hålla isär saker och ting när man talar om automatiserad ansiktsigenkänning.

Det kan handla om verktyg som i efterhand går igenom till exempel övervakningsfilm kopplad till en brottsplats för att utreda om vissa personer befunnit sig där. Detta är i stort sett oproblematiskt, då det handlar om att automatisera något som annars hade utförts ändå, fast av människor. (Även om datorerna inte kan göra samma breda analys av en bild och dess allmänna kontext som en människa, vilket kan leda till att annat som är av intressant i en utredning missas.)

Sedan har vi poliser som på eget bevåg använder Clearview-appen för att identifiera folk med hjälp av aggregerad information från sociala media m.m. Vilket inte är och inte bör vara tillåtet. Skall ansiktsigenkänning alls användas, då skall det ske under ordnade och rättssäkra former med myndighetens egna verktyg.

Vi har också företag som använder ansiktsigenkänning för att kunna identifiera sina kunder och därmed förbättra kundupplevelsen. Och Big Data som vill kunna kartlägga oss och våra vanor, i utbyte mot användbara gratis tjänster som mail, online-dokument, lagring, kommunikation och sociala plattformar. Vilket delvis är en annan och större fråga.

Sedan har vi kameraövervakning i realtid kopplad till automatiserad ansiktsigenkänning. Det vill säga att man inte nödvändigtvis söker efter någon speciell person – utan är mer intresserade av om någon av intresse skulle dyka upp i folkströmmarna. Sådan övervakning kan även användas för att punktbevaka en enskild individ, om det finns tillräckligt mycket kameror (som i t.ex.London). Detta är problematiskt.

För det första innebär det att man övervakar hederliga medborgare, som inte är misstänkta för något brott. Att behandla alla som potentiella brottslingar och att urskiljningslöst övervaka alla som råkar befinna sig på allmän plats hör inte hemma i en demokratisk rättsstat.

Det handlar även om att fritt kunna röra sig i det samhälle man lever i, utan att ständigt behöva känna sig övervakad.

Sedan är detta ett verktyg som lätt kan användas av staten för att förtrycka sin befolkning, kartlägga oppositionella och förfölja oliktänkande. Det behöver inte handla om ondska. Det kan lika gärna vara fråga om överdriven ambition, missriktad välvilja eller inkompetens.

Medborgarrättsaktivister har framfört kritik mot denna utveckling under lång tid. EU har i årtionden finansierat utvecklingsprojekt som INDECT – vars mål har varit just kameraövervakning med automatiserad ansiktsigenkänning i realtid, kopplad till beteendeanalys och myndigheternas olika register. Och nu befinner vi oss vid den punkt där dessa system är klara att rullas ut.

Reclaim your face har en lista över hur automatiserad ansiktsigenkänning används på olika, problematiska sätt runt om i Europa. Där kan man även skriva under ett Europeiskt Medborgarinitiativ som kräver att EU reglerar användningen på ett sätt som respekterar individens rätt till privatliv.

Chat Control – slutet för privat korrespondens online

»The EU wants to have all private chats, messages, and emails automatically searched for suspicious content, generally and indiscriminately. The stated aim: To prosecute child pornography. The result: Mass surveillance through fully automated real-time messaging and chat control and the end of secrecy of digital correspondence.«

Patrick Breyer, ledamot av Europaparlamentet för Piratpartiet, DE.

Länk: Messaging and chat control – The End of the Privacy of Digital Correspondence »

Medborgarrättsorganisationer rasar mot EU:s nya nätcensur

Ett 60-tal organisationer har skrivit brev till Europaparlamentets ledamöter och vädjat till dem om att rösta nej till förordningen om terror-relaterat innehåll online (TERREG/TCO).

Bland undertecknarna finns bland andra Amnesty, Europeiska Medborgarrätsuniuonen, EFF, EDRi, Polska Helsingfors-kommittén, Human Rights Watch, Internationella Juristkommissionen, CCC, La Quadrature Du Net,  Reportrar utan gränser, Statewatch, Wikimedia och svenska DFRI.

De praktiska problemen med TERREG är:

  • Flaggat material skall som huvudregel plockas ner inom en timma, vilket blir praktiskt svårt att hantera för mindre plattformar.
  • Denna snäva tidsram ger inget utrymme för rättsliga överväganden – och någon föregående rättslig prövning kommer inte att ske.
  • Myndigheter i ett EU-land kan beordra nedtagning av material i en annan medlemsstat, utan klartecken från den senare.
  • Nerplockat material skall inte kunna laddas upp igen. Även om texten (efter förhandlingar) noga undviker ordet ”uppladdningsfilter” – så är användning av just automatiska uppladdningsfilter den enda praktiskt användbara metoden. Och uppladdningsfilter innebär att allt som du och alla andra laddar upp måste granskas av maskiner inna det kan publiceras.

Det finns även invändningar mot att detta kan komma att drabba journalistisk verksamhet, forskning, dokumentation och lagföring av övergrepp.

Förslaget är dessutom oroväckande svävande när det gäller att definiera vad som egentligen anses vara terrorism och terror-relaterat.

Elefanten i rummet – som tyvärr inte berörs i brevet – är att detta även etablerar en censur av åsikter online i EU. Förvisso terroristers åsikter. Men när principen väl är etablerad kan det ändras med ett klubbslag.

Tar man ett steg tillbaka och betraktar den större bilden – då kan man konstatera att samtidigt som TERREG är på väg att bli lag, så är EU-apparaten även på väg att kräva av-kryptering och granskning av nätanvändarnas meddelanden och e-post i namn av att skydda barn mot övergrepp. Sammantaget blir detta en storebrorsstat som granskar, analyserar och i förekommande fall censurerar det mesta som sker online.

Länkar:
• DW: Rights groups slam EU online terrorist content law »
• Liberties: Free Speech Advocates Urge EU Legislators to Vote ’No’ to Automated Censorship Online »

Sociala media, användarnas rättigheter och nya statligt godkända censorer

Sociala medias ofta till synes slumpartade censur av inlägg och avstängning av användare är en ständig källa till irritation. Speciellt som det inte går att kontakta de olika plattformarna – och då den som censureras inte får reda på varför. Vilket blir extra problematiskt med tanke på nätjättarnas dominerande ställning i debatten.

Men det kan bli ändring på den saken. I EU:s föreslagna Digital Services Act (DSA) vill man att den som blir censurerad skall få veta varför – och även få en reell möjlighet att överklaga beslutet.

Även om detta är detaljreglering av hur privata företag skall bedriva in verksamhet – så kommer många användare säkert att välkomna att de nu kommer att få något som ger viss ”rättsäkerhet”. (Även om begreppet rättssäkerhet snarare handlar om förhållandet mellan individen och staten / rättsväsendet.)

Problemet med DSA är att förordningen vill införa ett nytt censurinstrument – så kallade ”trusted flaggers” som enligt förslaget skall representera ”kollektiva intressen” och som skall få en egen gräddfil till respektive sociala medieplattforms abuse-avdelning.

Det skall förvisso vara offentligt vilka dessa ”trusted flaggers” är. Och om de missköter si skall de kunna mista sitt uppdrag. Men det ligger fortfarande något obehagligt över att införa statligt godkända nätgranskare. Speciellt om dessa skall företräda ”kollektiva intressen” – vilket förmodligen kommer att öppna dörren för olika särintressen och identitetspolitiska överväganden. Vilket kan bli en soppa.

Generellt sett bör gränserna för det fria ordet sättas av lagstiftaren och sedan upprätthållas av ett oväldigt rättsväsende. Att sätta icke-statliga aktörer som officiellt godkända censorer kommer garanterat att skapa helt nya konflikter.

Nu gäller det att se till att DSA behåller ”rättssäkerheten” för sociala medias användare – samtidigt som ”trusted flaggers” inte ytterligare bidrar till polariseringen av samhällsdebatten.

Relaterat:
• At a glance: Does the EU Digital Services Act protect freedom of expression? »
• Nätjättarnas makt är ett frihetligt dilemma »

EU hotar rätten till privat korrespondens online

EU är på väg att ge grönt ljus för granskning av dina meddelanden och även din e-post.

Vi har skrivit om detta tidigare – men vi tänker fortsätta tjata, eftersom debatten om detta är närmast obefintlig.

Motivet man anger den här gången är att man vill kontrollera så att du inte ägnar dig åt sexuella övergrepp på barn. Vilket tycks räcka för att tysta all kritik.

Få känner till förslaget, det finns i princip ingen debatt om det, media är ointresserade, Europaparlamentet har i stort sett sagt ja redan i förväg – och givet syftet är det möjligt att de flesta människor anser att ändamålet helgar medlen.

Men innan vi ställs inför fullbordat faktum tycker vi att det är en del saker du bör känna till.

Det handlar alltså om dina meddelanden och din e-post. (Möjligen undantaget e-post som är PGP-krypterad användare till användare, som i princip är omöjlig att komma åt.) Men vanliga meddelanden i olika appar och vanliga e-postmeddelanden skall kunna avkrypteras, granskas och analyseras. Det gäller även bilder och videofilmer som du sänder – samt video-mötestjänster som Skype, Zoom med flera.

Detta är en gigantisk uppgift. Därför kommer det att ske automatiskt.

Problemet är att algoritmerna inte är speciellt bra på detta. När Schweiz provade något liknande gick det nio falska flaggningar på en äkta.

Det innebär alltså att i nio fall av tio kommer misstanken om sexuella övergrepp mot barn att riktas mot någon oskyldig. Vilket innebär att den som är oskyldig har mest att frukta.

Flaggade meddelanden kommer sedan att överföras till en privat organisation i USA. Där skall de granskas igen och i förekommande fall översändas till polis eller andra myndigheter och organisationer.

Och när det gäller sexuella övergrepp mot barn kommer det att räcka med en misstanke – även om den är felaktig – för att du skall få problem.

Du kan vara oskyldigt misstänkt utan att ens veta om det förrän polisen knackar på dörren – eller innan du stoppas i något främmande lands passkontroll. Den som är oskyldig har, som sagt, mest att frukta.

Men det är inte det enda problemet.

I och med att dina meddelanden och din e-post kommer att kunna avkrypteras blir de även tillgängliga för allehanda myndigheter och underrättelseorgan. Kom ihåg amerikanska NSA:s devis: Collect it all.

Man kan även fundera på hur EU resonerar. Ena stunden vill man skydda användarnas data mot företag som Google, Facebook med flera. Och i nästa ögonblick vill man att våra meddelanden och vår e-post skall avkrypteras – vilket kommer att göra innehållet i dessa tillgängligt för just Google, Facebook och alla andra företag du använder för dina meddelanden och din e-post.

Vi vet dessutom att sådana här lagar alltid drabbas av ändamålsglidning.

När man väl använt sexuella övergrepp mot barn som murbräcka – då kommer man med största säkerhet att utvidga mandatet för att även kunna söka efter annat. Så är det i princip alltid. Finns verktygen, då kommer man ständigt att hitta nya användningsområden.

Europeiska datatillsynsmyndigheten (EDPS) anser att lagförslaget varken är nödvändigt eller proportionerligt. Det saknar laglig grund, tydliga regler och tillräckliga skyddsåtgärder.

EU-parlamentets utredningstjänst (EPRS) anser att en sådan här lag endast bör inriktas mot personer som är misstänkta för att ägna sig åt något brottsligt. Man pekar även på att förslaget strider mot dataskyddsförordningen, GDPR.

UNICEF menar att förbättrad integritet och dataskydd för barn är bättre än automatisk övervakning av deras kommunikation.

Men i Europaparlamentet har en stor majoritet sagt ja till att gå vidare med lagstiftningsarbetet. Trilogförhandlingar pågår. Samtliga svenska partier i parlamentet har röstat ja till att gå vidare, utom Vänsterpartiet som är avvaktande.

Sedan blir det snabbehandling. Den konsoliderade texten väntas släppas av EU-kommissionen i april och godkännas i Europaparlamentet under sessionen i maj månad.

Även om alla sympatiserar med syftet och även om det råder stor politisk enighet – så är detta ett hot mot rätten till privat kommunikation online.

Vilket är allvarligt. Rätten till privatliv och privat korrespondens är en grundläggande rättighet – fastlagen i bland annat Europakonventionen om de mänskliga rättigheterna. Men det tycks ingen bry sig om.

Hur som helst bör du vara medveten om att det i princip är slut med privat korrespondens online. I den mån sådan i praktiken alls existerat.

Länkar:
• EU öppnar för automatisk granskning och analys av alla dina meddelanden och all din e-post »
• Fyra problem med förslaget om automatisk granskning av privat kommunikation »
• The End of the Privacy of Digital Correspondence »
• SD, MP, S, M, C, L och KD är för övervakning av chatt, email och videosamtal »
• EU allt närmare kontroll av innehållet i alla nätanvändares alla meddelanden »