EU: AI och övervakning – regler med många undantag

EU-kommissionens förslag till reglering av artificiell intelligens (AI) har läckt ut via olika media.

Bloomberg rapporterar följande:

  • AI systems used to manipulate human behavior, exploit information about individuals or groups of individuals, used to carry out social scoring or for indiscriminate surveillance would all be banned in the EU. Some public security exceptions would apply.
  • Remote biometric identification systems used in public places, like facial recognition, would need special authorization from authorities.
  • AI applications considered to be ‘high-risk’ would have to undergo inspections before deployment to ensure systems are trained on unbiased data sets, in a traceable way and with human oversight.
  • High-risk AI would pertain to systems that could endanger people’s safety, lives or fundamental rights, as well as the EU’s democratic processes — such as self-driving cars and remote surgery, among others.
  • Some companies will be allowed to undertake assessments themselves, whereas others will be subject to checks by third-parties. Compliance certificates issued by assessment bodies will be valid for up to five years.
  • Rules would apply equally to companies based in the EU or abroad.

Särskilt intressant är att titta på undantagen. Till exempel kommer dessa regler inte att gälla för militär verksamhet. Vidare är »public security exceptions« en brasklapp som i praktiken kan öppna för vad som helst.

Medias rubriker talar om att EU skulle införa ett förbud mot AI-stödd ansiktsigenkänning. Vilket inte är vad som står i den läckta texten. Istället talas om »special authorization from authorities« – vilket är ytterligare en brasklapp som ger politiker och myndigheter stort svängrum.

Läckta texter är ofta arbetstexter som kan komma att ändras innan de läggs fram, så det ovanstående kan komma att ändras. I detta fall väntas ett skarpt förslag från EU-kommissionen den 21 april. Förslaget skall sedan knådas och godkännas av medlemsstaterna och av Europaparlamentet.

Relaterat: EDRi om AI och grundläggande rättigheter (PDF) »

Digitalt EU-ID och elektroniskt journalsystem på EU-kommissionens önskelista

EU-kommissionen har presenterat sina digitala mål för år 2030. Ett par exempel:

Man vill skapa ett digitalt EU-ID, som man hoppas att minst 80% av medborgarna kommer att använda. Det skall ses mot bakgrund av att man i EU i 10-15 års tid har diskuterat ID-krav för att över huvud taget kunna koppla upp sig mot eller verka på nätet. Detta är viktigt att hålla ögonen på.

»By 2030, the EU framework should have led to wide deployment of a trusted, user-controlled identity, allowing each citizen to control their own online interactions and presence. Users can make a full use of online services easily and throughout the EU while preserving their privacy.«

Man vill ha 100% täckning vad gäller lagring av medborgarnas medicinska journaler. Språket är något svävande, men vi vet sedan tidigare att det är ett centraliserat, EU-gemensamt journalsystem som är målet. Vilket säkert kommer att väcka en hel del debatt.

»The ability for European citizens to access, and control access to, their electronic health records (EHR) across the EU should be greatly improved by 2030 based on common technical specifications for health data sharing, interoperability, developing the secure infrastructure, as well as taking actions to facilitate the public acceptability of sharing health information with the medical community.«

Dokumentet säger många vackra saker om hur EU:s digitala industri är viktig och måste utvecklas. Vilket inte riktigt rimmar med hur man driver bort startups och riskkapital från EU genom att överreglera internet.

På önskelistan finns även gigabit för alla; »Cutting edge Semiconductors«; ett klimatneutralt EU-moln med 10.000 noder; kvantdatorer; miljövänlig IT-verksamhet med bättre balans mellan könen – samt att man vill upprätta en »inter-institutionell deklaration om digitala principer« innan årets slut. Och mycket annat.

• EU-kommissionens inforgraphics »
• 2030 Digital Compass: the European way for the Digital Decade (PDF) »

Bryr sig någon om EU:s nya nätcensur?

I Europaparlamentet kommer man under våren (förmodligen under april-sessionen, vecka 17) att rösta om förordningen om terror-relaterat innehåll online (TERREG / TCO).

Det känns som att jag tjatar om detta. Och som att aktivister, media och allmänheten inte riktigt bryr sig.

Ändå handlar det om att införa censur av åsikter på nätet. Vilket är en stor sak.

Erfarenheten visar att denna typ av lagar ofta drabbas av ändamålsglidning. Med ett klubbslag kan censuren utökas – och det saknas inte krafter som vill förbjuda både det ena och det andra på nätet.

Speciellt oroande är att detta sammanfaller med att EU senare i år kommer att uppdatera sina riktlinjer vad gäller hat och hot online. Om principen om nätcensur då redan är etablerad, då kommer det att bli frestande att använda detta verktyg utan att det har ett dugg med terrorism att göra.

Dessutom är denna förordning illa utformad i sak. Flaggat material skall tas ner inom en timma, vilket knappast ger utrymme för någon seriös analys av dess laglighet. Någon föregående rättslig prövning kommer inte att ske. Myndigheter i en medlemsstat kan beordra nedtagning av innehåll på servrar i andra EU-länder. Material som en gång flaggats skall inte kunna laddas upp igen – vilket kommer att kräva kontroll och analys av allt som alla laddar upp.

Det där sista kommer i praktiken att kräva uppladdningsfilter – även om man noga undviker att använda just det ordet i förordningen.

När denna förordning väl är klubbad – då har vi som sagt  infört censur av åsikter online. Förordningar och direktiv staplas på varandra. Var för sig går de kanske att motivera på ett eller annat sätt. Men sammantaget kommer de att få konsekvenser för det fria ordet online och den fria åsiktsbildningen.

Något intresse av att stanna upp för att analysera helhetsbilden eller ens åtgärdernas effektivitet finns inte. Det gäller såväl när det kommer till inskränkningar av informationens frihet som utrullningen av en aldrig sinande ström av övervakningslagar.

Steg för steg rör vi oss mot att skapa en Storebrorsstat. Till sist når vi en punkt där detta blir ett påtagligt demokratiskt problem. Möjligen är vi redan där.

Läs mer: En votering kvar innan EU inför nätcensur för åsikter »

Offensiva hacker-verktyg i ny läcka

Återigen har verktyg tänkta att användas för IT-säkerhet hamnat i fel händer. Det är säkerhetsföretaget FireEye som utsatts för ett intrång och bestulits på sina bästa offensiva verktyg, som ofta utnyttjar för allmänheten okända säkerhetsbrister. FBI är inkopplat och spåren sägs leda till Ryssland.

Enligt New York Times är detta den största stölden av offensiva cyberverktyg sedan National Security Agency (NSA) hackades av den ännu anonyma gruppen ShadowBrokers. Då spreds NSA:s offensiva hackningsverktyg och orsakade skador för uppskattningsvis tio miljarder USD.

Detta beskriver risken med att hemlighålla hack och säkerhetsbrister för att använda dem i eget syfte. Förr eller senare läcker de och hamnar i händerna på illasinnade aktörer.

Det rimliga är naturligtvis att alla säkerhetsbrister rapporteras in och åtgärdas – för att uppnå så god allmän IT-säkerhet som möjligt.

Någonstans i världen sitter just nu en kriminell och/eller statlig aktör på en ny samling offensiva verktyg som kan användas för att skada dig, mig, företag, organisationer, myndigheter, vår infrastruktur och vår säkerhet.

Kryptering: EU:s ministerråd önskar det omöjliga

Jag sitter och läser i EU:s ministerråds plan (PDF) för att kringgå kryptering…

»We acknowledge this dilemma and are determined to find ways that will not compromise either one, upholding the principle of security through encryption and security despite encryption. Various technical options should be identified and evaluated for this purpose.«

Men tänk om det faktiskt inte går. Tänk om kryptering antingen är solid eller korrumperad, säker eller sårbar. Då kan Europeiska Unionen besluta hur mycket den vill att »olika tekniska alternativ skall identifieras och utvärderas«. De skulle lika gärna kunna besluta att månen är en grön ost. Kringgår man krypteringen av medborgarnas meddelanden, då finns det en bakdörr till våra kommunikationer som står öppen för alla.

EU skriver så mycket… I ett annat, relaterat dokument (PDF) hittade jag följande citat, som på något sätt gjorde mig opassande munter:

»De brottsbekämpande myndigheterna kan använda artificiell intelligens i sitt dagliga arbete, om tydliga skyddsåtgärder vidtas.«

Mer övervakning men få nyheter i Ylva Johanssons EU-plan mot terrorism

För den som följer övervakningsfrågorna i EU var det något förvånande när EU-kommissionär Ylva Johansson i radionyheterna i morse meddelade att hon kommer att lägga fram ett förslag för att ge myndigheterna möjlighet att snabbt plocka ner terror-relaterad information och propaganda på internet.

Ett sådant förslag finns nämligen redan: EU:s nya förordning om terror-relaterat innehåll online (TERREG/TCO). Och där pågår förhandlingar mellan kommissionen, rådet och parlamentet. Tanken är att morgondagens trilog-förhandlingar skall vara de sista. Men fortfarande är positionerna låsta. De viktigaste frågorna man förhandlar om gäller:

  • Ministerrådet vill att oönskat material skall plockas bort inom en timma, vilket Europaparlamentet menar är orealistiskt.
  • Ministerrådet vill att myndigheter i en medlemsstat skall kunna beordra nedtagning av innehåll på servrar i andra medlemsstater (eller tredje land).
  • Ministerrådet vill inte se något undantag för journalistik, kultur, forskning, dokumentation etc.
  • Ministerrådet vill se uppladdningsfilter, det vill säga automatiserad nätcensur – vilket parlamentet säger nej till.

Detta är alltså inte något nytt, utan ett ärende som redan dragits i långbänk. Vad det handlar om är att Ylva Johansson försöker öka trycket på parlamentet inför morgondagens förhandlingar.

På det hela taget är det väldigt lite nytt som presenteras i den Counter-Terrorism Agenda for the EU som EU-kommissionen presenterade idag.

Därmed inte annat sagt än att dokumentet listar ett antal kontroversiella åtgärder, även om de i allt väsentligt redan är kända. Exempel:

  • Automatiserad ansiktsigenkänning för identifiering, lokalisering och övervakning av individer.
  • EU:s nya Digital Services Act kommer att presentera en »horisontell« approach till olagligt innehåll online.
  • Ökad kontroll av resenärer genom PNR och samkörning av databaser.
  • Förstärkning av Europols mandat.
  • Man vill kringgå kryptering av privata meddelanden.
  • Förenklat utbyte av digitala bevis mellan medlemsstater.
  • Ett nytt datalagringsdirektiv.

Några nyheter finns dock:

  • 2021 kommer man att uppdatera EU:s Code of Conduct on countering illegal hate speech online.
  • 2021 kommer kommissionen att lägga fram ett förslag om »interconnected bank account registers« – det vill säga en central funktion för att kunna kontrollera alla bankkonton och transaktioner (i detta sammanhang relevant vad gäller terror-finansiering).
  • Man planerar att tillsätta en »Counter-Terrorism Coordinator«.

Även om dagens dokument främst fokuserar på radikal, militant islamism – så omfattar det även höger- och vänsterextremism.

Man har också en uppmaning till medlemsstaterna:

»Ensure that projects which are incompatible with European values or pursue an illegal agenda do not receive support from public funds.«

Ylva Johanssons 25-sidiga handlingsplan innehåller som sagt mest redan kända förslag. Den känns mer som ett papper för att avleda eventuell kritik mot att EU gör för lite för att bekämpa terrorism än som något nytt i sak. Men det kan naturligtvis vara bra att vi nu får EU:s planer på området sammanfattade i ett dokument.

Länkar:
• EU-kommissionens pressmeddelande »
• Counter-Terrorism Agenda for the EU (PDF) »

EU:s kamp mot krypterade meddelande-appar i långbänk?

Året går mot sitt slut och därmed även det tyska EU-ordförandeskapet (sedan halvårsskiftet). Detta är särskilt intressant eftersom Tyskland varit pådrivande för att få fram bakdörrar till krypterade meddelande-appar. Nu verkar det som om man inte kommer att lyckas driva detta ända fram under detta ordförandeskap och de kommande ordförandeskapen är Portugal och Slovenien, som i sammanhanget betraktas som »svagare« länder.

Därför har Tyskland nu formulerat rekommendationer för det fortsatta arbetet för att kringgå kryptering. Man är fortfarande på offensiven, men det går samtidigt att ana en viss uppgivenhet.

»We aim for a coordinated, consistent EU position on the topic of encryption because we have a joint challenge concerning encrypted data in the field of fighting terrorism, organized crime, child sexual abuse, etc. At the same time, we must value encryption as an important technology for the digital life of today and the protection of fundamental rights. We need to agree upon these complex issues and improve coordination at EU level.«

Man tänker alltså fortsätta sina försök att kringgå kryptering av meddelanden. Men än så länge har man inte presenterat några hållbara argument vad gäller det grundläggande problemet: Antingen har man säker kryptering eller så har man det inte. Bakdörrar kommer att kunna användas även av kriminella, främmande makt och andra illasinnade aktörer.

Tidigare har man pekat på en möjlighet i form av något som påminner om hemlig dataavläsning. Problemet med det är att i så fall skulle man i princip vara tvungen att tillämpa hemlig dataavläsning (statstrojaner) mot alla användare. Vilket nog är lite magstarkt, även med EU-mått mätt.

Man skriver vidare:

»We acknowledge the need to review the effects arising from different relevant regulatory frameworks in order to develop further a consistent regulatory framework across the EU that would allow competent authorities to carry out their operational tasks. We underline that the EU can leverage the strength of its single market to ensure that device manufacturers and service providers create technologies that meet the Member States’ needs while preserving the benefits of encryption. We call on all relevant actors to engage in a joint European narrative on encryption.«

Här luftar man alltså tanken att endast meddelande-appar som erbjuder staten en bakdörr skall vara tillåtna att sälja på EU:s inre marknad. Vilket naturligtvis är ett slag i luften för den som verkligen vill dölja sin elektroniska kommunikation.

Det verkar alltså som att det tyska ordförandeskapet inte lyckas driva sin kamp mot kryptering i mål, i vart fall inte innan årsskiftet.

En kvalificerad gissning är att frågan nu går i långbänk. Dock kan man inte utesluta nationella initiativ.

Trivia: De kommande EU-ordförandeskapen är – med ett halvår var – Portugal, Slovenien, Frankrike, Tjeckien och våren 2023 Sverige. Frankrike kan bli en rysare. Tjeckien kan (som det ser ut i opinionen) eventuellt ha piratpartister i regeringen. Och det svenska ordförandeskapet kommer intressant nog nästan direkt efter nästa riksdagsval.

Myten om Darknets mörka sida

Darknet – den del av internet som man bara kan nå via Tor-nätverket och browsern med samma namn – utmålas ofta som ett Eldorado för kriminella. Men nu visar en undersökning att endast 6,7% av aktiviteten på Darknet är olaglig.

Kriminalitet är förvisso ett problem. (I sammanhanget vore det intressant att se en motsvarande undersökning för det öppna internet.) Men den överväldigande majoriteten av all aktivitet (93,3%) är alltså helt legitim och laglig.

Många använder Tor för något så enkelt som att surfa anonymt utan att lämna onödiga digitala fotspår, på helt vanliga sidor som försöker komma åt vår persondata. Andra lever under förtryck och använder Tor för säker kommunikation med andra oppositionella och för att läsa och sprida nyheter som regimen ogillar.

Det kan vara värt att komma ihåg nästa gång det utbryter moralpanik och drevet går mot Darknet. Anonymitet är inte ett brott.

SVT – Ny forskning: Så liten del av darknet är fylld av kriminalitet »

Nätcensur, uppladdningsfilter, datalagring och åtgärder mot kryptering krav från EU:s ministerråd

Fredag den 13 november höll EU:s justitie- och inrikesministrar ett ministerrådsmöte online. Vad gäller kampen mot terrorismen gjorde man ett gemensamt uttalande, som bland annat innehåller följande:

  • Användning av artificiell intelligens (ingen närmare förklaring ges dock).
  • Datalagring – trots att EU:s datalagringsdirektiv underkänts av EU-domstolen för att det strider mot de mänskliga rättigheterna. (Det har redan kommit signaler från EU-kommissionen om ett nytt direktiv.)
  • Ökad insamling, delning och analys av data.
  • Förstärkning av Europol.
  • Nätcensur och uppladdningsfilter (förordningen om terror-relaterat innehåll online, TERREG/TCO).
  • Man välkomnar EU-kommissionens arbete med att skapa EU-gemensamma regler mot hat och hets mot folkgrupp.
  • Åtgärder för att komma åt innehållet i krypterade meddelande-appar.
  • Åtgärder mot radikalisering i online-spel och mot »algoritmisk förstärkning« i samarbete med EU Internet Forum-.

Mer konkreta och möjligen också fler förslag kommer på nästa möte, i början av december. Vilket även är den tid då EU-kommissionen planerar att presentera sin Digital Services Act, DSA.

Inför fredagens möte kunde riksdagens EU-nämnd inte diskutera och ge förhållningsorder som vanligt – då regeringen inte vill sända ut (de innan mötet) hemligstämplade dokumenten via e-post. Vilket ställde till det då en stor del av riksdagen är hemförlovad på grund av corona-pandemin. Därför kunde EU-nämnden inte ge instruktioner, vilket är olyckligt – då den vid tidigare tillfällen avfärdat bl.a. uppladdningsfilter. Här kan du lyssna på ett inslag i SR Ekot om saken »

Striden om krypteringen står här och nu

Varje gång ett terrorattentat sker flyttar politikerna fram övervakningsstatens positioner. Nu vill EU:s ministerråd ge myndigheterna »bakdörrar« till krypterade meddelande-appar – och i vidare mening ge sig efter kryptering som sådan, hur nu det är tänkt att gå till.

Det är rätt uppenbart att det är underrättelsetjänsterna i EU:s medlemsstater som är pådrivande. Med en svans av olika myndigheter som anser sig ha nytta av att ta del av medborgarnas kommunikationer. Nyfikenhetsbranschen.

Naturligtvis spanar man också efter terrorhot – även om de flesta terrordåd i Europa utförts av redan kända potentiella terrorister. Övervaka gärna sådana element, noga. Men offra inte alla vanliga människors rätt till privat kommunikation.

För övrigt har polisen i de flesta länder (inklusive Sverige) rätt att ägna sig åt hemlig dataavläsning vad gäller personer som är misstänkta för något riktigt allvarligt. Med denna teknik övervakas den tekniska enheten – när den visar användaren meddelanden i klartext innan de krypterats eller efter att de av-krypterats. Så polisen saknar inte verktyg.

Det börjar alltid med att man säger att man måste ha en viss form av övervakning för att kunna skydda den befolkning man själva skrämmer upp. Ta till exempel datalagringen. Den skulle bara få användas för att stoppa terrorister och grov organiserad brottslighet. Men istället kom den främst att användas för att jaga fildelare. Även Skatteverket märks bland de mest entusiastiska användarna. Övervakningslagar drabbas alltid av ändamålsglidning.

Historien lär oss att nästan vad som helst kan hända och just nu lever vi i turbulenta tider. Vem som betraktas som statens fiende behöver inte vara densamma idag som i morgon. Det är en definitionsfråga och ett politiskt beslut. Och vi har ingen aning om när vi får vår första seriöst auktoritära regering. Men det är troligt att det kommer att ske, förr eller senare. Vill vi att den skall ha rätt att ta del av medborgarnas privata kommunikationer?

Naturligtvis är den härskande politiska klassen nyfiken. (Att det till exempel heter Försvarets Radioanstalt döljer dels att det är en civil myndighet, dels att regeringskansliet och UD är storkunder.) Övervakning är en oemotståndlig godispåse för politiker och byråkrater. Så att de vet vad vänner och fiender har för sig. Information är makt.

Hur tänker man gå runt krypteringen?

Så nu går man fram på bred front. Five Eyes-samarbetet (underrättelsetjänsterna i USA, UK, Kanada, Australien & Nya Zeeland), EU:s ministerråd plus spridda länder som Japan och Indien gör något slags samordnad attack mot kryptering. Till och med formuleringarna i de dokument som läggs fram är i delar de samma.

Enkelt uttryckt handlar det om att den som driver en meddelande-app kan komma att tvingas hjälpa till att av-kryptera användares meddelanden genom att tillhandahålla en nyckel när myndigheterna gör en man-in-the-middle-attack.

Om detta är tekniskt möjligt tänker man inte ta någon hänsyn till. Och man struntar uppenbarligen i att bakdörrar och säkerhetsbrister även kan utnyttjas av till exempel kriminella, terrorister och främmande makt.

Ledamoten av Europaparlamentet Patrick Breyer (PP, DE) säger:

»Contrary to what governments would have us believe, we have to choose between interception and security. Those who want to sacrifice secure encryption in order to enable eavesdropping will destroy the protection of private secrets, business secrets and state secrets, and open the door to mass-spying by foreign intelligence services as well as hacker attacks. There is no such thing as a ‘partial backdoor’ to online communications. The security of all our communications must be given priority. This has been the clear position of the European Parliament since 2017.«

Det verkar dock som om ministerrådet i nuläget inte tänker ge sig på P2P-kryptering av vanlig e-post. I den mån det alls är möjligt.

Vad händer nu?

Österrikiska Radio FM4 har en utmärkt sammanfattning, här i en förvånansvärt bra Google-översättning från tyska:

»According to the document – any final objections are requested – this resolution of the Council of Ministers is not only almost completely formulated. It has apparently already been voted on in the Council. On November 19, it is to be adopted in the Council Working Group on Cooperation in the National Security Sector (COSI); on November 25, it is planned to submit it to the Council of Permanent Representatives of the EU Member States (COREPER). There the council decision already has the status of an I-item, so it can pass without further discussion.

The decision will then be celebrated in a virtual meeting of the Council of Interior and Justice Ministers planned for the beginning of December. What will follow is clear, namely an order from the Council of Ministers to the EU Commission to draw up a draft regulation, which will then go through the usual procedure by Parliament and the Council.

In view of the apparent unanimity, however, it would be possible in the Council of Ministers to implement the planned regulation in its core even without the involvement of Parliament. That has already happened in connection with surveillance. The famous decision in the Council’s Fisheries Committee of 1995 on the monitorability of the then new GSM networks was carried through as an A-Item (decided matter), of which the EU Parliament only became aware after it came into force in 1996.«

Tack och lov är Europaparlamentet denna gång medvetet om vad som är på väg att ske. Men samtidigt finns det skäl att tro att ministerrådets linje har stöd i parlamentets större partigrupper.

Detta är ett generalangrepp på vår rätt till säker krypterad personlig kommunikation, till privat korrespondens. Vill vi försvara denna rätt – då är det hög tid att ta striden, här och nu.

Länkar:
• Sweclockers: EU kan kräva krypteringsnycklar till meddelandeappar »
• Radio FM4: Auf den Terroranschlag folgt EU-Verschlüsselungsverbot »
• EU:s ministerråd: Draft Council Resolution on Encryption – Security through encryption and security despite encryption (PDF) »
• MEP Patrick Breyer, PP, DE »
• MEP Patrick Breyer frågar ut ministerrådets talesman (video) »