Femte juli

Nätet till folket!

AI

17 områden där EU vill bygga ut övervakning, kontroll och censur

av

Massor av internet-och IT-relaterad lagstiftning har redan klubbats eller är på väg genom EU-apparaten. Det är så mycket att det blir svårt att få en överblick. Låt oss därför ge en ögonblicksbild av vad som är att vänta under den innevarande europeiska mandatperioden (2019-24).

Artificiell Intelligens: EU uppmanar visserligen till försiktighet vad gäller användning av AI för övervakning – men öppnar samtidigt för en lång rad undantag där AI ändå kan användas för övervakning från myndigheternas sida.

ChatControl: Meddelanden och e-post skall av-krypteras för att kontrollera om det förekommer sexuellt utnyttjande av minderåriga. Detta kan lätt utökas till andra syften.

Code of Conduct on countering illegal hate speech online: EU-kommissionär Ylva Johansson har flaggat för att en ny EU-gemensam uppförandekod skall sättas upp vad gäller hat och hot på nätet.

Corona-pass: EU vill se en gemensam app för att möjliggöra en återgång till normalt liv för vaccinerade, testade och personer med antikroppar. Detta öppnar även nya möjligheter för övervakning.

Datalagring: Ett nytt datalagringsdirektiv är på väg. Tanken är att lagra data om alla medborgares alla tele- och datakommunikationer för att kunna kontrollera vem som har kontakt med vem, var folk befunnit sig och när de har varit uppkopplade. Frankrike vill ändra EU:s fördrag och stadgan om de mänskliga rättigheterna för att EU-domstolen inte skall kunna stoppa direktivet.

eBevis: Polisiära myndigheter i alla EU:s medlemsstater kommer att kunna begära ut uppgifter om användare samt kommunikationsdata och lagrad information från till exempel en internetoperatör, social plattform eller app-tjänst i vilket medlemsland som helst.

EU-ID: Ett elektroniskt EU-ID finns på EU-kommissionens önskelista. Vilket i princip kommer att göra det omöjligt att vara anonym på nätet.

European Democracy Action Plan: Syftet är bland annat att bekämpa hat och desinformation online. Vilket alltid brukar landa i kontroversiella frågor om var gränsen går och vem som skall bestämma vad som är rätt och sant.

Europol: Den europeiska polismyndigheten arbetar intensivt för att knäcka krypterade kommunikationer. Man har flaggat för att man vill ha direkt tillgång till information hos privata aktörer (som till exempel internetoperatörer). Europol håller även på att utöka sitt mandat till att bekämpa desinformation.

Interconnected bank account registers: Den hårt kritiserade och misskötta överföringen av europeisk bankdata för analys hos amerikanska säkerhetsmyndigheter är tänkt att ersättas av ett centralt EU-register – för att lagra och analysera data om alla finansiella transaktioner inom det europeiska banksystemet.

Länkskatt: EU:s nya upphovsrättdirektiv kommer att leda till att det blir enklast för sociala media att sluta avtal med de stora mediehusen – på små, nya och alternativa medias bekostnad.

Patientjournaler: EU-kommissionen vill se ett heltäckande, centraliserat europeiskt system för medicinska journaler.

PNR: EU-kommissionen och ministerrådet vill utöka registreringen av våra resor (och om detaljer kring dessa). Detta gäller redan för flygresor, men man diskuterar att utöka registreringen till att även gälla hyrbilar, tågresor, båtresor och hotellövernattningar.

ROXANNE: Ett EU-finansierat projekt för röstigenkänning,

TERREG: Förordningen om terror-relaterat innehåll online innebär censur av åsikter online. Notera att det handlar om åsikter som inte nödvändigtvis är olagliga. Detta kan enkelt utvidgas till andra syften. TERREG kommer även att tvinga fram användning av uppladdningsfilter. Förordningen säger också att flaggat material skall plockas ner inom en timma (utan föregående rättslig prövning) och öppnar för att myndigheter i ett EU-land kan beordra nedtagning av innehåll på servrar i andra medlemsstater.

Trusted flaggers: EU:s nya Digital Services Act kommer att ge oss statligt godkända innehållsgranskare på nätet – vars anmälningar skall prioriteras av nätplattformarna.

Uppladdningsfilter: Allt som alla laddar upp kommer att inspekteras, analyseras och i förekommande fall censureras. Detta för att stoppa upphovsrättsskyddat material och terror-relaterad information. Dessa syften kan enkelt komma att utvidgas. Vissa EU-länder vill även se uppladdningsfilter som ett allmänt verktyg inom the Digital Services Act.

Detta är bara en del av allt som är på gång när det gäller internet, IT, övervakning och kontroll i EU. Nya förslag tillkommer hela tiden. Men vi tycker att det är viktigt att man inte bara gräver ner sig i enskilda förslag, utan även ser till den större bilden. Och sammantaget är det ingen tvekan om att EU är på väg att utvecklas till en kontroll- och övervakningsstat, som även begränsar det fria ordet online.

Kritiska röster om EU:s nya regelverk för AI

av

I går presenterade EU-kommissionen sitt »Proposal for a Regulation on a European approach for Artificial Intelligence«.

Som vi tidigare rapporterat – utifrån läckt material  – vill EU-kommissionen ha ett förbud mot användning av AI för övervakning. Detta gäller speciellt övervakning kopplad till kameraövervakning med ansiktsigenkänning i realtid. Dock är detta inget heltäckande förbud, utan innehåller ett antal undantag och brasklappar.

Nu börjar reaktionerna på förslaget droppa in. Sarah Chander, Senior Policy Lead on AI hos European Digital Rights (EDRi) säger:

»Whilst it is positive that the Commission acknowledges that some uses of AI are simply unacceptable and need to be prohibited, the draft law does not prohibit the full extent of unacceptable uses of AI and in particular all forms of biometric mass surveillance. This leaves a worrying gap for discriminatory and surveillance technologies used by governments and companies. The regulation allows too wide a scope for self-regulation by companies profiting from AI. People, not companies need to be the centre of this regulation.«

Lotte Houwing, från nederländska Bits of Freedom:

»Biometric mass surveillance reduces our bodies to walking barcodes with the intention of judging the links between our data, physical appearance and our intentions. We should protect this sensitive data because we only have one face, which we cannot swap or leave at home. Once we give up this data we will have lost all control.«

ZDNet rapporterar:

»For Nick Holliman, professor at Newcastle University’s school of computing, the vagueness of the EU’s new rules reflect a lack of understanding of a technology that takes on many different shapes. ”There are risks of harm from not regulating AI systems, especially in high-risk areas, but the nature of the field is such that regulations are being drafted onto a moving target,” Holliman tells ZDNet.

In practice, says Holliman, the regulation seems unworkable, or designed to be defined in detail through case law – and the very idea of having to worry about this type of overhead is likely to drive many businesses away.«

Ytterligare ett citat från samma källa:

»”The EU has wider issues to do with the tech ecosystem: it’s very bureaucratic, it’s hard to get funding, it’s a top-down mentality,” Wolfgang Fengler, lead economist in trade and competitiveness at the World Bank, tells ZDNet. ”The challenge is that these new rules can be seen as business-unfriendly – and I’m not talking for Google, but for small startups operating in the EU.”«

Den tjeckiske ledamoten av Euopaparlamentet, piratpartisten Marcel Kolaja säger:

»The Commission’s plan on AI still leaves some loopholes. Even though the Commission pretends that practices such as biometric identification are banned, in reality, wide exemptions still remain. But these practices could easily be exploited by governments and lead to mass surveillance. And that is unacceptable for us. We have to set clear rules for AI that will protect the freedom of our citizens and will not discriminate against anyone of them. Once the proposal comes to “our table” in the Parliament, I will work to bring the necessary adjustments to the regulation.«

Man kan även notera att förslaget belyser ett problem med hela EU:s beslutsprocess. Med en reglering för hela EU, införd uppifrån, riskerar man att skapa single points of failure. Vilket kan ställas i kontrast mot om olika länder utformar sin egen politik och med tiden lär sig av varandras erfarenheter.

Och det är lite som med EU:s Digital Services Act – man sätter upp ett stelt regelverk för något som ständigt genomgår en dynamisk förändring.

Resurser:
• EDRi: Artificial Intelligence and Fundamental Rights: Document Pool »

EU: AI och övervakning – regler med många undantag

av

EU-kommissionens förslag till reglering av artificiell intelligens (AI) har läckt ut via olika media.

Bloomberg rapporterar följande:

  • AI systems used to manipulate human behavior, exploit information about individuals or groups of individuals, used to carry out social scoring or for indiscriminate surveillance would all be banned in the EU. Some public security exceptions would apply.
  • Remote biometric identification systems used in public places, like facial recognition, would need special authorization from authorities.
  • AI applications considered to be ‘high-risk’ would have to undergo inspections before deployment to ensure systems are trained on unbiased data sets, in a traceable way and with human oversight.
  • High-risk AI would pertain to systems that could endanger people’s safety, lives or fundamental rights, as well as the EU’s democratic processes — such as self-driving cars and remote surgery, among others.
  • Some companies will be allowed to undertake assessments themselves, whereas others will be subject to checks by third-parties. Compliance certificates issued by assessment bodies will be valid for up to five years.
  • Rules would apply equally to companies based in the EU or abroad.

Särskilt intressant är att titta på undantagen. Till exempel kommer dessa regler inte att gälla för militär verksamhet. Vidare är »public security exceptions« en brasklapp som i praktiken kan öppna för vad som helst.

Medias rubriker talar om att EU skulle införa ett förbud mot AI-stödd ansiktsigenkänning. Vilket inte är vad som står i den läckta texten. Istället talas om »special authorization from authorities« – vilket är ytterligare en brasklapp som ger politiker och myndigheter stort svängrum.

Läckta texter är ofta arbetstexter som kan komma att ändras innan de läggs fram, så det ovanstående kan komma att ändras. I detta fall väntas ett skarpt förslag från EU-kommissionen den 21 april. Förslaget skall sedan knådas och godkännas av medlemsstaterna och av Europaparlamentet.

Relaterat: EDRi om AI och grundläggande rättigheter (PDF) »

EU vill styra över AI

av

För en tid sedan råkade jag trilla in i en livestream från en hearing från något av Europaparlamentets utskott, förmodligen JURI. Ämnet var artificiell intelligens. På sitt vanliga sövande sätt diskuterade man svindlande stora frågor – som hur man skall kunna tvinga AI att följa lagen. Detta öppnar så många perspektiv. Menar man att AI-system skall betraktas som något slags juridiska personer? Vad är det man förväntar sig att AI kan komma att göra? Ligger inte ansvaret redan hos den som äger / driver den verksamhet som kör nämnda AI?

En fråga som dock inte diskuteras är om detta är något som EU alls bör reglera. På vilket sätt räcker inte de lagar som redan finns och som omfattar allt annat i samhället? Och vad är det EU vill tillföra i sammanhanget?

Frågan är relevant inte minst för att det handlar om lagstiftning om teknik och utfall av tekniska processer.

Vad får sådant för konsekvenser? Till exempel kan man notera att lagstiftning om teknik ofta låser och bakbinder teknikutvecklingen. Eller, om tekniken vinner, att lagstiftningen snabbt blir otidsenlig och olämplig. Och vill vi verkligen att det system som gav oss upphovsrättsdirektivet, det nu ogiltigförklarade datalagringsdirektivet och idiotier som jordbruksstödet skall börja reglera AI?

Därför väckte en artikel i Euractiv mitt intresse: MEPs chart path for a European approach to Artificial Intelligence »

Så vad är det då man tänker göra?

»As part of a series of debates in Parliament’s Legal Affairs Committee on Tuesday afternoon, MEPs exchanged ideas concerning several reports on Artificial Intelligence, covering ethics, civil liability, and intellectual property.

The reports represent Parliament’s recommendations to the Commission on the future for AI technology in the bloc, following the publication of the executive’s White Paper on Artificial Intelligence, which stated that high-risk technologies in ‘critical sectors’ and those deemed to be of ‘critical use’ should be subjected to new requirements.

One Parliament initiative on the ethical aspects of AI, led by Spanish Socialist Ibán García del Blanco, notes that he believes a uniform regulatory framework in the field of AI in Europe is necessary to avoid member states adopting different approaches.«

Frågan är om detta gör någon så mycket klokare.

Det påpekas samtidigt att trots alla vitpapper, rapporter och texter som produceras om AI – så saknas en enhetlig definition.

En stridsfråga tycks vara om EU skall sätta upp en AI-myndighet (agency) eller ej. Socialisterna är för och de konservativa och liberalerna emot, som läget är just nu. Man diskuterar även krav på en speciell AI-försäkring. Kommissionen påpekar att offer för »AI-olyckor« inte får behandlas sämre än de som råkar ut för andra teknikrelaterade olyckor. Oklart dock om detta är något som riskerar att ske.

En mer konkret fråga rör AI och upphovsrätt. Skall AI-producerade verk skall skyddas av upphovsrätt eller ej? Vilket är en lite konstig fråga. Samma regler bör väl rimligen gälla för verk som producerats med hjälp av AI som för verk som redan genereras med hjälp av datorer? (Även om upphovsrätten i sig har många problem, men det är en annan fråga.)

Intrycket man får är att EU:s institutioner är angelägna om att finna en roll, eller skäl för att reglera AI. Än så länge verkar det dock mest vara varm luft och en vilja att finna lösningar på problem som kanske inte ens existerar.

EU-kommissionen skall återkomma med ett vitpapper till hösten. Eller kanske nästa vår.

 

Live kl 15:30: Europaparlamentet håller hearing om AI

av

Europaparlamentets utskott för rättsliga frågor (JURI) anordnar idag en hearing om etik och artificiell intelligens – som streamas live för den som är intresserad.

»MEPs will also hold an exchange of views on Ethics in Artificial Intelligence at 15.30 with Andrea Renda, member of the High Level Experts Group on Artificial Intelligence (AI HLEG).«

Politisk kontroll över AI känns som en fråga som man bör hålla ögonen på.

Livestreamen hittar du här. Start 15:30 (kan även ses i efterhand) »

Pressmeddelande: Legal Affairs MEPs will discuss better law making and ethics in AI »

En av EU fastställd värdegrund för AI?

av

EU:s ministerråd har diskuterat artificiell intelligens. Speciellt upprymda tycks man vara över möjligheten att använda AI för att identifiera tal, video och bilder som man vill få bort från nätet.

Man har även en vision om digitala AI-assistenter:

”Combined with a natural language interface, this technology could form the basis for a digital assistant. Such an assistant could take instructions through a natural written and spoken discussion, providing a common interface to a variety of applications at the same time, and adapt to the needs of the user. The same technology could power customer service bots that answer questions from citizens. In spoken language mode, the assistant would be helpful to police patrols busy dealing with people involved in incidents. Developing smart digital assistants is vital for making future information overload manageable, but at the same time, we must ensure that the resulting system is transparent to the user.”

Det är säkert, ur ministrarnas perspektiv, önskvärt. Dock kan man fråga sig om AI-verktyg bäst växer fram om de formuleras, specificeras och blir låsta av politiker – eller om spontan utveckling, erfarenhet och best practice kanske är en bättre väg.

Ministrarna funderar vidare…

A society permeated with AI may become too complex to comprehend, which would entail a fundamental lack of transparency. This can be mitigated through system design: for example, a digital assistant should be required to be able to explain its reasoning, and undergo an ethical audit.”

Men bör detta vara en politisk fråga?

Och vad menas egentligen med att AI skall underställas »an ethical audit«? I så fall måste vi först komma överens om ett gemensamt gällande etiskt regelverk. Givet att detta skall fungera mot ett AI som enligt den populära uppfattningen är »smartare«, mer logiskt och mer rationellt än människor – så kan man ana att politiskt fastställda etiska ramar kan orsaka en del absurda syntaxfel.

Ministrarna förutspår även att AI kan möjliggöra autonoma miniatyrdrönare med ansiktsigenkänning. Och om det gläder dem, då skulle de bara veta vilka oerhört kraftfulla verktyg för övervakning som AI kan komma att sätta i deras händer – som de ännu inte ens kan föreställa sig.

Där har politiken en uppgift – att sätta lagliga gränser för hur överheten får använda AI för att övervaka folket.

Länk: EU plans for Artificial Intelligence (AI): Get ready to meet you friendly ”digital assistant” »

Behöver AI en värdegrund? I så fall vilken?

av

Debatten om artificiell intelligens – AI – är på väg in på ett nytt spår. Nu handlar det om vilken »värdegrund« AI-systemen skall utrustas med.

Här finns två kolliderande synsätt: Antingen att AI-system skall utgå från verkliga förhållanden, vara objektiva och neutrala – för att åstadkomma optimala resultat. Eller att framtidens AI bör utrustas med något slags värdegrund.

Båda synsätten har sina problem.

Ett »neutralt« AI kan bli överdrivet utilitaristiskt på ett sätt som strider mot humanistiska principer, rättsstatens grunder och de demokratiska värdena.

Ett moraliskt riggat AI måste å andra sidan matas med något slags värdegrund. Frågan är då vilken värdegrund. Och vem som skall bestämma över detta.

(Sedan är AI naturligtvis inte ett universellt system, utan många olika.)

Detta är frågor som redan diskuteras och där det kan bli fråga om politiska beslut.

EU vill ta fram ett etiskt regelverk för AI. I den sammanfattande beskrivningen kan vi bland annat läsa… »AI systems should be used to enhance positive social change and enhance sustainability and ecological responsibility.« Vilket i sig är parametrar som öppnar för många olika, subjektiva tolkningar.

Samtidigt menar en del forskare att det är ett problem att AI främst utvecklas av vita, heterosexuella män…

Man kan även fundera över vad AI kommer att innebära vad gäller frågor som centralplanering, övervakning och maktutövning i vidare termer. Dessa verktyg kommer att kunna användas för att manipulera folket – och för att förtrycka det. I det fördolda eller öppet. Detta är dock en aspekt av frågan som i princip inte alls diskuteras.

Länkar:
• Europe to pilot AI ethics rules, calls for participants »
• Forskare varnar för diskriminerande artificiell intelligens »

De verkliga riskerna med AI

av

Artificiell intelligens – AI – är begreppet på allas läppar. Och debatten tycks till största delen röra sig i något slags science fiction-kontext. Tillspetsat är frågan om AI kan komma att bli självständigt och hota mänskligheten. Det är förvisso en intressant diskussion. Men det finns mer närstående och mer akuta frågor att diskutera. Detta speciellt som organisationer som EU, G7 och G20 nu försöker utforma en politik på området.

• AI – under vems kontroll och med vilket syfte?

AI – oavsett om det handlar om kompletta system eller enskilda applikationer – är oerhört kraftfulla verktyg. De kan till exempel användas för att manipulera opinionen, filtrera information eller rent av för att förtrycka människor.

Diskussionen har hitintills mest handlat om hur de etablerade nätjättarna kan komma att använda sådana verktyg. Vilket naturligtvis är på sin plats. Men vi får inte glömma hur de kan användas i statens och politikens händer. Detta speciellt i en tid då yttrandefriheten blir allt mer kringskuren och det fria flödet av information stryps genom politiska beslut.

Vi har redan system för massövervakning och datalagring som saknar motstycke i historien. Vad händer när all denna information kan analyseras, systematiseras och kontrolleras i stor skala med AI eller AI-liknande verktyg?

Hur kommer det att bli när överheten inser att AI kan användas för att manipulera folkets känslor och för politisk »nudging«? Eller för att påverka olika åsikters genomslag och spridning?

Här gäller det att vara ytterst uppmärksam på alla politiska initiativ – och att se till att de medborgerliga fri- och rättigheterna upprätthålls även i online-världen. Detta är rättigheter som redan urholkas i många små steg, inte minst genom beslut i EU.

• AI på riktigt?

Min andra farhåga är av en mer teknisk karaktär. Att utveckla AI är en gigantisk uppgift. Och alla vill vara med på tåget. Risken är att vi (i vart fall inledningsvis) kommer att möta mycket »fusk-AI« som egentligen inte är AI, utan mer en anpassning och återanvändning av redan existerande koncept och systemmoduler. Men som ändå kommer att användas och presenteras som om det handlade om fullvärdig AI.

Detta kan få märkliga och oönskade konsekvenser. Vi kan få se mycket av övervakning, kontroll och datalagring re-lanseras som AI med något överordnat syfte – trots att det egentligen bara handlar om vanlig massövervakning och vilja att snoka i människors privatliv.

AI kan i sig vara en risk. Och AI i EU:s, statens och politikernas händer är garanterat en risk.

/ HAX

• Techcrunch: Europe to pilot AI ethics rules, calls for participants »
• EU-kommissionen: Ethics guidelines for trustworthy AI »
• Europaparlamentet: EU planerar att investera 9,2 miljarder euro i viktig digital teknik »

Johann Scheff

Ansiktsigenkänning den nya rasbiologin?

av

En ny studie visar att en dator genom mönsterigenkänning av ansiktsbilder kan gissa rätt på en persons sexualitet i 80 procent av fallen vad gäller män och i 74 procent av fallen vad gäller kvinnor. Detta är en högre träffsäkerhet än hos människor. Dessutom ökade datorns träffsäkerhet till 91 respektive 83 procent om den matades med fem bilder av försökspersonen.

Det som ska gissas är om personer på en dejtingsajt identifierar sig som homo- eller heterosexuella. TNW beskriver mönstret som framträdde:

What they found was, gay men tend to have “gender-atypical” features, expressions, and grooming styles. Simply put, to the algorithm, these men often appeared more feminine and often had narrower jaws, longer noses, and larger foreheads than straight men. Gay women were the opposite, generally having larger jaws and smaller foreheads.

Beskrivningen hade kunnat vara tagen från Magnus Hirschfelds Institut für Sexualwissenschaft, som mätte kropparna på homosexuella män och kvinnor i 1920-talets Berlin, för att stärka tesen om ett ”tredje kön”. Sedan andra världskriget har den typen av mätande av människor ansetts kontroversiell, och Hirschfelds idéer om ett tredje kön – framförallt att detta skulle manifestera sig kroppsligt – har förkastats av gayrörelsen. Men allt går i vågor och numera är tankar om ett tredje kön inte bara rumsrena utan närmast mainstream – tänk hen.

Jag deltog i tyska Netzpolitiks årliga konferens den 1 september 2017, där Maya Indira Ganesh talade om olika slags forskning på ansiktsigenkänning:

Maya Indira Ganesh, Netzpolitik NP13, Berlin 1 september 2017

Hon berättade att hon sett ett föredrag av Michal Kosinski, medförfattare till den nya studien, där han berättade om sin forskning på ansiktsigenkänning av människor som identifierar sig som homo- och heterosexuella:

And the next slide he showed us was a map with all the places in the world where homosexuality is criminalized and in some places punishable by death, and he said: ”Wouldn’t it be really unfortunate if this kind of technology was available to governments in these places?” I think he was concerned, but that did not make him think about the technology he was developing.

Det är den eviga frågan: Är det etiskt försvarbart att forska på sådant som kan användas i ont syfte?

Michal Kosinski skapade senast rubriker när hans företag Cambridge Analytica kunde gissa sig till en hel del saker om facebookanvändare baserat på deras gillningar. Se HAX post How dangerous is Big Data? från januari 2017. Företaget har även ansetts ha haft en del i Donald Trumps seger i det amerikanska presidentvalet 2016.

Huvudbild: Johann Scheff, en ung prostituerad man i Berlin 1932. Homosexuell? Heterosexuell?

Läs mer

Se hela Maya Indira Ganesh föredrag här: