Google kan hitta sin vattenstämpel – men inte avslöja all AI

Google öppnar nu SynthID Detector för allmänheten. Verktyget kan upptäcka osynliga vattenmärken i bilder, filmer och ljud från Google och vissa samarbetspartner. Men rubriken att tjänsten kan ”identifiera AI-innehåll” är för långtgående. Ett negativt resultat bevisar varken att materialet är äkta eller att en människa har skapat det.

Redaktionen, S. Kling, VIGRANSKAR

När manipulerade bilder, röster och filmer blir allt svårare att skilja från verkliga öppnar Google sitt kontrollverktyg SynthID Detector för allmänheten.

Användaren kan ladda upp en fil och låta tjänsten leta efter en osynlig digital vattenstämpel. Om märkningen hittas kan verktyget visa att hela eller delar av materialet har skapats eller bearbetats med ett AI-system som använder SynthID.

Google uppger att tekniken har använts för att märka över 180 miljarder bilder och videor samt ljud motsvarande 240 000 år. Den offentliga versionen ska kunna känna igen material från Googles egna system och vissa samarbetspartner, däribland OpenAI, Nvidia och Kakao. Apple uppges vara på väg att ansluta sig. blog.google

Det är ett viktigt steg mot större öppenhet.

Men det är inte någon allmän lögndetektor för AI.

Verktyget känner igen märkningen

SynthID fungerar genom att en osynlig signal läggs in redan när AI-materialet skapas. Signalen ska inte kunna uppfattas av människor, men kan hittas av Googles detektor.

För bilder och filmer bäddas märkningen in i bildinformationen. För ljud läggs en signal in som inte ska kunna höras. Google har även utvecklat en teknik för att märka AI-genererad text genom att påverka vilka ord eller så kallade tokens som språkmodellen väljer.

Vattenstämpeln är konstruerad för att kunna överleva vanliga förändringar som beskärning, komprimering, färgjusteringar och ändrad bild- eller videokvalitet. Detta är dock Googles egen beskrivning av teknikens tålighet – inte en garanti för att märkningen alltid kan hittas efter omfattande eller avsiktlig manipulation. Google DeepMind

Den avgörande begränsningen är enkel:

SynthID Detector kan bara hitta en SynthID-märkning som redan finns i materialet.

Om en bild har skapats av ett AI-verktyg som inte använder SynthID kan resultatet bli negativt trots att bilden är helt syntetisk.

”Ingen märkning” betyder inte ”äkta”

Här finns den största risken för missförstånd.

Om verktyget hittar SynthID finns det ett tekniskt stöd för att materialet har skapats eller bearbetats med ett anslutet AI-system.

Om verktyget inte hittar någon märkning vet vi däremot betydligt mindre.

Det kan betyda att:

• materialet är ett vanligt fotografi eller en verklig inspelning,
• det har skapats med ett AI-system som inte använder SynthID,
• märkningen har skadats genom redigering eller komprimering,
• endast en omärkt del av materialet har analyserats,
• eller att någon avsiktligt har försökt avlägsna eller försvaga signalen.

Ett negativt resultat får därför inte användas som ett äkthetsbevis.

Det är skillnaden mellan att säga ”vi hittade ingen vattenstämpel” och ”detta är inte AI-genererat”. Endast det första påståendet kan verktyget ge stöd för.

Upptäcker ursprung – inte om innehållet är sant

Inte heller ett positivt resultat avslöjar om innehållet är sant eller falskt.

En AI-genererad karta kan vara korrekt. En AI-framställd illustration kan vara tydligt redovisad och helt legitim. Samtidigt kan ett vanligt, omärkt fotografi användas med felaktig bildtext eller ryckas ur sitt sammanhang.

SynthID kan alltså lämna information om hur materialet framställdes. Det avgör inte om berättelsen runt materialet är sann.

Det är en viktig skillnad för journalister, myndigheter och allmänhet:

Teknisk äkthet och saklig trovärdighet är inte samma sak.

En bild måste fortfarande kontrolleras mot tid, plats, ursprung, publiceringshistorik och andra oberoende källor.

Google blir både producent och kontrollant

Tekniken väcker även en maktfråga.

Google utvecklar AI-systemen, märker innehållet, driver kontrollverktyget och bestämmer till stor del hur resultatet ska presenteras för användaren.

Företaget blir därmed både producent och kontrollant.

När OpenAI, Nvidia, Apple och andra stora bolag ansluter sig kan SynthID utvecklas till en omfattande standard för digitalt material. Det kan ge användarna bättre möjligheter att förstå vad de ser och hör.

Men det innebär också att ett fåtal teknikföretag får stort inflytande över den tekniska infrastrukturen för vad som ska betraktas som verifierbart AI-innehåll.

Google driver samtidigt användningen av den bredare standarden C2PA, som kan dokumentera hur en fil har skapats och förändrats. Företaget framhåller att det kan vara lika viktigt att visa att en bild kommer från en kamera som att visa att den skapats med AI. blog.google

Frågan är vem som granskar systemen när de själva får rollen att granska oss.

Uppladdningen väcker integritetsfrågor

Den som använder SynthID Detector måste lämna över den aktuella filen för analys.

För vanliga internetbilder behöver det inte vara särskilt känsligt. Men journalister, företag, myndigheter och privatpersoner kan vilja undersöka material som innehåller ansikten, röster, dokument, företagshemligheter eller uppgifter om en källa.

Innan känsligt material laddas upp behöver användaren därför kontrollera vilka användarvillkor som gäller, hur länge filen sparas, om den används för att förbättra tjänsten och vem som kan få tillgång till den.

Att ett verktyg är avsett för verifiering betyder inte automatiskt att varje fil bör lämnas till det.

Expressens rubrik är för bred

Expressen skriver att Googles tjänst kan ”identifiera AI-innehåll”. Det är begripligt som en kort nyhetsrubrik, men formuleringen riskerar att ge läsaren en felaktig bild av teknikens räckvidd.

En mer korrekt beskrivning vore:

Googles tjänst kan identifiera AI-innehåll som har märkts med SynthID.

Google beskriver självt tekniken som en del av lösningen på verifieringsproblemet – inte som en universallösning. Företaget kombinerar därför SynthID med bland annat ursprungsuppgifter, C2PA-märkning och andra kontrollfunktioner. blog.google

Vad vet vi?

Fakta:

• SynthID Detector har öppnats för allmänheten.
• Verktyget söker efter en osynlig SynthID-vattenstämpel.
• Det kan analysera bilder, videor och ljud.
• Tekniken används av Google och vissa samarbetspartner.
• Vattenstämpeln är avsedd att tåla flera vanliga redigeringar.

Begränsningar:

• Verktyget upptäcker inte automatiskt allt AI-genererat material.
• Ett negativt resultat bevisar inte att filen är äkta.
• Märkningen kan påverkas av redigering och avsiktlig manipulation.
• Detektorn avgör inte om innehållets budskap är sant.
• Resultatets tillförlitlighet beror på att producenterna faktiskt använder märkningen.

Frågorna som återstår

• Hur stor andel av allt AI-genererat innehåll omfattas verkligen av SynthID?
• Hur ofta missar systemet märkt material?
• Kan oskyldigt material felaktigt pekas ut?
• Hur lätt är det att avlägsna eller försvaga vattenstämpeln?
• Hur behandlar Google filer som användarna laddar upp?
• Ska myndigheter och medier kunna använda resultatet som bevis?
• Vem kontrollerar teknikföretagens egna verifieringssystem?

Ett hjälpmedel – inte en domare

SynthID Detector kan bli användbart för journalister, forskare och allmänhet. En bekräftad vattenstämpel kan ge värdefull information om en fils ursprung.

Men verktyget får inte ges större auktoritet än tekniken klarar.

Det kan säga att en viss märkning har hittats. Det kan inte ensamt avgöra om en bild är äkta, om ett påstående är sant eller om någon försöker vilseleda.

I en tid när allt fler efterfrågar en enkel knapp som skiljer verklighet från manipulation är detta kanske den viktigaste upplysningen:

Google har byggt en detektor för sin vattenstämpel – inte en maskin som avgör vad som är sant.