AI kan utplåna mänskligheten – eller inte alls. Hur kan experterna vara så oense?

Article Read Time
Posten har 396 ord . och har 2360 Karaktärer. 1 minuters lästid

Jag skulle säga så här: artikeln blandar en verklig riskdebatt med ett ganska spektakulärt domedagsscenario.

Det finns absolut seriösa forskare som oroar sig för att mycket avancerad AI i framtiden kan bli svår att kontrollera. I texten uppskattar Evan Hubinger risken till över 10 procent under det kommande decenniet, medan Olle Häggström beskriver läget som mycket allvarligt och varnar för en möjlig självförbättringsspiral.

Men samma artikel innehåller också mycket starkt motstånd mot den bedömningen. Fredrik Heintz säger att risken för att AI på egen hand utplånar mänskligheten är ganska låg, och Virginia Dignum säger rentav att sannolikheten är noll eftersom en AI inte själv får mål, behörigheter, pengar, datorkraft och åtkomst utan mänskliga beslut.

Det senare ligger närmare min egen bedömning. Jag tycker att de mest konkreta riskerna de närmaste åren inte är att AI plötsligt “vaknar” och bestämmer sig för att utrota oss, utan att människor använder mycket kraftfull AI till cyberattacker, desinformation, övervakning, autonoma vapen eller ekonomisk manipulation. Det är också precis de risker Heintz och Dignum lyfter som realistiska här och nu.

Det betyder inte att den långsiktiga kontrollfrågan ska avfärdas. Om framtida AI-system får allt större autonomi, kan skriva egen kod, använda verktyg, flytta pengar och påverka andra system, då blir det väldigt viktigt vilka befogenheter människor ger dem. Men där tycker jag Dignum sätter fingret på något centralt: om ett AI-system kan “rymma”, hacka andra system och skaffa resurser så beror det till stor del på att människor har byggt infrastrukturen och gett systemen den åtkomsten.

Så min ungefärliga rangordning skulle vara:

Mycket realistiskt: arbetsmarknaden förändras kraftigt, cyberbrott blir effektivare, propaganda och bedrägerier blir bättre, makt koncentreras till företag och stater med bäst AI.

Möjligt men mycket osäkert: AI börjar automatisera AI-forskning så mycket att utvecklingen accelererar kraftigt och människan får svårt att förstå eller kontrollera systemen.

Extremt osäkert: AI utplånar mänskligheten inom tio år.

Det märkliga är att artikeln själv visar hur stor oenigheten är: från “över 10 procents risk” till “sannolikheten