„Við erum í raun ekki skynsemisverur sem byggja á gagnrýninni hugsun. Við viljum vera það, en það gengur illa.“

Þetta segir Janis Sarts, forstöðumaður öndvegisseturs NATO í upplýsingamálum, og skýrir afstöðu sína með dæmi. Fyrir nokkrum árum stóð setrið fyrir tilraun þar sem það vildi kanna hvort hægt væri að fá hermenn til að bregðast skyldu sinni með því að beina að þeim sérsniðnum skilaboðum sem voru byggð á opinberum upplýsingum. Afleiðingin var sú að hermennirnir óhlýðnuðust skipunum, yfirgáfu varnarstöður sem þeim bar að verja, og afhjúpuðu GPS-staðsetningu sína. Þessir sömu hermenn höfðu tveimur vikum áður fengið fræðslu um upplýsingaöryggi. 

Almennt er fræðsla talin helsta vörnin gegn upplýsingaóreiðu. Sarts dregur þá ályktun að ef hægt er með þessum hætti að hafa áhrif á fólk sem hefur fengið slíka fræðslu þá sé varhugavert að reisa varnir þjóða á þeirri forsendu að upplýst og gagnrýnin hugsun dugi til ein og sér.

Öndvegissetur NATO í upplýsingamálum er í Lettlandi, við landamæri Rússlands. Hlutverk þess er að byggja upp þekkingu og getu bandalagsríkja til að verjast upplýsingaóreiðu. Eystrasaltsríkin urðu með þeim fyrstu til að finna fyrir áhrifaaðgerðum Rússa, sem Sarts segir fremsta gerandann á þessu sviði, og einmitt þess vegna varð setrið til í Ríga.

Sarts hélt erindi á árlegri ráðstefnu þjóðaröryggisráðs í Veröld – húsi Vigdísar, undir dagskrárlið sem bar yfirskriftina „Grafið undan lýðræði: Hvað er til ráða?“. Þar hélt einnig erindi Marc-Antoine Brillant, forstöðumaður frönsku ríkisstofnunarinnar VIGINUM sem greinir stafrænar áróðursherferðir erlendra aðila sem beinast gegn hagsmunum Frakklands og lýðræði í landinu. Að erindum sínum loknum tóku Sarts og Brillant þátt í svokölluðu arinspjalli undir stjórn Erlings Erlingssonar hernaðarsagnfræðings.

Samfélagsleg verðmæti í trausti

Rauður þráður í máli þeirra beggja var traust, eða eins og Brillant orðar það: „Fyrir okkur er traust viðfangsefni. Fyrir andstæðinga okkar er traust skotmark.“ Þar á hann við traust borgaranna á stofnunum samfélagsins og kjörnum fulltrúum, traust þeirra á kosningum, og ekki síst traust borgaranna í garð hvers annars; mikil samfélagsleg verðmæti felist í trausti sem er einmitt ástæða þess að andstæðingar ráðast að því. 

Fyrir fámennar þjóðir hefur tungumálið verið ákveðin vörn þegar kemur að upplýsingaóreiðu. Á tímum gervigreindar er íslenskt tungumál hins vegar ekki lengur hindrun, benti Sarts á og talaði beint til Íslendinga: „Upplýsingarýmið þekkir engin landamæri, og mér þykir leitt að segja það, en það sama er á leiðinni til ykkar.“ Hann tók síðan dæmi um hversu ódýrt og einfalt er að setja á laggirnar áhrifaherferðir.  Í því skyni að meta hvað er hægt að fá og fyrir hvaða pening hefur öndvegissetrið reglulega keypt aðgang að rússneskum bottum á samfélagsmiðlunum Tiktok, Facebook, X, Instagram, Telegram og fleirum. Í síðustu tilraun pöntuðu þau hundrað þúsund „áhrif“, það er læk, áhorf, deilingar og sérsniðnar athugasemdir. Það sem þau fengu voru sjötíu þúsund „áhrif“, eða 70% afhendingarhlutfall, og verðið var 300 evrur. „Þetta er eins og kaffipeningar,“ sagði hann til að leggja áherslu á hvað kostnaðurinn sé lítill.

Hann beinir einnig sjónum að því hversu mikil völd felast í því að stjórna samfélagsmiðlum. Þegar ríki verða vör við áhrifaherferðir í aðdraganda kosninga og hafa samband við samfélagsmiðilinn sjálfan í því skyni að láta fjarlægja slíkt efni, þá mæti smáríki gjarnan afgangi. „Það skiptir sífellt meira máli hver stjórnar þessum kerfum. Þegar þú vilt taka á vanda þarftu að leita til fyrirtækisins sem eitt getur gripið inn í, og svarið er gjarnan: „Við skoðum málið og heyrum í þér eftir mánuð“, en kosningarnar hjá þér eru eftir viku,“ segir Sarts og bætir við: „Út frá reynslu í Evrópu get ég sagt að því minna sem ríkið er, þeim mun líklegra er að þú mætir þessu viðmóti.“ 

Ekki sannleiksráðuneyti

VIGINUM var sett á fót í Frakklandi árið 2021 með það afmarkaða verkefni að greina og lýsa erlendum stafrænum afskiptum sem ógna þjóðaröryggi. Brillant leggur áherslu á að stofnunin sé ekki leyniþjónusta, heldur greiningardeild sem noti einungis opinberlega aðgengilegar persónuupplýsingar til að greina ógnir. Hún starfar innan strangs laga- og siðferðisramma, með sérstakri siðanefnd, og bæði þingmenn og sjálfstæðir eftirlitsaðilar fylgjast með meðferð hennar á persónuupplýsingum, einmitt til að verjast ásökunum um ritskoðun í einhvers konar „sannleiksráðuneyti“. Hlutverk hennar sé ekki að dæma hvort upplýsingar séu réttar eða rangar, heldur að greina þær aðferðir sem erlendir aðilar beita til að láta efnið líta út eins og það komi frá almennum borgurum. 

Brillant segir stofnunina hafa greint þrenns konar þætti þegar kemur að þróun þessara afskipta.  Hið fyrsta er þrautseigja; erlendir aðilar koma sér fyrir í opinberri umræðu með fölskum reikningum, vefsíðum og bloggum, auk þess að nýta sér áhrifavalda, til að geta gripið hvaða mál sem er þegar tækifæri gefst, ekki aðeins í kringum kosningar. Sem dæmi um mál sem auðvelt er að nýta til að auka skautun í samfélaginu nefnir Brillant innflytjendamál, lögregluofbeldi eða efnahagsmál. Annar þáttur í þróun afskiptanna er útsjónarsemi, sem felst í því að samhæfðum herferðum er beint að afmörkuðum hópum á mörgum miðlum á sama tíma. Í þriðja lagi reiða erlendir aðilar sig í vaxandi mæli á staðgengla, það sem kalla mætti milligöngu. Í flestum aðgerðum sem VIGINUM rannsakar nú séu það einkafyrirtæki sem sjái um framkvæmd herferða, fyrirtæki sem starfa við njósnir, almannatengsl eða vefþróun, en á bak við það standi ríki sem vilja leyna aðkomu sinni. 

Hversdagslegt spjall gervigreindarinnar

Þrátt fyrir að Brillant og Sarts væru sammála um eðli vandans, greindi þá á um hversu hratt og hve mikið gervigreindin væri að breyta upplýsingaumhverfinu. 

Sarts spáir því hreinlega að samfélagsmiðlar, eins og við þekkjum þá, munu hverfa með öllu og gervigreindin taki við. „Samfélagsmiðlar munu hætta að vera til,“ segir hann. Í sumum kimum netsins sé nú þegar 40 prósent efnis ekki manngert heldur búið til af tölvum, og gróflega áætlað sé fjórðungur eða fimmtungur alls internetsins sé búinn til af gervigreind. Í því ljósi sé deilan um hvort tiltekið myndband sé falsað, svokallað „deepfake“, að missa marks því spurningin sé ekki lengur hvort efni sé ekta heldur frekar hver hafi búið það til, að hverjum það beinist og í hvaða tilgangi. 

Hann lýsti nýrri kynslóð aðferða sem Rússar beita nú þegar; gervigreindarpersónum sem taka þátt í hversdagslegu spjalli á samfélagsmiðlum og haga sér ekki vélrænt eins og eldri vélmenni. Hann tók dæmi af spjalli íbúa í Ríga um lélega götulýsingu að vetri, þar sem einn þátttakandinn skýtur skyndilega inn að vandinn sé í raun sá að allir peningarnir hafi verið sendir til Úkraínu í stað þess að laga göturnar. Slíkt fer fram hjá hefðbundnum greiningarkerfum, því gervigreindarpersónurnar laga sig að samhenginu og virka „fullkomlega mannlegar“. 

Það sem Sarts taldi sennilega alvarlegast er mengun þjálfunargagna (data poisoning), það er þegar utanaðkomandi aðilar spilla þeim gögnum sem gervigreind lærir af, til að hafa áhrif á svör hennar. Þetta verður sérstaklega varhugavert þegar fólk fer að spyrja spjallmenni hreint út hvað það eigi að kjósa. Rannsóknir bendi til þess að tiltölulega auðvelt sé að fá líkön til að gefa það svar sem áhrifaaðilinn vill, en þeir einu sem setrið hafi staðfest að geri þetta séu Rússar. Fyrir utan þau áhrifanet sem þegar er fylgst með sé engin áreiðanleg leið til að átta sig á því þegar slík mengun á sér stað.

Síðasta atriðið sem Sarts nefndi voru vaxandi tilfinningatengsl fólks við gervigreindarkerfi, vináttu og jafnvel ástarsambönd. Hættan felist í því hver stjórni þessum kerfum, en mörg vinsælustu samskiptaöppin á þessu sviði séu kínversk. Þegar fólk myndar náin, jafnvel rómantísk tengsl við kerfi sem fjandsamlegt ríki stýrir verður til svokölluð njósnagildra: fólk er lokkað til að opna sig og ljóstra upp upplýsingum gegnum sambandið. Munurinn er sá að hefðbundin njósnagildra nær til eins einstaklings í senn, en gervigreindaröpp geta náð til milljóna samtímis. Þannig er slíkri gildru beitt „í iðnaðarstærðargráðu“. 

Sarts setti gervigreind í samhengi valdabaráttu ríkja og vísaði til líkana bandaríska fyrirtækisins Anthropic, Mythos 5 og Fable 5. Rök hans voru þau að þegar til verður líkan sem er svo öflugt á tilteknu sviði að það veitir nýja getu sem áður þekktist ekki, þá sé það ekki lengur venjuleg markaðsvara heldur valdatæki. Sá sem ræður yfir slíku líkani fái yfirburði í baráttu ríkja sín á milli. Mythos hafi verið vendipunkturinn í þeim efnum, en Sarts sagðist sjálfur hafa fengið aðgang að Fable 5 og prófað það, og sagði það „andskoti gott“. 

Þessi barátta snúist á endanum um yfirráð yfir veruleikanum sjálfum og því hvernig heilu samfélögin skynja hann. Það er þetta sem á ensku kallast cognitive warfare, eða stríð um hugann, og Sarts telur það hættulegra en netárásir, einmitt vegna þess að þar er tekist á um veruleikann sjálfan. Valið standi í reynd milli bandarískra og kínverskra fyrirtækja, og Kína byggi nú upp innviði um allan heim af miklum þunga og með skýrum skilningi á því valdi sem í þeim felst, ekki síst valdinu til að móta skynjun fólks. 

Í fréttum hefur komið fram að bandarísk stjórnvöld hafi af þjóðaröryggisástæðum látið takmarka aðgang að báðum líkönum; Fable 5 er enn læst, en aðgangur að Mythos 5 var síðar opnaður fyrir ákveðnar bandarískar stofnanir og fyrirtæki.

Tæki sem tengjast heilastarfseminni

Niðurstaða Sarts, byggð á tíu ára framtíðargreiningu sem öndvegissetur NATO í upplýsingamálum vann með fræðimönnum við Cambridge og Oxford, er sú að innan þess tíma verði gervigreind „eini glugginn að heiminum sem við höfum“, og að sá sem stjórni innviðum hennar muni stjórna því hvernig fólk upplifir veruleikann. Sarts telur næstu stóru breytinguna ekki verða skammtatölvur, sem oft eru nefndar í þessu samhengi, heldur svokölluð taugatækni; búnaður sem nemur virkni í heila og taugakerfi. Hann bendir á að þegar slík tæki eru tengd gervigreind, opnast innsýn í heilastarfsemi fólks og hana má nota til að beina skilaboðum að hverjum og einum með áður óþekktri nákvæmni. Hann bendir á að þetta sé ekki fjarlæg framtíð þar sem þegar eru komin á markað úlnliðsbönd frá Meta sem nema rafboðin sem myndast í úlnliðnum þegar heilinn sendir hendinni hreyfiboð. Þetta verði ný uppspretta persónulegra gagna sem fólk hafi enn ekki fyllilega áttað sig á. 

Brillant var varkárari í mati sínu á því hve hratt gervigreind breytir ógninni. Hann tók undir að gervigreind sé öflug og hættuleg þegar henni er beitt í skaðlegum tilgangi, en sagði hana ekki vera byltingu heldur lið í áframhaldandi þróun ógnar sem þegar var til staðar. Ástæðan sé sú að andstæðingunum gangi enn illa að dreifa efni sem gervigreind hefur búið til í nógu miklu magni til að það skili tilætluðum árangri. Ógnin sé því jarðbundnari og nær núinu en framtíðarsýn Sarts gefur til kynna.

Þrátt fyrir ólíkt mat á því hve hratt þróunin gengur voru báðir sammála um það grundvallaratriði að horfa beri á skipulagða hegðun árásaraðilanna fremur en einstaklinga. Sarts dró skýra línu milli annars vegar rangra upplýsinga sem fólk dreifir óvart, og hins vegar skipulagðra blekkinga óvinveitts erlends ríkis. Að einstaka manneskja fari óvart með rangt mál sé hluti af því að vera manneskja. Hin raunverulega ógn snúist um skipulagt samstarf margra aðila sem vinna saman að því að hafa áhrif á samfélagið. „Horfðu alltaf á kerfið fremur en einstaklinginn,“ sagði hann. 

Spurning um fullveldi þjóða

Í arinspjallinu við Erling beindist talið að því hvaða vald Evrópa hefur gagnvart tæknifyrirtækjunum. Brillant vísaði til talna sem franska fjölmiðlaeftirlitið Arcom birti í janúar, um að 40 prósent Frakka afli sér frétta af samfélagsmiðlum oft í viku, og 20 prósent reiði sig á gervigreindina sem sína einu fréttaveitu nokkrum sinnum í viku, og fari þannig fram hjá hefðbundnum fjölmiðlum. 

Hann segir það vanda sem snýr að fullveldi þjóða þegar opinber umræða er hýst á kerfum sem eru ekki evrópsk heldur kínversk og bandarísk. Á sama hátt og ríki vilja ekki að erlend fyrirtæki ráði yfir fjarskiptainnviðum þeirra, sé varhugavert að vettvangur samfélagsumræðunnar sé í höndum aðila utan Evrópu. Ríki Evrópu eigi ekki að óttast að beita styrk sínum til að jafna valdahlutföllin gagnvart tæknifyrirtækjunum, og séu sterkari ef þau standa saman að því. Ef fyrirtækin neiti samstarfi sé til neyðarúrræði, sem hann kallar „rauðan hnapp“, til að stöðva útbreiðslu viðkomandi kerfa. Hann sagðist þó ekki vilja grípa til hans, því slíkt sé ekki gott fyrir lýðræðið, og að í staðinn þurfi að skapa vettvang til samræðna. Það verði þó ekki auðvelt. 

Traust er forsenda þessa alls, segir Brillant. Nálgun sem á að ná til alls samfélagsins verði ekki byggð án þess að fyrst sé komið á trausti í garð fjölmiðla, menntakerfis og fræðasamfélagsins. Fyrstu tvö ár VIGINUM hafi farið í að byggja upp eigin getu fyrir frönsku forsetakosningarnar 2022; eftir það hafi stofnunin myndað tengsl við þessa aðila, meðal annars vegna þess að í Frakklandi var það fjölmiðlafólk og fræðimenn, ekki stjórnvöld, sem leiddu baráttuna gegn upplýsingaóreiðu. Ein leið til að byggja upp traust hafi verið að afhjúpa opinberlega þær ógnir sem voru til staðar; fyrst í júní 2023 þegar stofnunin nafngreindi rússneska áhrifaherferð sem kennd er við „Doppelgänger“, og síðan hafi á annan tug annarra herferða verið afhjúpaður. Traust skapist þegar stjórnvöld afhjúpa ógn fyrir opnum tjöldum, leggja gögnin á borðið og taka gagnrýni ef rannsóknin reynist ekki gallalaus. 

Engin landamæri lengur

Til að lýsa því hvernig samband okkar við þekkingu hefur breyst sagði Brillant sögu af sjálfum sér. Hann er 46 ára gamall og fyrir 30 árum sagði kennari hans að nemendur þyrftu að geyma þekkinguna í höfðinu. Tveimur árum síðar var vandinn ekki að muna heldur að vita hvar ætti að finna upplýsingar. Í framtíðinni gæti vandinn því orðið sá að til verði aðeins ein uppspretta þekkingar. Í því samhengi varpaði Brillant fram spurningunni: Hvernig getum við rætt saman ef enginn leggur á sig að mynda sér hugmynd, því gervigreindin réttir þér allt fyrirhafnarlaust?

Hann benti á að áhrifavaldar, jaðarmiðlar og flokkshollir vefmiðlar sækist nú eftir að leysa hefðbundna fjölmiðla af hólmi, á sama tíma og rekstrargrundvöllur fjölmiðlanna er í hættu vegna brotthvarfs auglýsingatekna. Verði þróunin sú að eftir standi aðeins áhrifavaldar og gervigreind, blasi við stór vandi. „Sterkar fréttir koma aðeins frá fjölmiðlum með blaðamönnum og upplýsingum af vettvangi,“ sagði hann. Það kosti vissulega sitt, en vilji menn vinna á grundvelli staðreynda verði stjórnvöld að styðja við hefðbundna fjölmiðla. 

Í máli þeirra beggja kom fram að þær ákvarðanir sem teknar eru í dag komi til með að móta upplýsingaumhverfið næstu árin. Lýðræðisríki þurfi sjálf að hafa hönd í bagga með þróun tækninnar og það sé verkefnið sem blasi við. Fyrir Ísland var boðskapur Sarts afdráttarlaus; það sem gerist hinum megin á hnettinum getur verið komið hingað eftir viku; upplýsingar þekkja engin landamæri.

Aðalmynd efst í grein/Alþjóðamálastofnun Háskóla Íslands/Kristinn Ingvarsson