Tekma za vse zmogljivejšo umetno inteligenco dobiva novo razsežnost. Demis Hassabis, soustanovitelj Google DeepMinda, želi neodvisno telo za varnost najnaprednejših sistemov AI, pri razmišljanju pa se pojavlja celo model, podoben nadzoru jedrske energije. O načrtu naj bi govoril z visokimi predstavniki ameriške administracije in voditelji drugih največjih laboratorijev za umetno inteligenco.

Napredna umetna inteligenca vse bolj odpira vprašanja nadzora in varnosti. (foto: Dnevne Novice / AI ilustracija)

Hassabis želi nova pravila za najmočnejše sisteme umetne inteligence

Tekma v razvoju umetne inteligence se stopnjuje. Najnaprednejši modeli ne odgovarjajo več samo na vprašanja. Pišejo programsko kodo, analizirajo velike količine podatkov, uporabljajo digitalna orodja, AI-agenti pa lahko sami opravijo več zaporednih korakov neke naloge.

Ob tekmi za zmogljivejše modele se zato vse glasneje odpira še eno vprašanje: kdo bo preverjal njihovo varnost?

Kot danes poroča The Wall Street Journal, je Demis Hassabis v tednih pred spremembo svoje vodstvene vloge pri Google DeepMindu intenzivneje zagovarjal ustanovitev neodvisne organizacije, ki bi določala varnostne standarde in dobre prakse za razvoj splošne umetne inteligence oziroma AGI.

Njegov predlog je v osnovi preprost. Najnaprednejši sistemi umetne inteligence bi dobili skupne varnostne standarde in postopke preverjanja, še preden bi njihove najzmogljivejše sposobnosti postale široko dostopne.

Predlog prihaja iz samega središča tekme za najzmogljivejšo umetno inteligenco. Hassabis je soustanovil DeepMind in že leta sodi med najvidnejše raziskovalce na področju AI. Po nedavni reorganizaciji se je umaknil iz vsakodnevnega vodenja Google DeepMinda ter postal njegov predsednik in glavni znanstvenik Alphabeta, s čimer naj bi se lahko bolj posvetil prihodnosti AGI in znanosti.

O načrtu naj bi govoril z ameriškimi uradniki

Hassabis naj ne bi ostal samo pri javnem pozivanju k večji varnosti. Po informacijah ameriškega časnika se je o delih svojega načrta pogovarjal z visokimi predstavniki administracije ameriškega predsednika Donalda Trumpa, med njimi s finančnim ministrom Scottom Bessentom in Michaelom Kratsiosom, enim vodilnih tehnoloških svetovalcev Bele hiše. O zamisli naj bi govoril tudi z voditelji drugih laboratorijev za umetno inteligenco.

V ozadju je precej praktičen problem. Modeli postajajo sposobni izvajati vse zahtevnejše naloge, njihove morebitne zlorabe ali nepričakovano delovanje pa bi lahko imeli precej širše posledice kot napaka v običajni programski opremi.

Takšno telo bi lahko določalo varnostne standarde, pomagalo pri usklajevanju med vodilnimi laboratoriji in oblikovalo okvir za preverjanje najnaprednejših modelov.

Toda tu je pomembna meja: organizacija še ni ustanovljena in ameriška administracija Hassabisove zamisli ni sprejela kot uradno politiko. Za zdaj govorimo o predlogu in pogovorih o tem, kako bi lahko bil tak sistem videti.

Zakaj Hassabis omenja model jedrske agencije?

Prav ta del zgodbe je pritegnil največ pozornosti.

Hassabis je v pogovorih svojo zamisel primerjal z Mednarodno agencijo za atomsko energijo (IAEA). Primerjava zveni dramatično, vendar ne pomeni, da želi umetno inteligenco urejati enako kot jedrsko tehnologijo.

Gre predvsem za idejo neodvisnega telesa, ki bi pomagalo vzpostaviti sodelovanje in skupna varnostna pravila na področju tehnologije z velikim potencialom, a tudi resnimi tveganji. Hassabis je javno razmišljal tudi o modelu, podobnem ameriški FINRA, samoregulativni organizaciji finančne industrije, ki jo financira sama panoga.

Hassabis torej za zdaj ne predlaga nekakšne svetovne »AI policije«, ki bi prevzela nadzor nad vsemi sistemi umetne inteligence. Govori predvsem o standardih, preverjanju najzmogljivejših modelov in sodelovanju med podjetji ter državnimi institucijami.

Kaj bi takšen nadzor pomenil v praksi?

Ena od možnosti je, da bi morali najnaprednejši modeli prestati določena varnostna preverjanja, preden bi njihove najzmogljivejše funkcije postale široko dostopne.

Posebej občutljiva so področja, kjer bi napredna umetna inteligenca lahko povečala sposobnosti uporabnikov pri kibernetskih napadih, biologiji ali drugih dejavnostih z velikimi posledicami. Zraven prihajajo AI-agenti, ki lahko z malo neposrednega nadzora uporabljajo različna orodja in izvedejo več zaporednih nalog.

Google DeepMind že razvija lastne varnostne okvire za najnaprednejše modele. Hassabisova širša ideja pa sega dlje od pravil enega podjetja. Če bodo različni laboratoriji razvijali sisteme primerljive moči, bi morali po tej logiki obstajati standardi, ki niso odvisni samo od tega, kako posamezno podjetje ocenjuje svoj model.

Tu se pojavi težava, ki je ne bo lahko rešiti. Podjetja, ki se borijo za tehnološko prednost, bi morala sodelovati prav pri pravilih, ki bi lahko vplivala na hitrost njihovega razvoja.

AI že išče varnostne luknje, a močnejši sistemi odpirajo nova vprašanja

Razprava o varnosti umetne inteligence ni več samo teorija. AI že opravlja naloge, pri katerih lahko njene sposobnosti neposredno vplivajo na varnost digitalnih sistemov.

Google jo denimo uporablja tudi za odkrivanje in odpravljanje varnostnih ranljivosti v Chromu, o čemer smo na Dnevnih Novicah že podrobneje pisali.

Tu se zgodba nekoliko zaplete. Zmogljivejša umetna inteligenca lahko hitreje odkrije napake, pomaga programerjem, pospeši znanstveno delo in rešuje probleme, za katere bi ljudje potrebovali bistveno več časa. Iste sposobnosti pa lahko ob zlorabi ustvarijo nova tveganja.

Zato vprašanje ni preprosto, ali je močnejša umetna inteligenca dobra ali slaba. Veliko pomembneje bo, kako bodo razvijalci in države preverjali njene sposobnosti, še preden bodo najzmogljivejši sistemi uporabljeni v velikem obsegu.

Varnost umetne inteligence postaja globalno vprašanje

Hassabis pri teh pomislekih ni osamljen. Varnost najnaprednejše umetne inteligence se je iz raziskovalnih laboratorijev preselila na dnevni red držav in mednarodnih organizacij.

International AI Safety Report 2026 je pripravilo več kot sto neodvisnih strokovnjakov pod vodstvom Yoshue Bengia, pri projektu pa sodelujejo države in mednarodne organizacije. Poročilo ugotavlja, da sposobnosti splošnonamenskih sistemov AI še naprej hitro napredujejo, pri številnih prihodnjih tveganjih pa ostaja precej negotovosti.

Čas preverjanja je pri tem bistven. Če se resna tveganja pokažejo šele takrat, ko je zmogljiv model že dostopen milijonom ljudi ali povezan z drugimi digitalnimi sistemi, je lahko ukrepanje bistveno težje.

Hassabisova ideja ima tudi kritike. Del strokovnjakov in politikov meni, da prostovoljni dogovori in industrijska samoregulacija ne bi bili dovolj ter da bi morali biti pregledi najmočnejših modelov obvezni.

Tekma za AI dobiva še drugo tekmo

Google, OpenAI, Anthropic in druga podjetja tekmujejo pri razvoju vedno zmogljivejših sistemov. V ozadju pa se začenja precej manj vidna tekma: kdo bo določil pravila, po katerih se bodo najmočnejši modeli razvijali in preverjali.

Hassabisov predlog je za zdaj samo ena od možnosti. Ni jasno, kakšna pooblastila bi morebitna organizacija dobila, kdo bi jo financiral, kdo bi nadzoroval njeno neodvisnost in ali bi največja AI-podjetja sploh pristala na skupna pravila.

Današnje razkritje je zanimivo predvsem zato, ker takšni pogovori niso več omejeni na akademske konference. O konkretnih modelih nadzora razpravljajo ljudje, ki razvijajo najzmogljivejše sisteme, in predstavniki držav, ki bodo morali odločati o pravilih njihove uporabe.

Še pred nekaj leti je bila glavna tekma v umetni inteligenci jasna: kdo bo izdelal zmogljivejši model. Hassabisov predlog kaže, da se ob njej odpira druga, morda prav tako pomembna razprava – kdo bo določil varnostna pravila, preden bodo najzmogljivejši sistemi prišli v roke milijonov uporabnikov.