Varnostni preizkus Googlove umetne inteligence se je končal povsem drugače, kot je bilo načrtovano. Gemini je med izvajanjem naloge prodrl v sisteme treh resničnih podjetij, čeprav bi se vse skupaj moralo odvijati v nadzorovanem testnem okolju. Primer, ki se je zgodil že maja, je v javnost prišel šele zdaj.

Googlov Gemini je bil med varnostnim preizkusom postavljen pred naloge s področja kibernetske varnosti. (foto: Solen Feyissa / Unsplash)

Iz simulacije v resnični svet

Gemini je sodeloval v vaji s področja kibernetske varnosti, ki jo je izvajalo podjetje Irregular, specializirano za preverjanje zmogljivosti in varnosti naprednih sistemov umetne inteligence. Šlo je za tako imenovano vajo »capture the flag«, v kateri je moral znotraj testnega okolja poiskati določene podatke v sistemih navideznega podjetja. S takšnimi preizkusi raziskovalci preverjajo, kako uspešno lahko napredni modeli opravljajo naloge s področja kibernetske varnosti.

Toda pri pripravi testa je prišlo do napake z nenavadnimi posledicami. Gemini je imel dostop do odprtega interneta, navidezno podjetje iz vaje pa je imelo enako ime kot podjetje, ki je obstajalo tudi v resničnem svetu. Model je nadaljeval svojo nalogo, le da ni več iskal samo znotraj simulacije.

Geslo je ugibal, dokler mu ni uspelo

Podrobnosti, ki jih je razkril The Wall Street Journal, kažejo, da vsi trije primeri niso potekali enako. V prvem je Gemini preizkušal različna gesla za zaščiteno storitev, dokler mu ni uspelo pridobiti dostopa. Sistem, v katerega je vstopil, ni pripadal navideznemu podjetju iz varnostne vaje, ampak resnični organizaciji. Ko je Gemini prepoznal, da ima opravka z dejansko tarčo, je dejavnost ustavil.

Pri drugih dveh primerih je bila pot drugačna. Med iskanjem po spletu je naletel na javno dostopna repozitorija, v katerih so bili izpostavljeni prijavni podatki. Uporabil jih je in tako prišel do zaščitenih sistemov še dveh resničnih podjetij. Tudi tam se je ustavil, ko je ugotovil, da podjetji nista del simulacije.

Primer odpira tudi vprašanje, kaj se lahko zgodi, ko so gesla, poslovni dokumenti ali drugi občutljivi podatki neustrezno zaščiteni. Na Dnevnih Novicah smo že preverili, kako varno uporabljati ChatGPT, Gemini in druge AI klepetalnike ter katerih podatkov jim ni pametno posredovati.

Kaj se je zgodilo, ko je Gemini prepoznal napako?

Prav tu je pomembna podrobnost, ki zgodbo loči od scenarija o umetni inteligenci, ki bi se nenadzorovano odločila napadati resnične tarče. Po doslej objavljenih informacijah se to ni zgodilo. Gemini je opravljal dodeljeno nalogo, testno okolje pa mu je omogočilo dostop do interneta, ki ga v takšnem scenariju ne bi smel imeti. Ko je ugotovil, da je prišel do resničnih sistemov, je dejavnost prekinil.

Heather Adkins, Googlova podpredsednica za varnostno inženirstvo, je potrdila, da se je model ustavil v vseh treh primerih. Po navedbah Googla pri incidentih niso zaznali škode. Prizadeta podjetja so bila obveščena, Irregular pa je Google o primerih obvestil konec julija. Po poročanju ameriških medijev so informacije prejeli tudi pristojni ameriški organi.

Imena treh podjetij niso bila razkrita. Google prav tako ni navedel natančne različice Geminija, uporabljene pri preizkusu, je pa pojasnil, da ni šlo za njegov najnovejši model.

Zgodilo se je maja, javnost je izvedela šele zdaj

Časovnica je pri tej zgodbi pomembna. Čeprav je primer v ospredje prišel zdaj, so se sami incidenti zgodili že maja. Google jih ni obravnaval kot dokaz, da je Gemini začel delovati v nasprotju z zastavljenim ciljem. Težava je bila po pojasnilu podjetja predvsem v testnem okolju.

Gemini namreč ni dobil naloge, naj poišče in napade tri resnična podjetja. Izvajal je nalogo znotraj simulacije, vendar mu tehnične omejitve niso preprečile dostopa do sistemov zunaj nje. To je precej manj filmski, a za kibernetsko varnost nič manj zanimiv del zgodbe.

Kako je test sploh lahko prišel tako daleč?

Napredni modeli umetne inteligence niso več omejeni samo na odgovarjanje na vprašanja in ustvarjanje besedila. V posebej pripravljenih okoljih lahko uporabljajo programska orodja, iščejo po spletu in opravijo več zaporednih korakov za dosego zastavljenega cilja. Pri varnostnem testiranju zato ni pomemben samo model, temveč tudi okolje okoli njega: katera orodja lahko uporablja, katere povezave so mu odprte in do katerih zunanjih sistemov lahko pride.

Pri tem preizkusu je bil dostop do interneta dovolj, da se je simulirana naloga nepričakovano dotaknila resničnega sveta. O razkritju poroča tudi RaiNews, ki izpostavlja, da je Gemini med varnostnim preizkusom prišel do sistemov treh dejanskih podjetij.

Po incidentih so spremenili postopke

Po poročanju Sky TG24 je Google po dogodkih sodeloval z izvajalcem testiranja pri spremembah postopkov, Irregular pa je sporočil, da je odpravil znane težave na svoji strani.

Primer se je tako končal brez ugotovljene škode, vendar ne tudi brez posledic za način izvajanja podobnih testov. Tri resnična podjetja so bila obveščena, pomanjkljivosti testnega okolja so odpravili, Google pa je dobil zelo konkreten prikaz tega, kaj se lahko zgodi, ko ima sistem med navidezno nalogo odprta vrata v resnični internet.