Bojana Pleterski, direktorica podjetja Info hiša, je ena največjih slovenskih strokovnjakinj za varstvo osebnih podatkov in tudi za CRM, poleg tega pa tudi pomaga podjetjem pri vzpostavitvi sistemov upravljanja z umetno inteligenco.

Najprej prisrčen pozdrav. Evropski parlament je prav pred dnevi sprejel zgodovinski ‘Akt o umetni inteligenci’, ki ureja področje UI (umetne inteligence) in je obenem prva takšna celovita zakonodaja na svetu. Zakaj je bil sprejem novih predpisov tako pomemben, da so šli postopki še nekoliko hitreje od predvidenega, kar je v strukturah EU prava redkost?

“Dne 13. marca 2024  je Evropski parlament potrdil besedilo uredbe, sedaj čakamo še na potrditev Sveta Evrope in potem bo ‘Akt o umetni inteligenci’ objavljen v EU Uradnem listu, 20 dni kasneje začne veljati. S tem predlogom, ki je prvi tovrstni na svetu, želi EU vzpostaviti svetovni standard za urejanje UI inteligence v drugih jurisdikcijah, tako kot je bilo v primeru splošne uredbe o varstvu podatkov.

S tem bi dodatno spodbudili evropski pristop k urejanju na področju tehnologije na svetovnem prizorišču. To je tudi bila velika želja in motiv, da je bil sklenjen začasni dogovor še v času predsedovanja Španije Svetu Evropske unije, saj bi v nasprotnem primeru ostalo premalo časa za sprejem te uredbe zaradi letošnjih volitev v Evropski parlament, tako pa bi izgubili leto ali leto in pol.

Glede na zelo hiter razvoj, ki ga je spodbudila široka uporaba velikih jezikovnih modelov, je bilo tudi sicer hitro jasno, da je potrebno področje dodatno urejati, torej poleg obstoječe zakonodaje, saj umetna inteligenca prinaša večja tveganja. Veliko število mednarodnih organizacij in zvez (OECD, G7, UN,…) je pričelo sprejemati načela, oblikovati usmeritve in Evropa se je močno angažirala, da bi tukaj zavzela vodilno vlogo. “

Kaj za pomeni nova zakonodaja za vaše podjetje Info hiša, kjer ste direktorica, oziroma širše gledano, kaj pomeni za slovenska podjetja? Kakšne bodo koristi in kakšne bodo nove obveznosti?

“Na kratko to pomeni, da moramo upravljati področje umetne inteligence (angl. AI Governance). Vsa podjetja in druge organizacije, ki že uporabljajo rešitve umetne inteligence, morajo poskrbeti, da zagotovijo zadostno razumevanja sistemov umetne inteligence – pismenosti umetne inteligence – med svojimi zaposlenimi in zunanje sodelavci, ki so vključeni v uporabo sistemov umetne inteligence v njihovem imenu.

To je vsekakor prvi korak. Oblikovati je potrebno time, kjer bodo zajete obstoječe izkušnje in znanje zaposlenih ter kontekst, v katerem se sistem umetne inteligence uporablja, oziroma se bo v prihodnje uporabljal. ‘Black box’ torej ni pravi princip. Brez razumevanja UI ne bomo mogli sprejemati premišljenih odločitev v zvezi s sistemi umetne inteligence in tudi ne bomo mogli prepoznati možnosti in tudi tveganja umetne inteligence.

V sklopu razumevanja UI sistemov je najbolj pomembno, da jih pravilno razvrstimo glede v skupine glede na tveganje, kot jih ‘Akt o umetni inteligenci’ razvršča. S to definicijo nas namreč čakajo obveznosti. Danes večina uporabe sistemov UI sodi v skupino z omejenim ali minimalnim tveganjem, kar pomeni, da je poleg zagotavljanja pismenosti z umetno inteligenco potrebno poskrbeti še za transparentnost (npr. povemo, kdaj posameznik komunicira s sistemom UI namesto s človekom, če uporabljamo virtualne asistente) in v primeru ustvarjanja vsebin s pomočjo generativnega sistema UI le-te označimo kot take.

Če gre za sisteme umetne inteligence z visokim tveganjem, bodo morali ponudniki preden bodo dali svoje sisteme na trg EU ali ga kako drugače začeli uporabljati, izdelati oceno skladnosti za zaupanje vredno UI (vpliva na temeljne pravice). S tem bodo dokazovali, da njihov sistem izpolnjuje zahteve glede kakovosti podatkov, dokumentacije in sledljivosti, preglednosti, človeškega nadzora, točnosti, kibernetske varnosti in robustnosti.

Uvesti bodo morali tudi sisteme za obvladovanje kakovosti in tveganj. Potrebno bo namreč tudi kasneje, ko bo produkt na trgu, zagotavljati skladnost in zmanjševati tveganja. Resne incidente ali kršitve temeljnih pravic bodo morali poročati nadzornem organu in sodelovati v morebitni preiskavi. Koristi lahko strnemo predvsem v dve skupni; v sklopu usmeritev, obveznosti lahko pričakujemo razvoj zaupanja vredne umetne inteligence, ki bi jo morali obravnavati kot higienik.

To bo povečalo zaupanje v tehnologijo in tudi razširilo njeno uporabo. Na drugi strani pa je predvidenih tudi veliko ukrepov za spodbujanje razvoja umetne inteligence. Tki. ‘regulativni peskovniki’ za UI (to je nadzorovano okolje za razvoj, testiranje in potrjevanje inovativnih UI sistemov) morajo omogočati tudi testiranje inovativnih UI sistemov v dejanskih razmerah. Pri tem pa je potrebno seveda vključiti veliko zaščitnih ukrepov kot so: transparentnost in privolitev sodelujočih, brez negativnega vpliva nanje, zahtevno zavarovanje, po testu se vsi podatki zbrišejo…

Info hiša nastopa kot partner v upravljanju z umetno inteligenco, pomagamo organizacijam vzpostaviti sistem upravljanja in svetujemo pri izpolnjevanju obveznosti. To področje zahteva široko multidisciplinarnost, razumevanje več strokovnih področij in je zelo pomembno, da se med seboj razumemo, se znamo poslušati in prilagoditi razlago svoje strokovne plati tistemu, ki jo potrebuje razumeti. Za Info hišo lahko trdim, da smo skozi vse svoje izkušnje to multidisciplinarnost dobro razvili in da lahko marsikateri koncept s področja varstva osebnih podatkov z ustreznimi prilagoditvami prenesemo na področje upravljanja z UI.”  

Možnosti uporabe UI so izjemno raznovrstne. V Sloveniji se ne primer UI v kmetijstvu že vse bolj uporablja v vinogradih, oljčnikih in sadovnjakih – npr. za pravočasno obrambo pred škodljivci in vremenskimi ekstremi. Na katerem področju pa je UI pravzaprav danes najbolj prisotna v Sloveniji?

“Umetno inteligenco srečamo v res veliko področjih, predvsem pa tam, kjer gre za analizo podatkov, na primer pri spletnih nakupih za priporočene izdelke, enako pri oglaševanju, vsa sponzorirana sporočila in oglasi, ki jih dobimo v svojih računih na družabnih omrežjih. Dolgo že uporabljamo virtualne asistente kot so Siri, Alexa, v zadnjem obdobju imamo virtualne asistente kot prvi nivo podpore strankam pri vrsti ponudnikov storitev in izdelkov, srečamo jo na področju odrivanja zlorab pri plačilih in podobno.

Široka je uporaba te tehnologije tudi v zdravstvu, logistiki, avtomobilski industriji in še bi lahko naštevali. Umetna inteligenca je mnogo več kot smo sedaj široko spoznali z velikimi jezikovnimi modeli, na katerih delujejo ChatGPT, Bart oz. zdaj Gemini, torej generativna umetna inteligenca.

Priznati moramo, da je ta napredek na področju strojnega učenja res izrazito pospešil uporabo umetne inteligence na splošno in da je kombinacija slednjega z ostalimi področji umetne inteligence (NLP, ekspertni sistemi, speech to tekst, prepoznavanje slik, itd.) zelo učinkovita.”

Pravkar sprejeti ‘Akt o umetni inteligenci’ se drži principa, da je potrebno urediti umetno inteligenco na podlagi njene zmožnosti povzročanja škode družbi – večje kot je tveganje, strožja naj bi bila pravila. Kakšen je vaš komentar, so se pri sprejetju novih predpisov striktno držali tega principa?

“Ja res je, uredba temelji na principu večje tveganje več obveznosti (tudi prepovedi). Tako kot običajno tudi poznamo, se v začetku pri pripravi predloga bolj striktno držimo načel, ki se jih začrtamo, potem pa v postopku sprejemanja zakonodaje, pridejo prilagoditve, podrobno tolmačenje in tudi spremembe. Uredba ima veliko relativno odprtih definicij (na primer kateri sistemi se uvrščajo v katero skupino glede na tveganje), ki se bodo natančneje opredelili v izvedbenih aktih in dodatnih smernicah.

To je vsekakor potrebno, saj se področje novih tehnologih res hitro spreminja in bo do začetka izvajanja določil te uredbe že marsikaj novega. Po drugi strani pa je težava, da nimamo jasnih opredelitev in obstaja prostor za interpretacijo in kot ste rekli, možnosti da se ne držimo striktno določil zakonodaje.  Je pa vendarle potrebno poudariti, da v končnem besedilu obstaja veliko manevrirnega prostora za javne organe.

Pri tem so se zakonodajalci trudili, da bi povsem prepovedali uporabo biometrične prepoznave obraza na daljavo, vendar so na koncu popustili, da se le-ta lahko uporabi v resnih kriminalnih primerih (terorizem, droge, trgovina z ljudmi, umori). Poleg tega bi lahko ocenili tudi, da je regulacija največjih temeljnih modelov, ki lahko povzročajo največjo škodo, zelo omejena. Govorim o nezmožnosti regulacije največjih – že monopolnih igralcev, ki s svojim položajem močno vplivajo na naše zasebno in poslovno življenje, kot tudi demokracijo če hočete.”

Novi Akt določa, katere prakse so škodljive in jih prepoveduje, predvideva pa tudi sankcije v primeru kršitev. Omenili bi tri: uporabo sistemov za prepoznavanje čustev na delovnih mestih, uporabo socialnih kreditnih točk (kot jih imajo npr. na Kitajskem) in določene aplikacije prediktivnega policijskega nadzora posameznikov. Ali nam lahko malce bolje prestavite te tri primere?

“Prepovedano je uporabljati UI za prepoznavanje čustev na delovnem mestu in v izobraževalnih ustanovah, razen iz zdravstvenih ali varnostnih razlogov pri določenih poklicih kot je na primer spremljanje stopnje utrujenosti pilota. Facial Emotion Recognition (FER) je tehnologija, ki analizira izraze obraza iz statičnih slik in videoposnetkov, da razkrije informacije o čustvenem stanju osebe. Zapletenost obraznih izrazov, tudi uporaba podzavestne tehnike in umetne inteligence povzročajo velika tveganja glede zasebnosti in človekovih pravic na sploh.

T.i. ‘social scoring’ na Kitajskem predstavlja zbiranje in obdelavo vseh mogočih podatkov, ki jih posamezniki puščajo za seboj (ocene, obnašanje v šoli, spoštovanje prometnih predpisov, kaj brskajo na spletu, koga sledijo, všečkajo, objavljajo na družabnih omrežij, kako redno plačujejo svoje obveznosti, kje se potepajo, s čim se ukvarjajo, za kaj potrošijo denar,…) in na podlagi algoritmov se izračunajo njihove možnosti vpisa na fakulteto, kje lahko dobijo stanovanje, kakšen kredit jim je odobren, o zaposlitvi, napredovanju ipd.

Pri zadnjem primeru pa gre za oceno verjetnosti, da fizična oseba stori ali ponovi kaznivo dejanje, in sicer izključno na podlagi oblikovanja profilov fizičnih oseb ali ocene osebnostnih lastnosti in značilnosti, lahko tudi preteklega kaznivega ravnanja fizičnih oseb ali skupin. Ta prepoved se ne uporablja za UI sisteme, ki se uporabljajo za podporo človeški oceni vpletenosti osebe v kriminalno dejavnost, ki že temelji na objektivnih in preverljivih dejstvih, neposredno povezanih s kriminalno dejavnostjo.”

EU je želela s sprejemom nove zakonodaje zastaviti visok standard za regulacijo umetne inteligence, hkrati pa naj bi standard EU veljal tudi za druge jurisdikcije. Kako naj bi to delovalo v praksi, če vemo, da marsikatera država oz. marsikatera oblast na tem svetu ne spoštuje mednarodno sprejetih pravil?

“Gre bolj za to, da na enak način kot je vzpostavila tudi standard, po katerem bi se zgledovale druge države. Kakorkoli še vedno slišimo takšne in drugačne kritike, da smo v Evropi konservativni in da z ostrejšo zakonodajo omejujemo razvoj, nas druge države – tudi v ZDA sledijo na področju zasebnosti, kjer je sedaj že 13 države sprejelo svoj zakon o varstvu osebnih podatkov. Zakoni se med seboj mestoma razlikujejo, opazno pa je sledenje principa GDPR.

Države si želijo, da bi sodelovale v izmenjavi podatkov z Evropo in to najlažje dosežejo, če Evropska komisija izda sklep o ustreznosti, ki poenostavljeno pove, da država zagotavlja pravice posameznikov glede zasebnosti na takem nivoju, kot to določa EU. Je pa to res (za nekatere preveč) idealističen pogled, če pomislimo na vse, kaj se dogaja okoli nas v zadnjem času. Veliko se bo še spremenilo; tako na področju razvoja in uporabe tehnologije kot tudi na področju njene regulacije.

Razviti je sicer potrebno še vrsto sekundarne zakonodaje, smernic in priporočil, ki bodo natančneje urejali področje. Vendar pa zavedanje o razsežnosti uporabe in tudi zavedanje tveganj, ki jih prinaša umetna inteligenca, raste, strokovnjaki in regulatorji na tem področju sodelujejo in to je po moje edina prava pot, da izkoristimo priložnosti, ki jih UI prinaša, na odgovoren način. Pri celi zgodbi je najbolj pomembno razumevanje, kaj dejansko obdelujemo, kaj so rezultati…  Vse to me zelo zanima, ker na ta način je moja analitična žilica še vedno aktivna.”

Omenili ste vašo analitično žilico. Kako pa ste vi, Bojana Pleterski, sploh pristali na področju varovanja osebnih podatkov in CRM?

“Ja, dobro vprašanje. Sem analitična oseba, od nekdaj so me zanimale številke in potem me je zelo zanimal potrošnik, njegovo obnašanje in kaj ga naredi zadovoljnega in še bolj – kaj ga naredi zvestega. Programi zvestobe so kmalu postali moja najbolj priljubljena tema v raziskovanju potrošnikov in imela sem to srečo, da je ta strast bila tudi moja služba. 10 let sem kot Direktorica CRM vodila Mercator Piko, kar je pomenilo veliko zanimive analitike, razvoja strategij, veliko razvojnih projektov.

Kmalu po prevzemu te funkcije sem že bila na prvem obisku pri Informacijskem pooblaščencu, saj je varstvo osebnih podatkov obvezna sestavina vsakega programa zvestobe. Tema mi je bila vedno zelo blizu, zaupanje potrošnikov, da skrbno ravnamo z njegovimi osebnimi podatki in spoštujemo njegove pravice, je prav tako eden od ključnih elementov zvestobe. Rada imam iskanje rešitev za izzive v praksi in to je zame postalo tudi področje varstva osebnih podatkov, to res rada počnem.

Vedno z vidika, kako lahko obdelujemo podatke, kakšne so naše obveznosti in ne v smislu ‘tega se ne sme in pika’. Želim, da se moji podatki obdelujejo, vendar na odgovoren način. In enako velja za uporabo umetne inteligence. Tudi tukaj želim svojo energijo posvetiti v iskanje rešitev, kako odgovorno uporabljati UI.”

Zakonodaja EU o varovanju osebnih podatkov GDPR je bila sprejeta že leta 2016. Katere koristi je prinesla, je morda kje razočarala in ali se morda pričakujejo še kakšne spremembe?

“Vsekakor je prinesla večje zavedanje pomena zasebnosti. Kot posamezniki se bolj zavedamo, kje se naši osebni podatki obdelujejo, kje puščamo sled, bolj smo pozorni in večkrat opazimo, da nekaj ni u redu. To lahko pripišemo tudi odgovornosti organizacij, da svoje obveznosti glede varstva osebnih podatkov izpolnjujejo. Tudi poznavanje obdelav v organizacijah je višje, zaposleni so bolj izobraženi na tem področju. Vendar pa bi si želela, da bi bilo to še boljše – na obeh straneh.

Še vedno se marsikje čuti odpor do te teme, samo površinsko poznavanje, ni nam še dovolj sedlo v zavest, da razmišljamo o zasebnosti pri vsakem razvojnem projektu, marketinški aktivnosti, implementaciji nove programske rešitve in ne čakamo na zaključek takega projekta. Takrat pa imamo res več težav, saj varstvo osebnih podatkov ne pomeni samo to, da uredimo dokumentacijo. Konkretnih sprememb v smislu posodobitve uredbe v bližnji prihodnosti (še) ne vidim.

Obstajajo nekatere pobude, predvsem ob vsaki obletnici GDPR je več govora o tem, vendar so močnejše pobude o izvajanju uredbe – torej več nadzora, več aktivnosti na nivoju držav članic, da bi se GDPR izvajala. Kot je to običajno na drugih področjih, pa se tudi tukaj dogajajo precedenčni primeri in eden takšen, ki se mi zelo pomemben v luči urejanja uporabe podatkov, ki jih spodbuja celotna digitalna strategija Evrope, je zadeva T-557/20 na Evropskem sodišču.

Pri tem primeru je zelo pomemben poudarek na definiciji psevdonimizacije in anonimizacije osebnih podatkov. Sodišče je namreč omililo izredno visoke standarde, ki veljajo za anonimizacijo, čemur sedaj EDPS (evropski nadzornik za varstvo podatkov) s pritožbo ugovarja. V kolikor bo pritožba zavrnjena, bo uporaba osebnih podatkov dobila večje razsežnosti, saj za anonimizirane podatke določila GDPR ne veljajo.”

Kaj pa pravzaprav pomeni Customer relationship management (CRM) in kako v primeru vašega podjetja oz. katere od vaših strank deluje v praksi?

“CRM je upravljanje, urejanje odnosa s strankami. To pomeni usmerjeno zbiranje in obdelovanje osebnih podatkov, z namenom ponujanja izdelkov in storitev, ki jih potrošnik potrebuje in si jih želi. Namen je ustvarjanje dobrega odnosa s potrošnikom, ki vodi do zvestega potrošnika, če govorimo o zasebnem sektorju. Zelo podobno je tudi v javnem sektorju, kjer zbiramo in obdelujemo podatke zato, da lahko izvajamo take storitve, ki jih posameznik potrebuje glede na njegove potrebe.

Torej gre za strategijo in implementacijo procesov zbiranja, obdelave in hrambe podatkov, ki omogočajo, da svojo dejavnost izvajamo učinkovito in odgovorno – tako z vidika uporabniške izkušnje kot tudi skladnosti z zakonodajo. Na tem področju imamo veliko izkušenj in jih delimo z našimi strankami.”

Z umetno inteligenco smo se nekateri prvič srečali v davnem letu 1984, ko je v kinodvorane po svetu vstopil prvi film franšize ‘Terminator’. Če so biološki roboti-vojaki še vedno predragi za izdelavo, pa 40 let kasneje avtonomni bojni droni niso več znanstvena fantastika, ampak najbrž že kar vsakdanja realnost. Z vsemi vojaškimi spopadi, ki pravkar potekajo po svetu, se nam poraja zaključno vprašanje tega intervjuja: kaj pa, če UI nenadoma ugotovi, da smo ljudje največja nevarnost za ta planet in morda tudi za samo UI, zato bi nas bilo še najbolje ‘ukiniti’?   

“Potem upam, da bomo imeli svojega Johna Connorja… Ampak resno, vse bomo morali narediti, da do tega ne bo prišlo in tudi zato je veliko govora o odgovorni rabi umetne inteligence. Vsekakor je zelo pomembno, da poznamo tveganja in z njimi resno upravljamo. Osnovni elementi, ki jih Akt tudi zahteva, so: kakovost vhodnih podatkov, dokumentiranje in sledljivosti obdelav podatkov, preglednost, človeški nadzor, ukrepi za zagotavljanje točnosti, kibernetske varnosti in robustnosti.

Ponudniki UI sistemov z visokim tveganjem bodo morali uvesti tudi sisteme za obvladovanje kakovosti in tveganj. Potrebno bo namreč tudi kasneje, ko bo produkt na trgu, zagotavljati skladnost in zmanjševati tveganja. Resne incidente ali kršitve temeljnih pravic bodo morali ponudniki in tisti, ki bodo te rešitve implementirali v svoje procese, tudi poročati nadzornem organu in sodelovati v preiskavi, če jo bo nadzorni organ izvedel.”