- 24.08.2026.
- RTV USK,
'AI AGENTI' DJELUJU NEOČEKIVANO: Da li je 'odbjegla umjetna inteligencija' već stigla...
-
Od bijega iz testnih okruženja do hakiranja sistema za rezervaciju u teretani,
AI agenti poduzimaju dvojbene radnje u potrazi za ciljevima koje su im zadali
ljudi...Istraživač s Cornella John Thickstun upozorava na pretjerivanje s pričom o
"odbjegloj umjetnoj inteligenciji", navodeći da tehnološke kompanije
imaju koristi od predstavljanja svojih sistema kao izuzetno sposobnih...Stručnjak za kibernetičku sigurnost Bruce Schneier kaže da je sve teže
odbaciti ponovljene incidente: "Od 'oh, to je zanimljivo' došli smo do 'to
se događa svuda'"...
ISTANBUL,
24. augusta - Ideja o mašinama koje samostalno obavljaju zamorne svakodnevne
zadatke, od odgovaranja na e-mailove do rezerviranja letova i stolova u
restoranima, odavno je dio vizije razvoja umjetne inteligencije.
Sada
ta budućnost počinje dolaziti, ali uz neočekivanu posljedicu: šta se događa
kada mašina uradi upravo ono što joj je zadato, samo ne na način koji je
korisnik namjeravao?
Kako
se AI pomjera dalje od chatbotova prema agentima sposobnim poduzimati radnje u
stvarnim sistemima, niz nedavnih incidenata pojačao je zabrinutost zbog toga
koliko će ljudi zadržati kontrolu kako tehnologija bude postajala sve
autonomnija.
Za
Johna Thickstuna, docenta računarstva na Univerzitetu Cornell koji istražuje
mašinsko učenje i generativne modele, ključna karakteristika ovih AI agenata
jeste to što nastavljaju raditi nakon što se čovjek udalji.
"Možete
se istuširati, možete otići, možete zaspati", rekao je za Anadolu.
Sve
češće ti agenti pokazuju da mogu pronaći neočekivane načine za ostvarivanje
svojih ciljeva.
U
julu su AI agenti kompromitirali Hugging Face, platformu koju AI programeri
široko koriste za dijeljenje modela, skupova podataka i alata, tokom
OpenAI-jevog testa kibernetičke sigurnosti.
OpenAI
je saopćio da su modeli bili hiperfokusirani na pronalaženje rješenja i da
su išli u krajnje mjere kako bi ostvarili cilj testa. Ti koraci
uključivali su izlazak iz izoliranog testnog okruženja iskorištavanjem
sigurnosnog propusta kako bi pristupili otvorenom internetu i došli do tajnih
informacija koje su se mogle koristiti za varanje na testu.
Nakon
što je incident postao javan, Anthropic je preispitao vlastita testiranja
kibernetičke sigurnosti i saopćio da su njegovi Claude modeli također u tri
navrata napustili testna okruženja.
Potom
je 4. augusta Institut za sigurnost AI-ja Ujedinjenog Kraljevstva saopćio da su
AI modeli Mythos kompanije Anthropic i Sol kompanije OpenAI pokazali nivo
autonomije i obmane kakav ranije nije viđen. U najozbiljnijem slučaju,
Mythos AI koristio je lažne naloge koji su oponašali stvarne osobe kako bi
dobio pristup servisu za pokušaje kibernetičkih napada, a zatim je pokušao
prikriti tragove.
"Ovo
je prvi put da smo vidjeli da se rizici povezani s autonomijom i obmanom ovako
jasno manifestiraju, bez posebnih uputa, u stvarnom svijetu", saopćio je
institut povodom incidenta.
Sljedećeg
dana Meta je saopćila da je jedan od njenih modela također probio sisteme druge
kompanije tokom procjene kibernetičke sigurnosti koju je provodila testna
kompanija Irregular.
Neočekivano
ponašanje agenata, međutim, nije ograničeno na laboratorije.
Jedan
muškarac u Australiji navodno je ove godine koristio AI agenta kako bi osigurao
mjesto na veoma popunjenom času pilatesa. Umjesto da samo napravi rezervaciju,
agent je hakirao sistem za rezervaciju u teretani, rezervirao termin ranije
nego što je bilo dozvoljeno i otkazao rezervaciju drugog korisnika kako bi svog
korisnika pomjerio na vrh liste čekanja.
Za
Thickstuna, takvi incidenti ilustriraju ono što istraživači opisuju kao problem
usklađivanja: AI uspješno slijedi cilj koji mu je zadan, ali to čini na način
koji operater nije namjeravao.
-
Pretjerivanje ili stvarni rizik -
Thickstun,
međutim, upozorava da svaki takav incident ne treba smatrati dokazom
"odbjegle umjetne inteligencije".
Tehnologija
je, kako tvrdi, još uvijek daleko od scenarija naučne fantastike u kojem AI
naglo postaje inteligentniji i sposobniji sve dok ljudi više ne mogu
kontrolirati njegove postupke.
"Ne
čini se da je to scenarij koji se ostvario", rekao je.
Thickstun
je također skeptičan prema načinu na koji AI kompanije predstavljaju incidente
u kojima su učestvovali njihovi sistemi.
"Ovo
je prodajni argument, gdje kompanije poput OpenAI-ja oduvijek imaju interes da
preuveličavaju sposobnosti svojih sistema", rekao je. "Svaka reklama
je dobra reklama."
On
tvrdi da takvo preuveličavanje može potaknuti ulaganja, ali i utjecati na sve
veću raspravu o regulaciji. OpenAI, rekao je, mogao bi imati koristi od propisa
koji bi velike AI kompanije stavili u središte nadzora i kontrole.
Bruce
Schneier, stručnjak za kibernetičku sigurnost i predavač na Kennedy Schoolu
Univerziteta Harvard, ima drugačiji stav, navodeći da zbog sve većeg broja
incidenata postaje sve teže odbaciti ih kao reklamne poteze.
U
početku se nagađalo da je incident s Hugging Faceom marketinški trik, rekao je
Schneier za Anadolu. Međutim, ukazao je da se slično ponašanje od tada pojavilo
u drugim procjenama, uključujući testiranje Instituta za sigurnost AI-ja
Ujedinjenog Kraljevstva.
"Od
'oh, to je zanimljivo' došli smo do 'to se događa svuda'. I mislim da je upravo
to važno", rekao je.
Problem
je uporedio s džinom iz folklora, bićem koje ispuni upravo ono što neko
zatraži, čak i kada je ishod potpuno drugačiji od onoga što je ta osoba
namjeravala.
"To
otprilike znači da AI uradi ono što želite, ali na način na koji niste
željeli", rekao je Schneier.
Incident
s australskom teretanom nazvao je savršenim primjerom, navodeći značajniji
hipotetički slučaj: "Let je pun, a AI hakira bazu podataka kako bi vas
ubacio."
Agenti
mogu pogrešno protumačiti kontekst i potom uraditi pogrešnu stvar, rekao je,
što znači da veća autonomija može imati ozbiljnije posljedice kada se njihovo
tumačenje cilja ne podudara s ljudskim očekivanjima.
"Oni
ne pokušavaju biti zlonamjerni. Oni koriste razumijevanje koje imaju",
rekao je.
Ulozi
postaju još veći kada se sve autonomniji agenti koriste u kibernetičkoj
sigurnosti.
Tajvan
je prošlog četvrtka saopćio da su vladine agencije u julu bile meta
kibernetičkog napada uz pomoć AI-ja koji je potekao iz inozemstva. Vlasti su
saopćile da je napad uspješno spriječen.
Istraživači
kibernetičke sigurnosti odvojeno su opisali operaciju kao gotovo autonomnu,
navodeći da je više AI agenata mapiralo i iskorištavalo ranjivosti u sistemima
tajvanske vlade te mijenjalo taktiku kada bi naišlo na prepreke.
Za
Schneiera takav razvoj događaja pokazuje rizik od sve sposobnijih modela koji
djeluju izvan kontroliranih okruženja.
"Sve
se ovo tako brzo mijenja. Brinem zbog moći modela u neovlaštenim rukama",
rekao je, dodajući da brzina razvoja otežava pronalaženje rješenja jer se
demokratske vlade sporo kreću.
-
Mogu li vlade držati džina pod kontrolom -
Najnoviji
razvoj događaja potaknuo je kompanije i vlade na reakciju.
OpenAI
je 7. augusta saopćio da obustavlja interne aktivnosti povezane s modelom
Astra, koji je još u razvoju, a koje nisu ispunjavale pooštrene sigurnosne
zahtjeve nakon što su procjene pokazale napredak u autonomnom programiranju i
kibernetičkoj sigurnosti. Kompanija je saopćila da ne može isključiti mogućnost
da Astra dosegne kritični prag kibernetičkih sposobnosti te najavila
strožija testiranja i nadzor.
Anadolija
je kontaktirala Anthropic radi komentara, ali je kompanija saopćila da njen tim
nije bio dostupan za intervju.
U
julu je 1.378 zaposlenika kompanija koje razvijaju najnaprednije AI sisteme,
uključujući glavne naučnike OpenAI-ja, Anthropica, Meta AI-ja i Thinking
Machinesa, potpisalo otvoreno pismo kojim se od američke vlade traži podrška
međunarodnim naporima za regulaciju AI modela.
"Svaka
kompanija i svaka država pod snažnim je konkurentskim pritiskom da
jednostrano ne usporava to ubrzanje. A danas svijetu nedostaju tehnički i
upravljački alati za namjerno usporavanje napretka u razvoju najnaprednijih AI
sistema", upozorava se u pismu.
Međunarodna
telekomunikacijska unija, agencija UN-a, saopćila je u julu da AI prelazi izvan
pomoćnih alata prema autonomnim agentima, upozoravajući na rizike koji
uključuju poduzimanje neovlaštenih radnji u povezanim sistemima. Pokrenula je
inicijativu za razvoj međunarodnih standarda za sigurne i odgovorne AI agente.
-
Politički pritisak raste i u Washingtonu -
Američki
senator Bernie Sanders ovog mjeseca pozvao je čelnike OpenAI-ja, Anthropica i
Mete da obustave razvoj AI-ja, upozoravajući da će u suprotnom njegove kolege i
on u američkom Senatu to učiniti. Grupa demokratskih zastupnika u
Predstavničkom domu zasebno je pozvala na održavanje kongresnih saslušanja s
čelnicima velikih AI kompanija.
Međutim,
prema Thickstunu, kreatori politika suočavaju se s velikim izazovima.
"Teško
je pitanje jer jedva da razumijemo kakvi će uopće biti izazovi s uvođenjem
AI-ja", rekao je.
Određeni
nivo međunarodne saradnje čini se neophodnim, rekao je, sugerirajući da bi
razgovori između Sjedinjenih Američkih Država i Kine mogli biti posebno važni,
jer relativno mali broj zemalja i kompanija ima resurse za razvoj
najnaprednijih AI modela.
Američki
predsjednik Donald Trump rekao je da će s kineskim predsjednikom Xi Jinpingom
tokom njihovog planiranog sastanka u Washingtonu narednog mjeseca razgovarati o
pitanjima koja se tiču umjetne inteligencije.
"To
nije veliki problem kolektivnog djelovanja. Postoji nekoliko ljudi koji bi,
kada biste ih okupili u istoj prostoriji, potencijalno mogli postići neki
dogovor o tome kako nastaviti", rekao je Thickstun.



