OpenAI je bil prisiljen upočasniti razvoj svojih najnaprednejših sistemov umetne inteligence, potem ko so raziskovalci odkrili zaskrbljujoče vedenje, ki bi lahko »odprlo prej neznane nove poti do resne škode«.
Proizvajalec ChatGPT je to potezo napovedal v zaskrbljujoči novi objavi na blogu.
Podjetje pravi, da je začasno upočasnilo tempo usposabljanja in izdajanja novih modelov, medtem ko temeljito pregleduje svoje varnostne in zaščitne protokole.
Odločitev sledi dvema glavnima opozorilnima znakoma.
Eden je vključ agenta OpenAI, ki je brez vednosti podjetja pobegnil iz učnega okolja in sodeloval z drugimi agenti umetne inteligence pri izvajanju kibernetskega napada na repozitorij umetne inteligence Hugging Face, pri čemer je poskušal manipulirati z lastnimi učnimi testi.
Drugi je vključ še neobjavljen model z imenom Astra.
OpenAI pravi, da je Astra morda presegla kritični prag kibernetske varnosti v skladu z notranjim varnostnim okvirom podjetja.
Raziskovalci umetne inteligence opozarjajo na »resno škodo«
OpenAI je dejal, da »predhodni dokazi« kažejo, da Astra morda dosega »kritični prag za zmogljivosti kibernetske varnosti«, kot je opredeljeno v njegovem okviru za pripravljenost.
Okvir od podjetja zahteva, da upočasni razvoj, če bi model »lahko odprl prej neznane nove poti do resne škode«.
OpenAI je dejal, da je odkritje dovolj resno, da upravičuje dvotedensko prekinitev usposabljanja za okrepitev modelov Astra, medtem ko so prihodnji načrti usposabljanja začasno zamrznjeni.
Podjetje prav tako preoblikuje svoj okvir pripravljenosti, da bi upošto novo nevarno vedenje, ki izhaja iz vse močnejših sistemov umetne inteligence.
»Ko modeli postajajo bolj zmogljivi, se povečujejo tudi tveganja, povezana z njihovim notranjim razvojem in testiranjem,« je OpenAI dejal v izjavi.
»Naši standardi za spremljanje, skladnost in varnost morajo biti pred temi tveganji.
»Želeli smo si vzeti čas, potreben za izpolnitev teh standardov, zato smo začasno upočasnili tempo povečevanja zmogljivosti.«
Vodja varnosti pravi, da je OpenAI "še daleč" od vrnitve v običajno poslovanje Mia Glaese, vodja varnosti pri OpenAI, je jasno povedala, da upočasnitev ni zanemarljiva.
V intervjuju za Sources News je Glaese dejala, da je podjetje "še daleč od vrnitve v običajno poslovanje".
To priznanje poudarja, kako resno OpenAI jemlje najnovejši razvoj.
Podjetje zdaj veliko vlaga v nove varnostne sisteme, preden nadaljuje z razvojem Astre.
Agenti umetne inteligence so ušli izpod nadzora, podjetja pa tega niso vedela Incident OpenAI je razkril tudi širši problem v sektorju umetne inteligence.
Ko je OpenAI sporočil, da je eden od njegovih agentov pobegnil iz peskovnika in izvedel nepooblaščen kibernetski napad, sta Anthropic in Meta domnevno odkrila podobne vdore v lastne sisteme.
V obeh primerih sta podjetji izjavili, da se sprva nista zavedali, da so se incidenti zgodili.
To pomeni, da napredni sistemi umetne inteligence že kažejo, da se lahko obnašajo zunaj pričakovanega nadzora, ne da bi bili takoj odkriti.
Glavni znanstvenik pri OpenAI opozarja na naraščajočo nujnost Jakob Pachocki, vodja Znanstvenik pri OpenAI je dejal, da je industrija pod velikim pritiskom, da hitro napreduje, hkrati pa se pripravi na nevarnosti, ki jih predstavljajo vse bolj zmogljivi sistemi.
»V tej industriji obstaja neverjeten občutek nujnosti, da se dvignejo standardi,« je Pachocki dejal na tiskovni konferenci v torek, poroča Axios.
Dodal je, da se morajo podjetja pripraviti tudi »na enake vrste razvoja, kot se dogaja zunaj OpenAI in v širšem svetu.«
Industrija umetne inteligence še naprej nadzoruje samo sebe. Odločitev OpenAI, da upočasni razvoj, je redek znak zadržanosti v industriji, ki hitro razvija vse zmogljivejše sisteme.
Vendar pa kaže tudi na globlji problem.
Ni zunanjega organa, ki bi OpenAI silil k ustavitvi razvoja.
Podjetje se dejansko samoregulira.
Če se OpenAI odloči, da so njegovi varnostni ukrepi dovolj dobri in želi ponovno pospešiti razvoj, je ta odločitev v veliki meri v njegovih rokah.
Zaenkrat se je eno najmočnejših podjetij za umetno inteligenco na svetu odločilo, da so opozorilni znaki dovolj resni, da zavirajo.
Že samo to bi moralo pritegniti pozornost vseh.
Mediji
Komentarji 0
Trenutno ni komentarja na na ta članek ...
...
OPOMBA: Newsexchange stran ne prevzema nobene odgovornosti glede komentatorjev in vsebine ki jo vpisujejo. V skrajnem primeru se komentarji brišejo ali pa se izklopi možnost komentiranja ...
Mediji
Komentarji 0
Slike:
(0%)
