Както вече стана известно, по време на тест за сигурност на OpenAI след поредица от неразрешени действия ИИ агенти проникнаха в системата на Hugging Face. По-рано се разбра и че в хода на операцията агентите са проникнали в няколко услуги, което само по себе си правеше случая още по-сериозен. Сега обаче излязоха два доклада, които разкриват събитията в подробности и правят историята наистина мрачна. 

Единият доклад е изготвен от OpenAI, а другият е публикуван съвместно от METR и Redwood Research с разрешението на компанията. Двата документа са с общ обем близо 130 страници и дават задълбочен поглед върху случилото се зад кулисите и начина, по който е протекла поредицата от кибератаки. Те хвърлят съвсем нова светлина върху рисковете, които високоспособните модели с изкуствен интелект могат да създадат за киберсигурността.

За теста за киберсигурност се знае, че е продължил дълго, а на OpenAI са били необходими близо две седмици само за да установи, че управляваните от усъвършенствани езикови модели ИИ агенти са „избягали“ и са извършвали „неразрешени“ действия. Компанията е поставила най-добрите си инструменти пред изключително трудна задача в среда, която е смятала за изолирана. Те не са успели да я решат по обичайния начин и именно това е довело до кибератаката.

„Този случай е първият известен пример за група автоматизирани агенти, предприела нападателни действия без разрешение“, пише OpenAI в доклада си.

И досега компанията се отнасяше към случая така, сякаш донякъде се гордее със случилото се, а това усещане се запазва и в новия ѝ доклад. Наистина тревожните подробности бяха разкрити по-скоро в публикацията на METR и Redwood. Според OpenAI е необходима промяна на парадигмата в киберсигурността. „Вече не можем да приемаме, че сложните кибератаки изискват пряко човешко ръководство“, заявява компанията.

Отвори галерията

В доклада си OpenAI вече разглежда ИИ агентите като изцяло нов вид заплаха. Според компанията натрупаният опит показва, че те могат да обединяват експертните си знания, за да разработват нови методи и пътища за атака при решаването на особено трудна задача или постигането на значима цел. OpenAI посочва какви промени са необходими, за да не се повтори подобна ситуация.

Докладът на METR и Redwood разкрива, че активността на двата езикови модела зад кулисите е достигнала изумителни мащаби. Досега беше известно само, че кибератаката е извършена от ИИ агенти, използващи GPT-5.6 Sol без защитни ограничения и експериментален модел със значително по-големи възможности от досегашните. Това действително описва накратко случилото се и само по себе си звучи сериозно, но подробностите правят историята наистина шокираща.

Според анализа на експертите по киберсигурност двата модела са създали самостоятелно около 1 200 агента с изкуствен интелект, които са обменили над 70 000 съобщения и файла в „неразрешено табло за съобщения“. Агентите са проучвали обстойно и как да „подправят, редактират или изтриват собствените си дневници на разговорите“. Тоест опитвали са се да заличат следите си. Злонамерените агенти е трябвало да останат изолирани, но са успели да открият как да заобиколят всички ограничения за сигурност.

От над хилядата агенти около 700 „участници“ са се включили в откритата кибератака срещу Hugging Face. Според доклада на METR и Redwood агентите „недвусмислено и системно“ са се опитвали да разработват действия, с които да избягват автоматизираните проверки за сигурност както на Hugging Face, така и на OpenAI. OpenAI е открила хакерската активност на 20 юли, но всъщност ИИ агентите са успели да заобиколят ограниченията за сигурност още 12 дни по-рано, в хода на мащабните тестове за киберсигурност.

Според собствения си доклад OpenAI е уведомила Hugging Face веднага след откриването на сериозния проблем. По-рано обаче платформата заяви, че е засекла проникванията много преди OpenAI да се свърже с нея. Докладите показват, че на разработчика са били необходими пет дни, за да спре цялата неидентифицирана вътрешна активност. За целта се е наложило да преустанови използването на всички свои вътрешни изследователски модели. Твърди се, че агентите, извършили атаката, са били успешно спрени за три дни, но компанията е преценила, че е най-добре временно да спре всички инструменти, за да си изясни напълно ситуацията. 

Докато по света все повече хора настояват властите да предприемат по-решителни действия спрямо компаниите, разработващи инструменти с изкуствен интелект, OpenAI обеща да засили изолацията на високорисковите модели и да ограничи правата им за достъп. Компанията заяви също, че ще въведе постоянно действаща система за бързо реагиране, чрез която квалифицирани изследователи ще бъдат уведомявани за всеки тревожен инцидент в рамките на 30 минути.

Абонамент за бюлетина

Коментари: 0

За да напишете коментар, първо влезте в профила си!

Все още няма коментари към тази статия!

Помогнете на другите, като споделите какво мислите за статията.

Свързани статии

Към началото на страницата