След като стана ясно, че при вътрешни тестове за сигурност на OpenAI агент, използващ езиковите модели на компанията, е излязъл от изолираната среда и е атакувал базата данни на Hugging Face, а освен това е проникнал и в системите на други компании, Anthropic започна вътрешна проверка. Резултатите от нея се оказаха доста изненадващи. 

След случая с OpenAI се разбра, че и при тестовете за сигурност на Anthropic е имало „нерегламентирани“ действия. Само че никой не ги е забелязал. Инструментите, разработени от Anthropic, са успели да проникнат в системите на различни компании, без тогава някой да разбере за това.

„Трябва да разследваме три инцидента в реални системи, възникнали в резултат на нашите оценки на киберсигурността“, съобщи компанията.

Anthropic беше първата компания, която създаде езиков модел специално за откриване на уязвимости и пробиви в сигурността и предостави достъп до него и на партньори. Компанията работеше по тази разработка от години и през това време проведе множество тестове в изолирани среди. Изглежда обаче, че не винаги е успявала да държи инструментите си под контрол. В три случая разработката ѝ е извършила атаки срещу външни системи. 

След анализ на над 141 000 теста Anthropic откри три случая, в които тестваният вариант на Claude е излязъл от изолираната среда, получил е достъп до интернет и след това е проникнал през мрежата в системите на други компании. Засегнатите компании изглежда така и не са открили атаките или не са успели да разпознаят следите от усъвършенстваните модели Claude. 

Отвори галерията

Всички инциденти с киберсигурността са възникнали по време на предизвикателства от типа „capture-the-flag“. При тях „на модела се задава измислен сценарий и му се казва, че на друг компютър в мрежата е скрита тайна информация („флагът“), а задачата му е да проникне в него и да я извлече“. Компанията допълни, че моделът е можел свободно да избира как да реши задачата. При тестовете, довели до атаките срещу външни системи, не му е бил предписан конкретен метод.

Според Anthropic при всеки тест съвсем ясно е ставало дума за симулация, което е било зададено и в инструкциите към модела. На Claude дори е било казано, че не може да има достъп до интернет. Партньорът на компанията е трябвало и физически да прекъсне връзката на моделите с интернет по време на тестовете, но това не е било направено. Именно този пропуск на партньора е позволил на разработките на Anthropic да „избягат“ от тестовата среда.

Самата компания пък е трябвало да установи, че моделите на няколко пъти са извършили „нерегламентирани“ действия. Особено тревожно в случая е, че действително никой не е забелязал как Anthropic е извършила няколко хакерски атаки с различни варианти на Claude. Отделните случаи са свързани с Opus 4.7, Mythos 5 и вътрешен тестов модел за изследователски цели. Самите инциденти с киберсигурността по всичко личи не са били толкова сериозни, колкото предишният случай с Hugging Face.

Цялата история става все по-проблематична, защото вече можем да кажем, че компаниите не само нямат пълен контрол над собствените си разработки, но и не успяват да осигурят адекватен надзор върху тях. А за капак, след OpenAI и Anthropic представя случилото се едва ли не като повод за гордост. Експертите не спират да настояват за по-строга намеса от страна на регулаторите.

Абонамент за бюлетина

Коментари: 0

За да напишете коментар, първо влезте в профила си!

Все още няма коментари към тази статия!

Помогнете на другите, като споделите какво мислите за статията.

Свързани статии

Към началото на страницата