Microsoft отново обърна внимание, че използването на ИИ агенти крие рискове, на тях не може да се разчита безусловно и затова са необходими определени предпазни мерки. Въпреки това компанията активно разработва и разпространява все нови функции, с които Copilot вече може дори да извършва различни действия на компютъра на потребителя — разбира се, само след съответното одобрение. Последната официална публикация е посветена именно на факта, че най-модерните модели и работещите с тях ИИ агенти сами по себе си не са надеждни.
Какво тогава трябва да направим, ако решим да използваме ИИ агенти и им предоставим специални права, които създават рискове? Според Microsoft за тази цел трябва да се използват Guardian Agents, които изпълняват ролята на охрана, особено в корпоративна среда. Те имат поглед върху работата на отделните ИИ агенти и могат да проверяват всяка тяхна стъпка, преди да бъдат изпълнени определени действия. Наблюдението на работещите ИИ агенти и гарантирането на безопасната им работа изискват постоянен надзор. Трябва да бъдат осигурени и подходящите права за достъп, както и сигурността на крайните устройства, мрежата, облака и средата за изпълнение.
За тази цел е създаден Project Perception, обявен през юли 2026 г. Задачата му е да държи отделните ИИ агенти под контрол чрез права за достъп и контейнери, с ясни правила и зададена идентичност. По време на работата на агентите е необходим и динамичен анализ на риска. Надзорът може да се осъществява от цяла група Guardian Agents, които в реално време да гарантират безопасна работа и поведение според очакванията.
Project Perception позволява поведението на ИИ агентите да се направлява в реално време, както и впоследствие да се преглежда какво е извършил всеки от тях. Така може да се установи защо дадено действие е било оценено като рисково и съответно да се актуализират правилата за сигурност. Наблюдението в реално време позволява бърза реакция при инциденти със сигурността, а специалистите могат да направят необходимите изводи и да повишат безопасността на работата. Разбира се, необходимо е и по-голяма прозрачност в работата на отделните модели: да могат да се наблюдават не само входните и изходните токени, но и „мисленето“, тоест последователността от токени за разсъждение.
Тази информация позволява действително да се разбере дали намерението на модела е било в съответствие с целта на агента. Прозрачността, разбира се, не заменя ограниченията. Нейната роля е да направи механизмите за ограничаване на действията по-ефективни и по-интелигентни, а изпълнението на задачите — по-безопасно. Този подход е важен и за проследимостта и отчетността. Именно това трябва да бъде следващата стъпка в управлението на рисковете, свързани с автономно действащите вътрешни ИИ агенти, и в повишаването на безопасността им.
Въпреки всичко това компанията продължава да разработва и внедрява ИИ функции. Наскоро обаче тя обяви, че ще съкрати малко контекстното меню на OneDrive, за да го направи по-прегледно и по-удобно за използване. В резултат от него ще бъдат премахнати 8 ИИ функции, но самите възможности няма да изчезнат и ще останат достъпни от други места. Надяваме се Microsoft да подходи със същото внимание и към ИИ агентите, интегрирани в собствената ѝ операционна система, както при Project Perception. На първо място са нужни условия за безопасна работа, а не все нови ИИ функции и многофункционални ИИ агенти. Едва след това би трябвало да се добавят различните рискови функции, когато вече могат да бъдат „държани на каишка“. Развитие, разбира се, е необходимо — в разумни и безопасни граници.































