Напоследък OpenAI значително ускори темпото и представи множество новости, а разработките на компанията се представят доста добре. След GPT-5.5 и ChatGPT Images 2.0 дойде ред и на новото поколение GPT-Realtime, което включва няколко различни варианта.
GPT-Realtime-2 е аудиомодел с общо предназначение, който ще позволява по-естествено общуване от всякога. GPT-Realtime-Translate, както подсказва името му, ще се отличава в превода между различни езици. GPT-Realtime-Whisper пък е специализиран в преобразуването на реч в текст.
Лидерът в областта на изкуствения интелект очевидно се стреми да покаже във всяко направление, че въпреки силните позиции на Google инициативата все още е в ръцете на OpenAI. Компанията и досега разполагаше с много добър гласов модел, но с GPT-Realtime-2 вече има първото си решение, което може да се смята за модел на нивото на GPT-5. По време на разговор то може да отговаря в реално време и на по-трудни, по-сложни въпроси. Като цяло реакциите му ще бъдат още по-непосредствени, за да създават усещане за по-естествено общуване.
GPT-Realtime-2 е създаден за ситуации, в които отговорите, действията и разсъжденията трябва да протичат едновременно, без да нарушават плавния ход на разговора. Новият модел ще може да разбира и изпълнява дори сложни инструкции. Разбира се, за това са необходими сериозни изчислителни ресурси и понякога ще му трябва време да помисли, но ще запълва тези паузи с реплики. За да спечели време, например може да каже: „Това е чудесен въпрос, нека обмисля отговора си“.
С GPT-Realtime-2 ще могат безпроблемно да се водят и по-дълги разговори, тъй като контекстният прозорец е увеличен от досегашните 32 хиляди на 128 хиляди токена. Моделът ще показва значителен напредък и в професионални разговори, в които се използва специализирана терминология. Гласът му ще предлага повече възможности за настройка от всякога, а речта му ще бъде по-изразителна. Партньорите ще могат да избират и нивото на разсъждение според нуждите си (minimal, low, medium, high, xhigh).
По данни на OpenAI GPT-Realtime-2 се представя много по-добре в теста Big Bench Audio от предишната версия GPT-Realtime-1.5. При високо ниво на разсъждение новият модел е постигнал резултат от 96,6 %, докато предшественикът му е успял да достигне едва 81,4 %. При Audio MultiChallenge компанията акцентира върху подобреното следване на инструкции. Предишният модел е постигнал едва 34,7 %, а новият аудиомодел вече достига 48,5 %.
GPT-Realtime-Translate ще се справя отлично като устен преводач, способен да превежда в реално време разговори между хора, говорещи различни езици. При необходимост освен аудио ще предоставя и текст, за да направи общуването още по-сигурно и надеждно. Така евентуалните грешки в превода ще могат лесно да бъдат откривани.
Новият GPT-Realtime-Translate вече поддържа над 70 входни езика, но засега може да превежда само на 13. Според компанията този аудиомодел се справя много добре и с различни акценти и регионални диалекти. OpenAI смята, че освен в обслужването на клиенти той ще бъде полезен и в образованието, при общуването в погранични райони и на международни събития. Твърди се, че Deutsche Telekom вече разработва многоезичен асистент на негова основа.
GPT-Realtime-Whisper ще може да генерира субтитри за чутата реч без прекъсвания и с минимално закъснение. Това ще помага на потребителите например при създаването на гласови бележки. Моделът може да бъде отлична основа за съвременни приложения за запис на глас, да създава качествени транскрипции на срещи и дори да помага по време на учебни часове. Възможните му приложения далеч не се изчерпват с тези примери.
Трите нови модела са достъпни чрез въведения по-рано Realtime API на OpenAI. При GPT-Realtime-2 обработката на 1 милион входни аудиотокена струва 32 долара, а същият брой изходни токени — 64 долара. При GPT-Realtime-Whisper и GPT-Realtime-Translate цените са определени на минута: Whisper струва 0,017 долара, а Translate — 0,034 долара на минута.































