ASUS разработи първия си USB ускорител за изкуствен интелект. Моделът се нарича UGen300 и предлага впечатляваща изчислителна производителност от 40 TOPS при INT4 операции. Устройството е базирано на добре познатия процесор Hailo-10H, за който вече сме писали в няколко новини. Тук той е съчетан с 8 GB вградена LPDDR4 памет, която подпомага ефективната работа и ускорява локалното изпълнение на големи езикови модели (LLM), визуално-езикови модели (VLM) и други задачи с изкуствен интелект.
Компактното USB устройство е с дължина 105 мм, ширина 50 мм и височина 18 мм. То е по-голямо от стандартна флашка, но по-малко от високопроизводителен външен SSD. Ускорителят се свързва към USB-C порт и може да допълни изчислителната мощ на вградения в процесора NPU, но е полезен и за системи, които изобщо нямат такъв модул. Устройството е подходящо и за сложни задачи с изкуствен интелект, консумира едва 2,5 W и използва интерфейс USB 3.1 Gen2 Type-C със скорост на пренос на данни 10 Gbps. Продуктът работи безпроблемно с основните софтуерни платформи за изкуствен интелект, като поддържа Keras, PyTorch, TensorFlow, TensorFlowLite и ONNX.
Новият ускорител може да се използва както в потребителски, така и в промишлени устройства и системи. Той поддържа Windows, Linux и Android, така че възможностите му са достъпни за различни платформи. Заедно с енергийно ефективния ускорител ASUS ще предлага и специално приложение, наречено UGen Utility, което включва над 100 предварително обучени модела за по-лесен старт. Собствениците на устройството ще получат достъп и до Hailo Developer Community, където са налични обучителни материали, референтни ресурси и богата база от знания за по-бързо и по-ефективно разработване и внедряване на приложения с изкуствен интелект, работещи локално на крайните устройства (Edge AI).
Новото устройство на ASUS е насочено към разработчици, учащи, преподаватели и създатели на вградени промишлени системи, както и към всички, които търсят лесен за използване ускорител с ниска консумация и висока производителност за локална обработка на съдържание с изкуствен интелект.
Очаква се ASUS UGen300 скоро да излезе на пазара, но засега няма информация за точната му цена. Подготвя се и версия под формата на разширителна карта M.2 със сходни възможности, с която производителят ще може да обхване допълнителни пазарни сегменти и типове устройства.































