4 февруари — ModelBest официално пусна своя най-нов мултимодален водещ модел, MiniCPM-o 4.5.
Като естествен мултимодален голям модел с пълен дуплекс, MiniCPM-o 4.5 позволява на AI да възприема, слуша и проактивно да реагира в реално време. Това позволява на взаимодействията да преминат отвъд твърдия, походов обмен, позиционирайки модела като първия в индустрията, който поддържа „незабавен безплатен разговор,” с непрекъснато възприятие, естествен диалог и подкани, съобразени с контекста.
MiniCPM-o 4.5 е наличен в GitHub и Hugging Face. Възползвайки се от унифицирания системен софтуерен стек на FlagOS, моделът постигна подобрения в производителността на изводите от край до край в шест чип платформи, включително Iluvatar CoreX, Huawei Ascend, T-Head, Hygon и MetaX.
Следвайки дизайнерската философия на ModelBest за „висока плътност“, MiniCPM-o 4.5 постига мултимодални възможности на ниво SOTA, използвайки само 9B параметри, включително визуално разбиране, парсиране на документи, разбиране и генериране на реч и клониране на глас.
Моделът набляга на ефективността, като предлага по-малко използване на паметта и по-бързо време за реакция, като същевременно поддържа мултимодална производителност на ниво SOTA. Новата му архитектура и стратегии за данни подобряват говорния изход, подобрявайки тона, естествеността и изразителността. MiniCPM-o 4.5 също адресира проблеми със синтеза на реч в дълга форма, като непостоянен тон, неестествена интонация и нестабилност.
При гласово клониране моделът може да генерира персонализирани тонове само от няколко секунди гласово въвеждане, позволявайки ролева игра и интерактивен диалог с помощта на клонирания глас. Моделът използва мултимодална архитектура от край до край, пълнодуплексно поточно предаване в реално време, проактивни механизми за взаимодействие и конфигурируемо моделиране на речта.
Хранилище с отворен код: https://github.com/OpenBMB/MiniCPM-o
Източник: IThome
Source link
Like this:
Like Loading…
Нашия източник е Българо-Китайска Търговско-промишлена палaта
