MULTILINGUAL GENERATIVE AI AVATAR: EDGE AND CLOUD-BASED REAL-TIME DEPLOYMENTS

Auyeskhan Alibekov; Galammadin Askar; Zhanat Makhataeva; Guldana Nauryzbaikyzy; Kulzat Sadirova; Huseyin Atakan Varol

doi:10.26577/jpcsit5320262

Авторы

Ауесхан Алибеков Private Institution “Institute of Smart Systems and Artificial Intelligence” (ISSAI), Nazarbayev University, Astana, Kazakhstan , Al-Farabi Kazakh National University, Almaty, Kazakhstan https://orcid.org/0009-0005-7551-668X (неаутентифицированный)
Галаммадин Аскар Private Institution “Institute of Smart Systems and Artificial Intelligence” (ISSAI), Nazarbayev University, Astana, Kazakhstan , Al-Farabi Kazakh National University, Almaty, Kazakhstan https://orcid.org/0009-0001-6304-3003 (неаутентифицированный)
Zhanat Makhataeva Private Institution “Institute of Smart Systems and Artificial Intelligence” (ISSAI), Nazarbayev University, Astana, Kazakhstan , Al-Farabi Kazakh National University, Almaty, Kazakhstan https://orcid.org/0000-0001-9366-7047 (неаутентифицированный)
Гүлдана Наурызбайқызы Private Institution “Institute of Smart Systems and Artificial Intelligence” (ISSAI), Nazarbayev University, Astana, Kazakhstan , K. Zhubanov Aktobe Regional University, Aktobe, Kazakhstan https://orcid.org/0000-0001-9272-8952 (неаутентифицированный)
Кулзат Садирова Private Institution “Institute of Smart Systems and Artificial Intelligence” (ISSAI), Nazarbayev University, Astana, Kazakhstan , K. Zhubanov Aktobe Regional University, Aktobe, Kazakhstan https://orcid.org/0000-0001-6092-8191 (неаутентифицированный)
Хусейн Атакан Варол Private Institution “Institute of Smart Systems and Artificial Intelligence” (ISSAI), Nazarbayev University, Astana, Kazakhstan , Al-Farabi Kazakh National University, Almaty, Kazakhstan https://orcid.org/0000-0002-4042-425X (неаутентифицированный)

DOI:

https://doi.org/10.26577/jpcsit5320262

Ключевые слова:

Взаимодействие Человека и ИИ, Аватары, Большая Языковая Модель (LLM), Синтез Речи (TTS), Распознавание Речи (STT)

Аннотация

В данной статье представлена многоязычная система аватаров, разработанная для взаимодействия человека и ИИ в реальном времени на казахском, русском и английском языках. Аватары, дополненные ИИ, предлагают новые способы общения и взаимодействия между пользователями и технологиями. Эта работа соответствует современным тенденциям в области взаимодействия человека и компьютера (HCI), внедряя инновации в области воплощенных агентов ИИ, поддерживающих текст, голос и зрение. Мы представляем и оцениваем две архитектуры развертывания предлагаемой многоязычной системы аватаров (а именно, облачное и периферийное решения для работы в реальном времени). Оба метода используют модели, разработанные и доработанные в Институте интеллектуальных систем и искусственного интеллекта (ISSAI) Назарбаевского университета, расположенного в Астане, Казахстан. Облачное решение использует модель обработки больших языков (LLM) ISSAI «Ойлан» и платформу преобразования текста в речь/речи в текст (TTS/STT) «МангиСоз», обе развернутые на серверах ISSAI. С другой стороны, решение для создания аватаров на периферии сети использует квантованную модель малого визуально-языкового анализа (VLM) «Qolda» с 4,3 млрд параметров и встроенные инструменты обработки речи (например, Whisper Turbo для автоматического распознавания речи (ASR) и Matcha-TTS для синтеза речи). Интерфейс аватара создан с использованием популярной технологии создания стилизованных аватаров «Ready Player Me». В ходе оценки 96 запросов на трех языках (в частности, 32 запроса на казахском языке, а также 32 запроса на русском и 32 запроса на английском языке) система создания аватаров на периферии сети показала существенное преимущество в производительности, снизив сквозную задержку ответа на 45,5% (2,28 с против 4,18 с) по сравнению с облачным решением. Результаты исследования подчеркивают потенциал малой языковой модели (SLM), интегрированной с моделями распознавания и генерации речи на периферии сети, для создания оперативной, быстрой и автономной связи в режиме реального времени с агентами ИИ, использующими аватары, в трехъязычной среде Казахстана. Демонстрация многоязычной системы аватаров, конвейер реализации, подробная информация о модели и другие материалы находятся в открытом доступе в репозитории проекта на GitHub: https://github.com/IS2AI/lightweight_avatar.

Скачивания

Данные по скачиваниям пока не доступны.

Биографии авторов

Ауесхан Алибеков, Private Institution “Institute of Smart Systems and Artificial Intelligence” (ISSAI), Nazarbayev University, Astana, Kazakhstan, Al-Farabi Kazakh National University, Almaty, Kazakhstan

Ауесхан Алибеков — Бакалавр по специальности “Программная инженерия”, младший аналитик данных Института Умных Систем и Искусственного Интеллекта (ISSAI) (г. Астана, Казахстан, email: auyeskhan.alibekov@nu.edu.kz)
Галаммадин Аскар, Private Institution “Institute of Smart Systems and Artificial Intelligence” (ISSAI), Nazarbayev University, Astana, Kazakhstan, Al-Farabi Kazakh National University, Almaty, Kazakhstan

Галаммадин Аскар - Студент магистратуры по специальности "Компьютерные Науки" Назарбаев Университета (НУ), научный сотрудник Института Умных Систем и Искусственного Интеллекта (ISSAI) ( г. Астана, Казахстан, email: galammadin.askar@nu.edu.kz.
Zhanat Makhataeva, Private Institution “Institute of Smart Systems and Artificial Intelligence” (ISSAI), Nazarbayev University, Astana, Kazakhstan, Al-Farabi Kazakh National University, Almaty, Kazakhstan

Zhanat Makhataeva, PhD, is a Senior Data Scientist at the Institute of Smart Systems and Artificial Intelligence (ISSAI) of Nazarbayev University (NU) (Astana, Kazakhstan, zhanat.mahataeva@nu.edu.kz). Dr. Zhanat Makhataeva received a B.S. degree in Robotics and Mechatronics from Nazarbayev University (NU), Astana, Kazakhstan, in 2017, and the M.S. and Ph.D. degrees in Robotics Engineering from the School of Engineering and Digital Sciences at NU, in 2019 and 2023, respectively. During her doctoral studies, Zhanat became a Microsoft Research PhD Fellow 2021-2022 and had a 12-week Internship at Microsoft Research Cambridge, UK Laboratory. She was hosted by the Future of Work Research Group at Microsoft Research and presented their work at the CHI 2023 Conference in Hamburg, Germany. Her research interests include augmented reality, cognitive assistive systems, artificial intelligence, human memory augmentation, cognitive ergonomics, system testing and evaluation, and human information processing. ORCID ID: 0000-0001-9366-7047.
Гүлдана Наурызбайқызы, Private Institution “Institute of Smart Systems and Artificial Intelligence” (ISSAI), Nazarbayev University, Astana, Kazakhstan, K. Zhubanov Aktobe Regional University, Aktobe, Kazakhstan

Гүлдана Наурызбайқызы - Соискатель степени PhD, преподаватель факультета иностранных языков Актюбинского регионального университета им. К. Жубанова (г. Актобе, Казахстан, email: gnauryzbaikyzy@zhubanov.edu.kz )
Кулзат Садирова, Private Institution “Institute of Smart Systems and Artificial Intelligence” (ISSAI), Nazarbayev University, Astana, Kazakhstan, K. Zhubanov Aktobe Regional University, Aktobe, Kazakhstan

Кулзат Садирова - Доктор филологических наук, профессор факультета филологии Актюбинского регионального университета им. К. Жубанова. (г. Актобе, Казахстан, email: kulzat.sadirova.70@mail.ru )
Хусейн Атакан Варол, Private Institution “Institute of Smart Systems and Artificial Intelligence” (ISSAI), Nazarbayev University, Astana, Kazakhstan, Al-Farabi Kazakh National University, Almaty, Kazakhstan

Хусейн Атакан Варол - PhD доктор, генеральный директор Института Умных Систем и Искусственного Интеллекта (ISSAI) и профессор департамента робототехники Школы Инженерии и Цифровых Наук (SEDS) Назарбаев Университета (г. Астана, Казахстан, email: ahvarol@nu.edu.kz)