MULTILINGUAL GENERATIVE AI AVATAR: EDGE AND CLOUD-BASED REAL-TIME DEPLOYMENTS

Auyeskhan Alibekov; Galammadin Askar; Zhanat Makhataeva; Guldana Nauryzbaikyzy; Kulzat Sadirova; Huseyin Atakan Varol

doi:10.26577/jpcsit5320262

Авторлар

Ауесхан Алибеков Private Institution “Institute of Smart Systems and Artificial Intelligence” (ISSAI), Nazarbayev University, Astana, Kazakhstan , Al-Farabi Kazakh National University, Almaty, Kazakhstan https://orcid.org/0009-0005-7551-668X (расталмаған)
Ғаламмадин Асқар Private Institution “Institute of Smart Systems and Artificial Intelligence” (ISSAI), Nazarbayev University, Astana, Kazakhstan , Al-Farabi Kazakh National University, Almaty, Kazakhstan https://orcid.org/0009-0001-6304-3003 (расталмаған)
Zhanat Makhataeva Private Institution “Institute of Smart Systems and Artificial Intelligence” (ISSAI), Nazarbayev University, Astana, Kazakhstan , Al-Farabi Kazakh National University, Almaty, Kazakhstan https://orcid.org/0000-0001-9366-7047 (расталмаған)
Гүлдана Наурызбайқызы Private Institution “Institute of Smart Systems and Artificial Intelligence” (ISSAI), Nazarbayev University, Astana, Kazakhstan , K. Zhubanov Aktobe Regional University, Aktobe, Kazakhstan https://orcid.org/0000-0001-9272-8952 (расталмаған)
Кулзат Садирова Private Institution “Institute of Smart Systems and Artificial Intelligence” (ISSAI), Nazarbayev University, Astana, Kazakhstan , K. Zhubanov Aktobe Regional University, Aktobe, Kazakhstan https://orcid.org/0000-0001-6092-8191 (расталмаған)
Хусейн Атакан Варол Private Institution “Institute of Smart Systems and Artificial Intelligence” (ISSAI), Nazarbayev University, Astana, Kazakhstan , Al-Farabi Kazakh National University, Almaty, Kazakhstan https://orcid.org/0000-0002-4042-425X (расталмаған)

DOI:

https://doi.org/10.26577/jpcsit5320262

Түйін сөздер:

Адам-ЖИ әрекеттесуі, Аватарлар, Үлкен Тілдік Модель (LLM), Мәтінді Дыбысқа Айналдыру (TTS), Сөйлеуді Мәтінге Айналдыру (STT)

Аңдатпа

Бұл жұмыс қазақ, орыс және ағылшын тілдерінде нақты уақыттағы адам мен AI өзара әрекеттесуіне арналған көптілді аватар жүйесімен таныстырады. Жақсартылған AI аватарлары пайдаланушылар мен технология арасындағы қарым-қатынас пен өзара әрекеттесудің жаңа жолдарын ұсынады. Бұл жұмыс адам мен компьютердің өзара әрекеттесуінің (HCI) ағымдағы тенденцияларын бақылайды, мәтіндік, дауыстық және көру арқылы қолдау көрсетілетін AI агенттеріне инновациялар әкеледі. Ұсынылған көптілді аватар жүйесі (яғни, бұлтқа негізделген және шеткі нақты уақыт шешімдері) үшін екі орналастыру архитектурасын ұсынамыз және бағалаймыз. Екі әдіс те Қазақстан, Астана қаласында орналасқан Назарбаев Университетінің Смарт жүйелер және жасанды интеллект институтында (ISSAI) әзірленген және дәл бапталған үлгілерді пайдаланады. Бұлтқа негізделген шешім ISSAI серверлерінде орналастырылған ISSAI үлкен тіл үлгісі (LLM) «Oylan» және «MangiSoz» мәтіннен сөйлеуге/сөйлеуден мәтінге (TTS/STT) платформасын пайдаланады. Екінші жағынан, жиекте орналастырылған аватар шешімі 4.3B параметрлері және құрылғыдағы сөйлеуді өңдеу құралдары (яғни, сөзді автоматты түрде тануға арналған Whisper Turbo (ASR) және сөйлеу синтезі үшін Matcha-TTS) бар квантталған Small Vision-Language Model (VLM) «Qolda» пайдаланады. Аватар интерфейсі танымал стильдендірілген аватарды жасау технологиясы «Ready Player Me» арқылы құрастырылған. Үш тілдегі 96 сұрауды (дәлірек айтсақ, қазақ тіліндегі 32 сұрау, 32 орыс және 32 ағылшын аудармасымен) бағалау кезінде шеткі орналастырылған аватар жүйесі айтарлықтай өнімділік артықшылығын көрсетті, бұлт негізіндегі шешіммен салыстырғанда 45,5% (2,248 секунд) жауап берудің кідірісін азайтты. Зерттеу нәтижелері Қазақстанның үштілді ортасында аватар арқылы жақсартылған AI агенттерімен нақты уақыт режимінде, жауап беретін, офлайн байланыс жасау үшін сөйлеуді анықтау және генерациялау үлгілерімен біріктірілген шағын тіл үлгісінің (SLM) әлеуетін көрсетеді. Көптілді аватар жүйесінің демонстрациясы, іске асыру құбыры, үлгі мәліметтері және басқа материалдар жобаның GitHub репозиторийінде https://github.com/IS2AI/lightweight_avatar жалпыға қолжетімді.

##plugins.themes.default.displayStats.downloads##

##plugins.themes.default.displayStats.noStats##

Автор өмірбаяндары

Ауесхан Алибеков, Private Institution “Institute of Smart Systems and Artificial Intelligence” (ISSAI), Nazarbayev University, Astana, Kazakhstan, Al-Farabi Kazakh National University, Almaty, Kazakhstan

Алибеков Ауесхан - «Бағдарламалық инженерия» мамандығының бакалавры, кіші деректер талдаушы, Ақылды Жүйелер мен Жасанды Интеллект Институты (ISSAI) (Астана, auyeskhan.alibekov@nu.edu.kz)
Ғаламмадин Асқар, Private Institution “Institute of Smart Systems and Artificial Intelligence” (ISSAI), Nazarbayev University, Astana, Kazakhstan, Al-Farabi Kazakh National University, Almaty, Kazakhstan

Ғаламмадин Асқар - Назарбаев Университетінің (НУ) «Компьютерлік ғылымдар» мамандығының магистранты, ғылыми қызметкер, Ақылды Жүйелер мен Жасанды Интеллект Институты (ISSAI) (Астана қ., Қазақстан, email: galammadin.askar@nu.edu.kz.)
Zhanat Makhataeva, Private Institution “Institute of Smart Systems and Artificial Intelligence” (ISSAI), Nazarbayev University, Astana, Kazakhstan, Al-Farabi Kazakh National University, Almaty, Kazakhstan

Zhanat Makhataeva, PhD, is a Senior Data Scientist at the Institute of Smart Systems and Artificial Intelligence (ISSAI) of Nazarbayev University (NU) (Astana, Kazakhstan, zhanat.mahataeva@nu.edu.kz). Dr. Zhanat Makhataeva received a B.S. degree in Robotics and Mechatronics from Nazarbayev University (NU), Astana, Kazakhstan, in 2017, and the M.S. and Ph.D. degrees in Robotics Engineering from the School of Engineering and Digital Sciences at NU, in 2019 and 2023, respectively. During her doctoral studies, Zhanat became a Microsoft Research PhD Fellow 2021-2022 and had a 12-week Internship at Microsoft Research Cambridge, UK Laboratory. She was hosted by the Future of Work Research Group at Microsoft Research and presented their work at the CHI 2023 Conference in Hamburg, Germany. Her research interests include augmented reality, cognitive assistive systems, artificial intelligence, human memory augmentation, cognitive ergonomics, system testing and evaluation, and human information processing. ORCID ID: 0000-0001-9366-7047.
Гүлдана Наурызбайқызы, Private Institution “Institute of Smart Systems and Artificial Intelligence” (ISSAI), Nazarbayev University, Astana, Kazakhstan, K. Zhubanov Aktobe Regional University, Aktobe, Kazakhstan

Гүлдана Наурызбайқызы - Соискатель степени PhD, преподаватель факультета иностранных языков Актюбинского регионального университета им. К. Жубанова (г. Актобе, Казахстан, email: gnauryzbaikyzy@zhubanov.edu.kz )
Кулзат Садирова, Private Institution “Institute of Smart Systems and Artificial Intelligence” (ISSAI), Nazarbayev University, Astana, Kazakhstan, K. Zhubanov Aktobe Regional University, Aktobe, Kazakhstan

Кулзат Садирова - Доктор филологических наук, профессор факультета филологии Актюбинского регионального университета им. К. Жубанова. (г. Актобе, Казахстан, email: kulzat.sadirova.70@mail.ru )
Хусейн Атакан Варол, Private Institution “Institute of Smart Systems and Artificial Intelligence” (ISSAI), Nazarbayev University, Astana, Kazakhstan, Al-Farabi Kazakh National University, Almaty, Kazakhstan

Хусейн Атакан Варол – PhD доктор, Ақылды Жүйелер мен Жасанды Интеллект Институтының (ISSAI) бас директоры және Назарбаев Университетінің Инженерия және цифрлық ғылымдар мектебінің (SEDS) робототехника кафедрасының профессоры (Астана қ., Қазақстан, email: ahvarol@nu.edu.kz)