KNOWLEDGE FUSION THROUGH DATALESS BERT PARAMETER MERGING VIA A REGRESSION-BASED AVERAGING

Alisher Kaziz; Richard Harrison

doi:10.26577/jpcsit42202610

Автор(и)

Әлішер Қазиз Astana IT University, Astana, Kazakhstan https://orcid.org/0009-0003-2554-6149 (неавтентифікований)
Ричард Харрисон University of Surrey, Guildford, UK https://orcid.org/0009-0005-5206-1117 (неавтентифікований)

DOI:

https://doi.org/10.26577/jpcsit42202610

Ключові слова:

NLP, RegMean, Knowledge Fusion, Dataless NLP, Kazakh NLP, BERT

Анотація

Деректерді пайдаланбай білімді біріктіру әдістеріндегі соңғы жетістіктер мұғалім нейрондық желісінен оқушы нейрондық желісіне білімді мұғалім моделінің оқыту деректерін пайдаланбай көшіруге бағытталған. Нәтижесінде алдын ала оқытылған тілдік модельдерді (PLM) дәл баптау табиғи тілді өңдеу (NLP) модельдерінің белгілі бір пәндік салалардағы өнімділігін арттырудың қарапайым тәсіліне айналды. Бұл жетілдірілген модельдер ашық бастапқы код ретінде қолжетімді, алайда олардың оқыту деректер жиынтықтары деректер құпиялылығы немесе зияткерлік меншік мәселелеріне байланысты әдетте қолжетімсіз болады. Бұл жеке модельдердегі білімді біріктіріп, жетілдірілген бірыңғай модель құруға кедергі келтіреді. Осы мақалада біз әртүрлі оқыту деректер жиынтықтарында әзірленген жеке модельдерді біріктіріп, оқушы модель үшін пәндік аймақтан тыс деректерде жұмыс істейтін бірыңғай модель құру мәселесін зерттейміз. Біз модельдерді олардың параметрлер кеңістігінде біріктіретін және біріктірілген модель мен жеке модельдер арасындағы болжау айырмашылықтарын азайтатын салмақтармен басқарылатын деректерсіз білім біріктіру әдісін ұсынамыз. Параметрлер конфигурацияларының кең ауқымында жүргізілген бағалау ұсынылған тәсілдің Фишер салмақталған орташалау және модельдер ансамблі сияқты дәстүрлі базалық әдістерден айтарлықтай жоғары нәтиже көрсететінін дәлелдейді. Сонымен қатар, біздің тәсіл оқыту деректеріне қол жеткізуді талап етпей, жеке модельдерді сақтап әрі жақсарта алатын көптапсырмалы оқытуға тиімді балама екенін байқаймыз. Біздің тәжірибелеріміз деректерсіз біріктіру әдістерінің тиімділігін растайды: дәл бапталған параметрлерді біріктіру шамамен 2,1% деңгейіндегі класс арақатынасының өте аз нашарлауымен тұрақты көптапсырмалы өнімділікке қол жеткізуге мүмкіндік береді.

Завантажити

Дані для завантаження поки недоступні.

Біографії авторів

автор Әлішер Қазиз, афіліація Astana IT University, Astana, Kazakhstan

Alisher Kaziz, PhD student (EP Computer Science) at the School of Software Engineering, Astana IT University (Astana, Kazakhstan, e-mail: alisher.kaziz@gmail.com). His research interests include multiagent systems, explainable artificial intelligence, and machine learning knowledge. He focuses on the development of interpretable AI models for machine learning knowledge fusion to improve decision making robustness.
автор Ричард Харрисон, афіліація University of Surrey, Guildford, UK

Dr Richard Harrison (e-mail: r.harrison@surrey.ac.uk) is the Director of Learning and Teaching for the Faculty of Engineering and Physical Sciences Foundation Year Programmes at the University of Surrey. He also Chairs the Faculty's Mathematics Education Working Group and is a Fellow of the Institute of Mathematics and its Applications. He has extensive experience as a Mathematician and Computer Scientist in industry and academia both in the UK and overseas.