KNOWLEDGE FUSION THROUGH DATALESS BERT PARAMETER MERGING VIA A REGRESSION-BASED AVERAGING

Аннотация

Последние достижения в методах слияния знаний без использования данных сосредоточены на переносе знаний от нейронной сети-учителя к нейронной сети-ученику без использования обучающих данных модели-учителя. В результате тонкая настройка предварительно обученных языковых моделей (PLM) стала простым способом повышения производительности моделей обработки естественного языка (NLP) в конкретных предметных областях. Эти дообученные модели доступны как программное обеспечение с открытым исходным кодом, однако их обучающие наборы данных обычно недоступны из-за проблем, связанных с конфиденциальностью данных или интеллектуальной собственностью. Это создаёт препятствие для объединения знаний из отдельных моделей с целью получения улучшенной единой модели. В данной работе мы исследуем проблему объединения отдельных моделей, разработанных на различных обучающих наборах данных, для создания единой модели, работающей на данных вне предметной области модели-ученика. Мы предлагаем метод слияния знаний без использования данных, который объединяет модели в пространстве их параметров с использованием весов, минимизирующих расхождения в предсказаниях между объединённой моделью и отдельными моделями. Для широкого диапазона конфигураций параметров наша оценка показывает, что предложенный подход значительно превосходит традиционные базовые методы, такие как усреднение с весами Фишера и ансамблирование моделей. Кроме того, мы наблюдаем, что наш подход является жизнеспособной альтернативой многозадачному обучению, способной сохранять и улучшать отдельные модели без необходимости доступа к обучающим данным. Наши эксперименты подтверждают эффективность методов объединения без использования данных, интегрирующих тонко настроенные параметры для достижения устойчивой многозадачной производительности при незначительном ухудшении соотношения классов — около 2,1%.