A kis HIL-ELECTRA, HIL-ELECTRIC és HIL-RoBERTa magyar kísérleti nyelvi modellek tanítása kevés erőforrással /

Napjainkban a természetes nyelvfeldolgozás (NLP) területén rohamos tempóban uralkodóvá válnak a neurális hálós technológiák, amelyekhez az egyre nagyobb méretű nyelvi modellek kifejlesztése adja az alapot. Az általános célú nyelvi modellek, mint például a BERT, előtanításához rendkívüli számítási ka...

Full description

Saved in:
Bibliographic Details
Main Authors: Yang Zijian Győző
Feldmann Ádám
Váradi Tamás
Corporate Author: Magyar számítógépes nyelvészeti konferencia (18.) (2022) (Szeged)
Format: Article
Published: 2022
Series:Magyar Számítógépes Nyelvészeti Konferencia 18
Kulcsszavak:Nyelvészet - számítógép alkalmazása
Subjects:
Online Access:http://acta.bibl.u-szeged.hu/75903
Description
Summary:Napjainkban a természetes nyelvfeldolgozás (NLP) területén rohamos tempóban uralkodóvá válnak a neurális hálós technológiák, amelyekhez az egyre nagyobb méretű nyelvi modellek kifejlesztése adja az alapot. Az általános célú nyelvi modellek, mint például a BERT, előtanításához rendkívüli számítási kapacitást és hasonlóan extrém nagy mennyiségű adathalmazra van szükség, amelyek nem mindenütt állnak rendelkezésre. Ezért az egyre nagyobb méretű nyelvmodellek létrehozásával egyidőben kialakult egy ellentétes fejlesztési irány, amely a kisebb modellek kifejlesztését célozta. A kutatásunk fókuszában az kérdés áll, hogy mire képesek a limitált erőforrások mellett kifejleszthető és alkalmazható kisebb nyelvmodellek. Mivel a BERT modell kisebb magyar nyelvű változatairól már születtek tanulmányok, így jelen kutatásunk keretében két másik modell, az ELECTRA és az ELECTRIC, valamint a RoBERTa betanítására fókuszáltunk. A Google Inc. által fejlesztett ELECTRA és ELECTRIC modell sokkal kevesebb erőforrással és futási idővel tanítható be, mint a hagyományos BERT-alapú modellek. A RoBERTa modell nemzetközi viszonylatban kiemelkedő eredményeket ért el számos nyelvelemzési feladatban, mindez indokolttá teszi a magyar nyelvre történő alkalmazását. Eredményeink alapján elmondható, hogy bár természetesen kísérleti modelljeink nem képesek elérni a jelenlegi csúcsteljesítményű magyar nyelvű hagyományos BERT modelleket, azonban modelljeink közel olyan jó, értékelhető eredményeket érnek el kisebb erőforrásigény mellett, ami környezettudatosabb megoldások kifejlesztéséhez vezethet. Továbbá a kis modellek alkalmazása felhasználóbarát, mivel hasonlóan jó eredmények elérése lehetséges lényegesen kisebb modellek alkalmazásával, ami adott alkalmazásban kulcsfontosságú szempont lehet.
Physical Description:603-617
ISBN:978-963-306-848-9