A kis HIL-ELECTRA, HIL-ELECTRIC és HIL-RoBERTa magyar kísérleti nyelvi modellek tanítása kevés erőforrással /
Napjainkban a természetes nyelvfeldolgozás (NLP) területén rohamos tempóban uralkodóvá válnak a neurális hálós technológiák, amelyekhez az egyre nagyobb méretű nyelvi modellek kifejlesztése adja az alapot. Az általános célú nyelvi modellek, mint például a BERT, előtanításához rendkívüli számítási ka...
Elmentve itt :
| Szerzők: | |
|---|---|
| Testületi szerző: | |
| Dokumentumtípus: | Könyv része |
| Megjelent: |
2022
|
| Sorozat: | Magyar Számítógépes Nyelvészeti Konferencia
18 |
| Kulcsszavak: | Nyelvészet - számítógép alkalmazása |
| Tárgyszavak: | |
| Online Access: | http://acta.bibl.u-szeged.hu/75903 |
| Tartalmi kivonat: | Napjainkban a természetes nyelvfeldolgozás (NLP) területén rohamos tempóban uralkodóvá válnak a neurális hálós technológiák, amelyekhez az egyre nagyobb méretű nyelvi modellek kifejlesztése adja az alapot. Az általános célú nyelvi modellek, mint például a BERT, előtanításához rendkívüli számítási kapacitást és hasonlóan extrém nagy mennyiségű adathalmazra van szükség, amelyek nem mindenütt állnak rendelkezésre. Ezért az egyre nagyobb méretű nyelvmodellek létrehozásával egyidőben kialakult egy ellentétes fejlesztési irány, amely a kisebb modellek kifejlesztését célozta. A kutatásunk fókuszában az kérdés áll, hogy mire képesek a limitált erőforrások mellett kifejleszthető és alkalmazható kisebb nyelvmodellek. Mivel a BERT modell kisebb magyar nyelvű változatairól már születtek tanulmányok, így jelen kutatásunk keretében két másik modell, az ELECTRA és az ELECTRIC, valamint a RoBERTa betanítására fókuszáltunk. A Google Inc. által fejlesztett ELECTRA és ELECTRIC modell sokkal kevesebb erőforrással és futási idővel tanítható be, mint a hagyományos BERT-alapú modellek. A RoBERTa modell nemzetközi viszonylatban kiemelkedő eredményeket ért el számos nyelvelemzési feladatban, mindez indokolttá teszi a magyar nyelvre történő alkalmazását. Eredményeink alapján elmondható, hogy bár természetesen kísérleti modelljeink nem képesek elérni a jelenlegi csúcsteljesítményű magyar nyelvű hagyományos BERT modelleket, azonban modelljeink közel olyan jó, értékelhető eredményeket érnek el kisebb erőforrásigény mellett, ami környezettudatosabb megoldások kifejlesztéséhez vezethet. Továbbá a kis modellek alkalmazása felhasználóbarát, mivel hasonlóan jó eredmények elérése lehetséges lényegesen kisebb modellek alkalmazásával, ami adott alkalmazásban kulcsfontosságú szempont lehet. |
|---|---|
| Terjedelem/Fizikai jellemzők: | 603-617 |
| ISBN: | 978-963-306-848-9 |