Hát te mekkorát nőttél! - A HuLU első életéve új adatbázisokkal és webszolgáltatással
Az egyre nagyobb számban megjelenő neurális nyelvmodellek jelentőségének felbecsüléséhez elengedhetetlen valamilyen eszköz, amellyel ezek mérhetők és összehasonlíthatók. A nyelvtechnológiában ez a mérőeszköz a benchmark adatbázis, amelyből számtalan elérhető már az angol nyelvre, és több más nyelvre...
Elmentve itt :
| Szerzők: | |
|---|---|
| Testületi szerző: | |
| Dokumentumtípus: | Könyv része |
| Megjelent: |
2023
|
| Sorozat: | Magyar Számítógépes Nyelvészeti Konferencia
19 |
| Kulcsszavak: | Nyelvészet - számítógép alkalmazása, Nyelvmodellek |
| Tárgyszavak: | |
| Online Access: | http://acta.bibl.u-szeged.hu/78415 |
| Tartalmi kivonat: | Az egyre nagyobb számban megjelenő neurális nyelvmodellek jelentőségének felbecsüléséhez elengedhetetlen valamilyen eszköz, amellyel ezek mérhetők és összehasonlíthatók. A nyelvtechnológiában ez a mérőeszköz a benchmark adatbázis, amelyből számtalan elérhető már az angol nyelvre, és több más nyelvre is. A magyarra 2022-ben jelent meg a HuLU benchmark adatbázis-készlet (Ligeti-Nagy és mtsai, 2022), melynek célja, hogy egyre bővülő gyűjteményként a nyelvmodellek magyarnyelvtudásának mérésére szolgáljon. Jelen cikkünkben bemutatunk két olyan új adatbázist, amelyekkel a HuLU-t bővítettük: egyrészt a Recognizing Textual Entailment (RTE) shared taskok anyagából válogatott RTE korpusz magyar fordítását, másrészt a CommitmentBank mintájára létrehozott magyar HuCommitmentBank korpuszt. Ezen kívül bemutatjuk a HuLU használatát megkönnyítő és kiteljesítő webszolgáltatást, amely lehetővé teszi a modellek eredményeinek gyors kiértékelését, és a feltöltött eredmények látványos összehasonlítását. Ezt kihasználva tanulmányunkban bemutatjuk néhány magyarul is tudó nyelvmodellnek a HuLU korpuszain elért eredményeit. |
|---|---|
| Terjedelem/Fizikai jellemzők: | 217-230 |
| ISBN: | 978-963-306-912-7 |