http://www.loc.gov/mods/v3 http://www.loc.gov/standards/mods/v3/mods-3-2.xsd
Magyar számítógépes nyelvészeti konferencia (20.) Szeged 2024. január 25-26.
Szegedi Tudományegyetem TTIK, Informatikai Intézet
Megjelenése óta a ChatGPT a szűkebb szakmai diskurzuson túl a közbeszédet is tematizálta. Sikerét több összetevőnek is köszönheti: például a különböző témájú, széles skálát lefedő, promptokkal történő finomhangolásnak, vagy az emberi visszajelzések integrálásának a finomhangolás folyamatába megerősítéses tanulás segítségével. A ChatGPT megjelenésekor azt nyilatkozták, hogy a finomhangolás során csupán angol nyelvű promptokat használtak, azonban tapasztalhattuk, hogy az alkalmazás ennek ellenére magyarul is kiválóan tudott válaszolni. Ez a tulajdonság a transzfertanulásnak köszönhető, amely lehetővé teszi, hogy a modell egy adott nyelvű tanítóadaton megszerzett tudást a tanítóadatban alulreprezentált vagy egyáltalán nem szereplő nyelvek esetén is alkalmazza. A kutatásunk során a háromnyelvű PULI GPTrio modellt finomhangoltuk magyar, angol és kínai promptokkal, hogy létrehozzuk az első magyar nyelvre tanított utasításkövető GPT-3 modellt. A modell tanításához egy több mint ötezer promptból álló finomhangoló korpuszt állítottunk össze. A finomhangoló korpuszba angol és kínai nyelvű promptokat is kevertünk, hogy a transzfertanulásnak köszönhetően még több különböző típusú feladatot legyen képes megoldani a modell. A promptok összeállításánál figyeltünk arra is, hogy bizonyos kérdésköröket próbáljon elkerülni a modell. Ezzel létrehoztuk – tudomásunk szerint – az első magyar nyelvű, finomhangolt, utasításkövető nagy nyelvi modellt, amely egyaránt képes kérdésekre válaszolni és nyelvtechnológiai feladatokat megoldani.
Magyar Számítógépes Nyelvészeti Konferencia 20