http://www.loc.gov/mods/v3 http://www.loc.gov/standards/mods/v3/mods-3-2.xsd
Magyar nyelvű utasításkövető korpusz építése Stanford Alpaca promptok fordításával és lokalizálásával
Magyar számítógépes nyelvészeti konferencia (20.) Szeged 2024. január 25-26.
Szegedi Tudományegyetem TTIK, Informatikai Intézet
A ChatGPT sikerét annak köszönheti, hogy képes emberi kérdésekre, utasításokra jól megfogalmazott, releváns válaszokat adni. Megjelenése előtt a kutatók már felismerték a lehetőséget, hogy a nagy nyelvi modellekből értékes információkat lehet kinyerni. A promptprogramozás segítségével ezek a modellek képesek különböző nyelvtechnológiai feladatokat magas pontossággal megoldani. Azonban egy lényeges elem még hiányzott: hogy a modell természetes emberi nyelven, szabadon megfogalmazott kérdésekre és utasításokra válaszoljon, és emellett végezze el a nyelvtechnológiai feladatokat. A ChatGPT sikere bizonyította, hogy a modell finomhangolásával elérhető az utasításkövető viselkedés. Azonban az utasításkövető finomhangoláshoz nélkülözhetetlen a speciális tanítóadat, amely ilyen jellegű promptokat tartalmaz. Kutatásunk során létrehoztuk – tudomásunk szerint – az első magyar nyelvű utasításkövető finomhangoló korpuszt. E célból a Stanford Alpaca korpusz egy részét fordítottuk le magyarra. A fordítási folyamat során nem magyar specifikus kérdések kerültek elő, amelyekhez magyar kultúrakörhöz illő promptokat alkottunk. Az így létrejött korpusz 2000 lefordított és 100 lokalizált promptot tartalmaz. Az elkészült korpusz segítségével betanítottunk egy utasításkövető nagy nyelvi modellt a magyar nyelvű PULI GPT-3SX modell felhasználásával. Az elkészült korpuszunkat kutatás számára szabadon elérhetővé tettük.
Magyar Számítógépes Nyelvészeti Konferencia 20