A nagy mesterséges intelligencia (AI) cégek által alkalmazott megoldásoknál lényegesen kisebb szövegmennyiséget és számítási kapacitást igénylő hatékony nyelvi modell kialakításán dolgoznak a Szegedi Tudományegyetem (SZTE) kutatói – közölte honlapján a felsőoktatási intézmény.

A nyelvi modellek a szövegek értelmezésére és feldolgozására, vagyis egy emberi képesség szimulálására törekszenek. A nemzetközi AI-cégek révén megismert nagy nyelvi modellek gépi tanításra alkalmazott célfüggvényei mégis figyelmen kívül hagyják az emberi megértés sajátosságait.

Ez idézi elő azt a helyzetet, hogy a nagy nyelvi modellek drágán, rendkívüli adatpazarlással és alacsony hatékonysággal tudják elérni az emberi megértés szimulációját

– magyarázta Berend Gábor, az SZTE Számítógépes Algoritmusok és Mesterséges Intelligencia Tanszékén docense, aki kutatásaihoz Bolyai-ösztöndíjat nyert.

Berend Gábor. Forrás: Szegedi Tudományegyetem

A klasszikus maszkolt nyelvi modellezés során 100 milliárdnyi mondattal tanítják a rendszert, majd ezek bizonyos mennyiségű szavát kitakarják.

A nyelvi modell célja, hogy képes legyen megállapítani, a kitakart helyen pontosan milyen szó állhatott. Így a tanulás lépései nem tükrözik az emberi gondolkodásmódot.

Az SZTE kutatóinak eljárása során egy segédmodellel előbb a szavakhoz kötődő rejtett fogalmi kategóriákat szeretnék automatikusan felállítani. Egy szöveg számítógépes reprezentációja során egy-egy szó által fedett dolgot ezer szempontból értékelhetnek, ezek közül azonban csupán néhány lesz valóban jellemző, melyek meghatározzák a fogalmi kategóriákat. Ezt az alternatív előtanítási eljárást maszkolt látens szemantikai modellezésnek nevezték el, és angol, valamint magyar nyelvre is következetesen jobb eredményeket adott, mint a klasszikus maszkolt nyelvi modellezés.

Berend Gábor az eljárás első eredményeit 2020-ban publikálta, míg a nagy AI-cégek csak a közelmúltban kezdték el nyelvi modelljeik fogalmi hierarchiáját hasonló módszerrel feltérképezni. Míg azonban a vállalkozások ezt csak leíró jelleggel végzik, a szegedi kutatók a módszert az új modellek létrehozásánál is alkalmazzák.

Ezek is érdekelhetnek:

Egyedülálló egysejt-analitikai eljárást dolgoztak ki szegedi kutatók

A módszerrel az egyes sejtek szintjén kifejeződő egyedi jellegeket, fenotípusokat elemzik az MI segítségével.

Ezért nem jó ötlet lemondani a kézzel írásról

Kézírás vagy gépelés? Másra jó a kettő, ezért egymás mellett kell(ene) élniük.

Mindenki körberöhögte a magyar professzort, mígnem mérföldkőhöz ért a vakság kezelésében

A Svájcban élő Roska Botond kutatása emberek szemébe nyomogatott algagénekkel indult.

(Forrás: Szegedi Tudományegyetem, MTI)

Támogatott és ajánlott tartalmaink

A repülőgép, amelyből egyetlenegy tud repülni a világon, és gyakran feltűnik Budaörs fölött

Feltalálod magad a híres találmányokról szóló kvízben?

Egy új tanulmány alátámasztotta az elméletet, ami megkérdőjelezi az ősrobbanás teóriáját

További cikkeink a témában