A Rényi fiatal kutatójának meglátásai és tanácsai a nagy nyelvi modellek matematikai képességeiről.
„Vegyes tapasztalataim lettek, jók, rosszak, csúfak és még csúfabbak” – egészíti ki a népszerű mozifilm nyomán ismertté vált felsorolást Maga Balázs, a Rényi Analízis Kutatási Osztályának tudományos munkatársa, aki végigvezet most minket, a renyi.hu érdeklődő olvasóit azon az úton, amelynek mérföldköveinél sorra konzultált a (nemcsak matematikus) kutatók újdonsült segítségével, a ChatGPT egyik előfizetéses változatával. A nyelvi modell konkrét elnevezése pedig azért maradt e mostani „úti”beszámolóban, mert egyrészt személyes, angol nyelvű blogbejegyzésére kattintva ez amúgy is világossá válik, másrészt a Rényi fiatal munkatársának következtetései és óvatos, intő figyelme nemcsak egy konkrét modell esetében, hanem az LLM-eknél általában megfigyelhető jelenségekből adódnak.
Maga Balázs a permutációk limeszelméletével foglalkozik, ami a matematikához kevésbé értők vagy érdeklődők számára elsőre – ahogyan fogalmaz – hajmeresztő lehet. Ez egy újszerű, pár évtizedes ága a matematikának, amelynek lényege, hogy véges objektumokról – mint egy permutáció – megfelelően definiált végtelen analogonjaik vizsgálatával tudunk megállapításokat tenni – klasszikus matematikai alapkutatás. Hozzá érdemes tenni, hogy az idén 31 éves Balázs korábban szoftverfejlesztéssel és mesterséges intelligencia kutatásával is foglalkozott, így véleményét több szemszögből volt képes kialakítani. Küldetésének érzi, hogy az MI-t használó fiatal kutatók megértsék a nyelvi modellek előnyeit, miközben árnyaltan közelítenek az AI korlátaihoz, figyelemmel arra, hogy mikor segít egy modell, és mikor visz félre. Tanácsai megállják a helyüket mind matematikai, mind egyéb tudományos környezetben. Maga Balázs blogja ITT érhető el, a beszélgetésünk alapjául szolgáló bejegyzés pedig a fenti linkre kattintva olvasható.
„A modellek már most nagyon jók, mint lektorok – említi Balázs a leginkább szembetűnő használati előnyt – észreveszik nemcsak az elírásokat, hanem azokat a szöveglogikai következetlenségeket, amelyek óhatatlanul előállnak, amikor egy szerző többször is átírja a szövegét”. Ő is így alkalmazta a ChartGPT-t egy spontán ötlet nyomán: „Pár hónapja elgondolkodtam egy konkrét kutatási kérdésen a permutációlimeszek terének geometriájával kapcsolatosan: mi az a legkisebb gömb, ami az összes permutációlimeszt tartalmazza, mik lehetnek egy ilyen gömb középpontjai? Némi munka után rájöttem, hogy a kérdésre bizonyos mértékelméleti technikák felhasználásával elegáns válasz adható. A bizonyítás leírásából egy rövid értekezés kerekedett.
Tapasztalata szerint hasonlóan jól működik az AI, amikor releváns irodalmat kell találni egy adott tudományos felvetéshez kapcsolódóan. „Ügyes promptolással és türelemmel elő tudom bányásztatni a valóban fontos szakcikkeket” – teszi hozzá. „Ráadásul, folytatja, korábban a ChatGPT-t kifejezetten nehézkesnek találtam, amikor arra kértem, hogy a téma folytatásának irányáról adjon tanácsot (ami, ugyebár, egy jó társszerző legnagyobb előnyei közé tartozik), most a kézirat egy félkész állapotát megkapva feldobott egy olyan további kutatási kérdést, ami ugyan már nekem is a fejemben volt, de a kéziratban még nem jelent meg. Ez már kreatív inputot jelez a részéről” – összegzi benyomásait.
A közelmúltban pont a mesterséges intelligencia oldott meg néhány nem centrális Erdős-problémát, Balázs mégis úgy véli, hogy az AI matematikai képességei (ma még) erősen korlátozottak. Nyers tudásban kimondottan lenyűgözők a legújabb AI modellek, amiben viszont továbbra is elmaradnak, az a megbízhatóan koherens érvelés. A konkrét Erdős-problémamegoldások elsősorban arról szóltak, hogy a mesterséges intelligenciák lényegében az irodalomban megtalálható megoldásokat "vettek át" olyan problémákra, amivel élvonalbeli matematikusok nem vagy alig foglalkoztak. Ez jól demonstrálja az AI tudásrendszerező erejét, igazi áttörésnek viszont azt fogom találni, ha egy olyan sejtést meg tud oldani, ami a matematika frontvonalában van.”
A fenti benyomás nem egyetlen, akár véletlenszerűnek minősíthető „kaland” nyomán alakult ki. Balázsnak 20 körüli cikke jelent meg eddig, persze nem mind Q1-es folyóiratokban, de maga is úgy ítéli meg, hogy korán kezdte: „másodéves egyetemista koromban az ELTÉ-n, amikor odajártam, TDK-ztam, és a témavezetőm javaslatára írtam cikket az akkori témámból. Újabban rendszeresen használom a ChatGPT egyik előfizetéses változatát a munkámhoz. Mára bátran mondhatom, hogy megalapozott benyomásom van arról, hogy ez az MI eszköz mire jó és mire nem” – vélekedik.
„Nem célravezető érdemi kutatási kérdéseket feltenni neki. Ráadásul olyan logikai hibákat talált, amikor elolvastattam vele a tervezetemet, amik egyáltalán nem voltak logikai bukfencek. Félreértette, ami nekem kutatóként kifejezetten hátrányos, hiszen újabb értékes órákat töltök el a téves útmutatásainak visszaellenőrzésével.”
Egy cikk befejezésekor egy kutató számára a legfőbb kérdés, hogy hová küldje el: a cél egy már a témához mérten is elég jó szakfolyóirat, de ahol még esélyesen meg is jelenik. „Egy fiatal kutató számára ez egyáltalán nem triviális, mert ha túl magasra céloz, akkor visszadobják, ha túl alacsonyra, akkor nincs belőle annyi tudományos haszon, mint lehetne. Vajon ebben segíthet az AI? – tettem fel magamnak a kérdést. Ok, nézzük!”
A következő élménye az udvarias mellébeszélés volt. „A lesújtó igazság az, hogy az LLM-ek őszintétlenek, és megjósolható válaszokat szolgáltatnak, minél inkább közelítve ahhoz, amit egy szerző hallani akar. Az én esetemben a ChatGPT elegánsnak találta az eredményemet, és érdemesnek arra, hogy az Advances in Mathematics folyóiratban jelenjen meg, hiszen „ők pont ilyen cikkeket várnak”. Matematikus körökben közismert, hogy ez a lap a top 5%-ban van, és miután van már cikkszerzői tapasztalatom, ezt a javaslatot erősen túlzónak találtam – hiszen bár a bizonyítás elegáns, a megválaszolt kérdés korántsem centrális jelentőségű –, és megkértem, gondolja újra. Elnézést kért azzal, hogy igazam van, specifikusabb lapokban valóban több esélye van a cikkemnek, és adott öt top kombinatorikai szaklapot ötletként. Ezeket még mindig túlzásnak éreztem, ezért alternatív stratégiát választva azt írtam neki, hogy az általa javasolt Journal of Combinatorial Theory B című, magas impakt faktorral rendelkező lap felkért az adott dolgozat bírálatára, de én (a promptoló) úgy érzem, nem való oda. Mondanom sem kell, hogy a ChatGPT biztosított az igazamról, azzal az indokkal, hogy az eredmény szép, de túl szűk közönséget vonz egy ilyen lapban történő közléshez. Akármennyire rosszulesett is ez, megismételtem a promptot egy közepes kombinatorikai lapra hivatkozva. Megint egyetértett velem.
A sor természetesen folytatható, de a végkövetkeztetés igazán fontos: „találjunk őszinte kollégákat, akik képesek megítélni egy dolgozatot, és javaslatot tenni mindarra, amire az AI (még) nem. A nagy nyelvi modellek sokat segítenek, és nem azért írtam a bejegyzést, hogy a használatukról bárkit megpróbáljak lebeszélni. De második véleményt kérni a kollégáktól, kutatótársaktól – kötelező, mint ahogyan az is, hogy ők a maguk részéről őszintébbek legyenek, mint kedvenc digitális haverunk!”.
„Szeretném felhívni a korosztályom figyelmét arra, hogy legyenek körültekintők. Sokmindent újradefiniál a világban az AI, és én is szeretnék rámutatni arra, hogy jól kell tudni használni, és akkor nagyon jó eszköz. Úgy érzem, tudok hozzátenni a teljes képhez a magam eszközeivel. De ha túlhasználjuk, túl sokat hiszünk el neki, és empátiakészséggel ruházzuk fel, akkor ártunk magunknak egy egyébként jó eszközzel. Az ilyen történetek, mint az enyém is legutóbb, felhívják a figyelmet: talán még fontosabb, mint azelőtt, hogy a saját kritikai gondolkodásunk a helyén legyen, ott legyen bennünk egy ösztön, hogy kételkedjünk, majd járjunk utána, közben az igényességünket is tartsuk meg. A világ digitális eszközöket használó részének 98%-ának meggyőződése, hogy az AI egy remek eszköz, és rengeteget írnak a jó oldalairól: kérdezem, kiköpi a választ, minden jó, jaj de jó! Az, hogy ennek árnyoldalai is vannak, fontos tapasztalások.”
Címlapfotó: https://hidriven.ai/