Uute keelemudelite arendamisel on eesmärk ületada varasemate mudelite tulemusi. Seda kontrollitakse automaatsete võrdlustestidega (ingl k benchmark), millel saadud tulemused esitatakse objektiivselt mõjuvate numbritena. Harvem küsitakse, kust need numbrid pärinevad, mida need tegelikult näitavad ja kui palju on nende tõlgendamises tootja turundust.

Mudelite hindamine ja võrdlemine võrdlustestidega on tavapärane praktika kogu maailmas, sest need võimaldavad kiiresti saada ülevaadet uue mudeli kvaliteedist. Võrdlustestid on omamoodi ühiskondlik hüve, sest tehisintellektist on saanud väga paljude inimeste igapäevane töövahend ja meil on õigus teada, kas see on võrreldes teistega piisavalt heal tasemel. Samas peab meeles pidama, et võrdlustestid ei anna detailset ülevaadet kõikidest mudeli tunnustest. Õigete järelduste tegemiseks peab kasutaja mõistma, mida täpselt võrdlustesti tulemusena kuvatav number näitab.

Probleemid võrdlustestidega 

Aastate jooksul on loodud tuhandeid võrdlusteste (enamik neist inglise keeles). Kõiki neid ei saa ja pole mõtetki mudelite kõrvutamiseks kasutada, sest võrdlustestid hindavad erinevaid aspekte ning on väga erineva kvaliteediga. See tähendab, et raporteeritud tulemused võivad olla ebatäpsed ja mõjutada mudelite arendajaid lahendama probleeme, mida tegelikult pole.

Lisaks sellele aeguvad paljud võrdlustestid kiiresti. Veel mõni aasta tagasi eristasid klassikalised teadmiste- ja matemaatikatestid tipptasemel mudeleid hästi. Nüüd ületavad parimad mudelid neis 90 protsendi piiri ning edetabeli paremusjärjestuse määravad kümnendikprotsendid. Ka testid vananevad üha kiiremini: 2020. aastal avaldatud tuntud teadmistetestis MMLU saavutati 80 protsenti kolme aastaga, 2023. aasta lõpus ilmunud tunduvalt raskema GPQA Diamond puhul kulus selleks vaid aasta.

Paljud võrdlustestid kannatavad ka andmereostuse käes, sest testiküsimused on internetis avalikult kättesaadavad ja võivad sattuda mudelite treeningandmetesse. Kui mudel on küsimusi juba treeningandmetes kohanud, ei peegelda hea tulemus enam mudeli tegelikku võimekust. Seda kirjeldab hästi Goodharti seadus: kui mõõdikust saab eesmärk, lakkab see olemast hea mõõdik.

Kuhu hindamine liigub? 

Neid probleeme püütakse lahendada mitmel moel. Näiteks pööratakse senisest suuremat tähelepanu testide sisu õigsusele. Lisaks arendatakse dünaamilisi teste, mille küsimusi pidevalt uuendatakse: näiteks LiveBench koostab ülesandeid materjalist, mis on avaldatud alles pärast mudelite treenimist, nii et pelgalt meeldejätmisest pole abi. Küllastunud testide asemele luuakse järjest raskemaid, näiteks sadade ekspertide koostatud Humanity’s Last Exam. Ja kuna mudelid ei vasta enam üksnes küsimustele, vaid täidavad iseseisvalt mitmeastmelisi ülesandeid, hindavad uued agenditestid kogu töövoo õnnestumist – näiteks kas mudel suudab parandada vea päris tarkvaraprojektis. Sellised ülesanded on igapäevakasutusele palju lähemal kui valikvastustega viktoriin.

Aga eesti keel? 

Enamik tuntud võrdlusteste on loodud inglise keele jaoks. Mitmekeelsed testid põhinevad sageli tõlgetel ja soosivad suure ressursiga keeli. Ühes 29 keelt hõlmanud uuringus kahanes mudelite võimekus väiksema ressursiga keeltes kohati kuni 24 protsendipunkti.

Veelgi olulisem: tõlgitud test ei mõõda kohalikku keelt ega kultuuri. Kas mudel tunneb eesti kõnekäände? Eesti õigussüsteemi? Kohalikku erialakeelt? Nii võib mudel troonida maailma edetabeli tipus, kuid jääda eesti keeles keskpäraseks.

Seda lünka aitab täita Eesti Keele Instituudi keelemudelite mõõdupuu, mis hindab mudeleid just eesti keele ja kultuuri kontekstis: mõõdetakse keeleoskust, teadmisi Eesti kohta ja mudelite ohutust. Küsimused ei ole tõlgitud inglise keelest, vaid põhinevad muu hulgas EKI keelenõuandesse päriselt esitatud küsimustel ning terminibaasidel.

Need testid toovad esile aspektid, mida rahvusvahelised edetabelid ei näita. Testide koostamisse on kaasatud valdkonnaeksperdid ja need toetuvad olemasolevatele kvaliteetsetele keeleandmetele. Võrdlustestide sisu ei ole avalik ning erilist tähelepanu on pööratud sellele, et testid ei oleks praegustele mudelitele liiga lihtsad. Samas on ka mõõdupuu võrdlustestide kogum ning eespool kirjeldatud kitsaskohad ketivad siingi.

Kuidas teisiti mudeleid hinnata? 

Mudelite hindamisel kasutatakse lisaks võrdlustestidele ka teisi hindamismeetodeid. Üha rohkem kasutatakse lähenemist, kus mudeli vastuseid hindab kohtunik-mudel (ingl k LLM-as-a-judge) ehk teine keelemudel. See on kiirem ja odavam, aga see pole päris erapooletu: hindav mudel kipub eelistama vastuseid, mis sarnanevad tema enda omadega. Seepärast tasub automaathinnanguid aeg-ajalt inimhinnangutega kõrvutada ja kontrollida, kas masina ja inimese hinnangud kattuvad. Keeruliste ja nüansirohkete või väga eriliste ülesannete puhul on endiselt eelistatuim meetod just inimhindamine.

Ükski hindamismeetod pole täiuslik. Ka Eestis tuleks olemasolevate võrdlustestide täiendamise kõrval mõelda mitmekülgsemate hindamisraamistike, -meetodite ja -andmestike loomise peale. Loodetavasti annab siin tõuke sügise alguses avanev Eesti Keeletehnoloogia programmi taotlusvoor, mis on suunatud just keelemudelite hindamisele. Täpsem teave taotlusvooru tingimuste ja ajakava kohta avaldatakse selle avanemisel Eesti Keele Instituudi kodulehel.

* Pealkiri on inspireeritud EKI mõõdupuus olevast kujundlike väljendite võrdlustestist. „Fraseoloogiasõnaraamatu“ järgi loeme õigeks „ühele liistule tõmbama” (tähenduses erinevustest hoolimata kellessegi või millessegi ühtemoodi suhtuma, neid ühtemoodi hindama), kuid keelemudelid pakuvad üldjuhul „ühele pulgale tõmbama”.

Artikkel ilmus 15.07.2026 Geeniuse portaalis.