28. septembril kuni kella 17.00-ni saab Eesti Teadusinfosüsteemi (ETIS) kaudu taotleda toetust generatiivse tehisintellekti hindamise uute meetodite ja lähenemiste arendamiseks.

EKT sihitud taotlusvoor 2026: Generatiivse tehisintellekti hindamine

Generatiivne tehisintellekt, sh suured kõne- ja keelemudelid, on jõudnud aktiivsesse kasutusse kõikvõimalikes valdkondades eriilmeliste ülesannete lahendamiseks. See tähendab, et keeletehnoloogia on jõudnud rohkemate kasutajateni kui iial varem. Samas on mudelite, neil põhinevate TI-süsteemide ja -rakenduste tegelik võimekus eestikeelsel kasutamisel sageli ebaselge. Suurte keelemudelite eesti keele taseme hindamisega tegeletakse juba praegu aktiivselt¹, kuid generatiivse TI terviklik hindamine ei tohiks piirduda vaid automaatsust ja tehnilisi meetrikuid prioritiseerivate võrdlusandmestike koostamisega. Voor toetab algatusi, mis täiendavad olemasolevaid hindamisraamistikke teiste, sh innovatiivsete ülesannete ja meetoditega, nt kvalitatiivsed, kasutajakesksed, valdkonnaspetsiifilised vms lähenemised.

Eesmärgid ja ülesanded

Taotlusvooru eesmärk on toetada projekte, mis arendavad eestikeelse generatiivse tehisintellekti hindamiseks uusi meetodeid ja lähenemisi ning lähtuvad eesti keele ja selle kasutuskonteksti eripäradest. Projekti tegevused võivad muu hulgas hõlmata järgmist:

• Kvalitatiivsed hindamismeetodid: lähenemised, mis hindavad mudeli väljundi kvaliteeti käsitsi või poolautomaatselt, sealhulgas eksperthinnangud, lingvistiline analüüs ja võrdlev hindamine.
• Kasutajakesksed hindamislähenemised: kasutajauuringud ja kasutatavuse hindamine erinevates rakendusstsenaariumites, mis peegeldavad reaalseid kasutusvajadusi.
• Piiranguteta/avatud hindamisraamistikud (open-world evaluations): metoodikate arendamine olukordades, kus hindamine ei tugine fikseeritud vastustele ega eelnevalt määratletud kriteeriumitele, vaid mudeli väljundi üldisele sobivusele ja kasulikkusele reaalses kasutuskontekstis.
• Valdkonnaspetsiifilised hindamismeetodid ehk spetsiifiliste valdkondade jaoks kohandatud hindamisraamistikud.
• Hindamismeetodite valideerimine ehk metahindamine: lähenemised, mis mõõdavad hindamismeetodi enda usaldusväärsust, nt kooskõla inimhinnanguga, stabiilsust ja korratavust, sealhulgas automaatsete hindajate kalibreerimine inimhinnangute vastu.

Tööplaanis tuleb kirjeldada

1. Tööde ajakava ja kirjeldus, kuidas eesmärke planeeritakse saavutada, ülesandeid lahendada ja tulemused saavutada.
2. Ülevaade, milliseid hindamismeetodeid ja -tehnoloogiaid on plaanis kasutada ning milliseid andmestikke on plaanis kasutada või luua.
3. Selgitus, kuidas pakutud lähenemine täiendab olemasolevaid võrdlusandmestikke ja hindamisraamistikke ning milliseid seni katmata hindamissuundi see katab.
4. Kirjeldus, kuidas projekti käigus kaasatakse hindamistulemuste potentsiaalseid lõppkasutajaid hindamisstsenaariumide kujundamisse või tulemuste valideerimisse.
5. Ülevaade, kuidas projekti käigus loodud meetodid, andmestikud, tööriistad on edaspidi kasutatavad, sh nende kättesaadavus, litsentsimise põhimõtted ning võimalused rakendamiseks teistes hindamiskontekstides või teiste keelte ja valdkondade jaoks.
6. Selgitus, kuidas toetatakse loodavate meetodite korratavust ja ülekantavust nt uutele mudelitele, süsteemidele.
7. Ülevaade projekti jooksul või lõpul planeeritavatest teaduspublikatsioonidest või muudest teaduslikest väljunditest.

Nõuded töö teostusele ja tulemile

• Valmivad lahendused peavad olema korduskasutatavad ja ajas kestvad, st korratavad, laiendatavad ja ülekantavad uutele mudelitele, hindamisolukordadele, kasutuskontekstidele. Korratavus tähendab siin piisavalt dokumenteeritud hindamisprotsessi: automaatsete meetodite puhul tehniliselt taastoodetavat, kvalitatiivsete puhul selgete protokollide ja märgendusjuhendite kaudu.
• Dokumentatsiooni detailsus ja arusaadavus peavad olema piisavad, et sõltumatu kolmas tehniliste IT teadmistega isik suudaks dokumendist vajalikke järeldusi teha.

Tulemite avalikustamine

1. Projekti raames tuleb jooksvalt anda ülevaadet projekti käigust ja vahetulemustest.
2. Arendusest anda jooksev ülevaade GitHubis või muus avalikult jälgitavas koodihoidlas. Projekti tulemusel loodud tarkvara, dokumentatsioon, kasutusjuhendid jm tehakse kättesaadavaks mõne avaliku koodihoidla, sh andmete teabevärava (https://andmed.eesti.ee/) ja e-riigi koodivaramu (https://koodivaramu.eesti.ee/) kaudu. Eelistatud on avaldamine avatud lähtekoodiga ning võimalikult laialdast taaskasutust lubava litsentsi alusel, välja arvatud juhul, kui piirangud või erandid on taotluses põhjendatud. Hindamisega seotud materjalide avalikustamise ulatus ja tingimused tuleb taotluses eraldi põhjendada, arvestades riski, et nende avalikustamine võib mõjutada hindamistulemuste usaldusväärsust või võimaldada materjalide sattumist mudelite treeningandmetesse.
3. Sobivaid tulemusi on võimalik kokkuleppel Eesti Keele Instituudiga kuvada EKI keelemudelite mõõdupuus (https://moodupuu.eki.ee/); selleks vajalikud andmeformaadid ja tehnilised tingimused lepitakse kokku eraldi.

Taotluse esitamine

Taotlus tuleb esitada ETISes hiljemalt 28.09.2026 kell 17.00. Vooru kogueelarve on orienteeruvalt 200 000 eurot. Toetatavate projektide maksimaalne kestus on 6 kuud.

Toetust saavad taotleda kõik avaliku, era- või kolmanda sektori asutused või nende konsortsiumid. Taotlus tuleb esitada eesti keeles koos ingliskeelse kokkuvõttega.

Taotluse hindamine

Taotlusi hindab hindamiskomisjon, mis koosneb programmi nõukogu liikmetest ja siseriiklikest ekspertidest.

Eesti keeletehnoloogia programmi koordineerib Eesti Keele Instituut.

Lisateave 

Käbi Laan
kabi.laan@eki.ee 

1. Vt nt Keelemudelite mõõdupuu (https://moodupuu.eki.ee, EKI); Lillepalu & Alumäe (2025). Estonian Native Large Language Model Benchmark. arXiv:2510.21193; Dorkin jt (2026). EstLLM: Enhancing Estonian Capabilities in Multilingual LLMs via Continued Pretraining and Post-Training. arXiv:2603.02041.  ↩︎