Avropa Komissiyasının Tərcümə üzrə Baş Direktorluğu (DGT) Avropa İttifaqı üçün hazırlanmış institusional böyük dil modelini (LLM) açıq istifadəyə təqdim edib. Yeni süni intellekt modeli bütün 24 rəsmi Aİ dilini dəstəkləyir və xüsusilə Avropa İttifaqının sənədlərində istifadə olunan terminologiyanı daha dəqiq başa düşmək üçün hazırlanıb.
Modeli yalnız Avropa İttifaqında qeydiyyatdan keçmiş hüquqi şəxslər yükləyə və öz layihələrində istifadə edə bilərlər. O, Avropa Dil Məlumat Məkanında (European Language Data Space) iki versiyada yayımlanıb: davamlı əlavə təlim keçmiş baza modeli və göstərişləri yerinə yetirmək üçün optimallaşdırılmış Instruct versiyası.
İstifadəçilər modeli öz sistemlərinə inteqrasiya edə və ehtiyaclarına uyğun şəkildə inkişaf etdirə bilərlər. Avropa Komissiyası əsas istifadəçilər sırasında dövlət qurumlarını, kiçik və orta biznesi, universitetləri, elmi-tədqiqat mərkəzlərini və qeyri-hökumət təşkilatlarını göstərir.
Model Mistral texnologiyası və Avropa məlumatları əsasında hazırlanıb
Layihənin əsasını Fransanın Mistral AI şirkətinin açıq mənbəli Mixtral 8x7B və Mixtral 8x22B modelləri təşkil edir. Lakin Avropa Komissiyasının mütəxəssisləri bu modelləri Euramis adlı çoxdilli məlumat bazası üzərində yenidən öyrədiblər. Bu platformada Avropa İttifaqı institutlarının peşəkar şəkildə hazırlanmış çoxdilli sənədləri toplanıb və model onların hesabına Aİ mövzularını daha dəqiq anlama qabiliyyəti qazanıb.
Komissiyanın məlumatına görə, layihənin əsas məqsədlərindən biri internetdə kifayət qədər təmsil olunmayan Avropa dillərinin rəqəmsal inkişafını dəstəkləməkdir. Məhz buna görə də az istifadə olunan hər bir rəsmi Aİ dili üçün ən azı 1 milyard token həcmində təlim məlumatı hazırlanıb. Bu yanaşma irland, malta, latış, litva, eston və digər nisbətən kiçik dillərdə modelin keyfiyyətini əhəmiyyətli dərəcədə artırmağa imkan verib.
Komissiya qeyd edir ki, ümumi internet məlumat bazalarında bu dillərin payı çox aşağıdır. Məsələn, Common Crawl statistikasına əsasən latış dili cəmi 0,09%, irland dili 0,07%, malta dili isə 0,03% təşkil edir. Bütün zəif təmsil olunan 12 rəsmi Aİ dilinin ümumi payı cəmi 2,4%-ə çatır. Bu səbəbdən model peşəkar tərcüməçilər tərəfindən hazırlanmış paralel korpuslar və redaktə olunmuş institusional sənədlərlə əlavə təlim keçib.
İlk nəticələr və gələcək planlar
Avropa Komissiyasının daxili sınaqlarına əsasən, yeni model yoxlanılan bütün dillərdə əvvəlki versiyalarla müqayisədə daha yüksək nəticələr göstərib. Ən böyük irəliləyiş xüsusilə internetdə zəif təmsil olunan dillərdə qeydə alınıb:
- İrland dili – nəticələr təxminən 4 dəfə yaxşılaşıb
- Yunan dili – göstəricilər iki dəfəyə yaxın artıb
- Eston dili – təxminən 80% irəliləyiş əldə olunub
- Latış və litva dilləri – performans 70–75% yüksəlib
Komissiya qeyd edir ki, bu nəticələr layihə komandasının daxili qiymətləndirməsinə əsaslanır və hələ müstəqil ekspertlər tərəfindən təsdiqlənməyib.
Modelin hazırlanması üçün Avropanın yüksək məhsuldarlıqlı hesablama infrastrukturu da səfərbər edilib. Layihə çərçivəsində:
- EuroHPC JU tərəfindən İtaliyadakı Leonardo superkompüterində 50 min düyün-saat hesablama resursu ayrılıb
- ilkin inkişaf mərhələsi Lüksemburqdakı MeluXina superkompüterində həyata keçirilib
- sonrakı sınaqlar isə Barselonadakı MareNostrum 5 sistemində aparılıb
Hazırda yeni dil modeli artıq Avropa Komissiyasının eSummary xidmətində istifadə olunur. Bu sistem sənədlərin qısa xülasələrini Aİ-nin bütün rəsmi dillərində avtomatik hazırlayır. Komissiya gələcəkdə modelin növbəti versiyalarını digər dil texnologiyalarına da inteqrasiya etməyi planlaşdırır. Mütəxəssislərin fikrincə, bu layihə Avropada çoxdilli süni intellekt ekosisteminin inkişafı və rəqəmsal dil bərabərliyinin gücləndirilməsi baxımından mühüm addım hesab olunur.
