Rusiyanın AIRI İnstitutunun tədqiqatçıları süni intellektin məlumat kontekstini necə təhlil etdiyini və məntiqi zəncirlər qurduğunu qiymətləndirmək üçün yeni metod hazırlayıblar.
“Tehsil365“ "Rambler"ə istinadən xəbər verir ki, yoxlamalar nəticəsində populyar böyük dil modellərinin uzun məlumat massivləri ilə işləyərkən düşünmə qabiliyyətini itirdikləri məlum olub.
Bəzi tapşırıqlar zamanı hətta ən qabaqcıl sistemlər belə cavabı təsadüfi təxminetmə səviyyəsinə düşüb.
Problemin sistemli xarakter daşıdığı qeyd olunur. Kontekstin həcmi artdıqca bütün modellərdə keyfiyyətin azalması ilə bağlı eyni tendensiya müşahidə edilir.
Mövcud testlər əsasən yalnız ayrı-ayrı faktların tapılması bacarığını yoxlayır, lakin uzun hadisələr zəncirini qiymətləndirmir. Rusiyalı alimlər bu məqsədlə beş personajın altı otaq arasında hərəkəti ilə bağlı tapşırıq hazırlayıblar. Süni intellektonlarla və ya yüzlərlə gedişi yadda saxlamalı və suallara cavab verməli olub.
Tədqiqatçılar "GPT-4o" və "Deepseek-R1" daxil olmaqla 12 qabaqcıl modeli sınaqdan keçiriblər.
Bütün hallarda hərəkətlərin sayı artdıqca məntiqi düşünmə keyfiyyəti kəskin şəkildə aşağı düşüb. Bu, AIRI-nin daha əvvəl açıqladığı nəticələri də təsdiqləyir. Həmin nəticələrə görə, süni intellekt uzun mətnləri təhlil edərkən kontekstin cəmi 10-20%-indən istifadə edir.