ЗАШТО ВЕШТАЧКА ИНТЕЛИГЕНЦИЈА ИЗМИШЉА ОДГОВОРЕ Не сме да не зна, па „халуцинира”
Иако ChatGPT и друге моделе вештачке интелигенције данас користе готово сви, и то на разне начине, још увек се деси да крену да „халуцинирају“, али и да самоуверено износе чињенично нетачне тврдње.
Често се то објашњава лошим улазним подацима, али је тим истраживача из OpenAI-ја и Технолошког института Џорџије у недавно објављеном раду доказао да чак и са савршеним подацима за обуку, LLM-ови не могу знати све — делом и зато што су нека питања једноставно неодговорива. Ипак, то не значи да су халуцинације неминовне. Вештачка интелигенција би могла једноставно да призна: „Не знам.“ Зашто то онда не чини?
Корен проблема, кажу истраживачи, лежи у начину на који се модели обучавају. Они „лажирају“ одговоре јер се њихова успешност мери стандардизованим тестовима који награђују самоуверене одговоре и кажњавају искрену несигурност. Тим зато позива на реформу тих тестова, како би се истовремено вредновали тачност и свест о сопственом незнању. Иако неки стручњаци сматрају да је рад технички убедљив, реакције на предлог решења су подељене. Поједини сумњају да ће OpenAI заиста применити сопствене препоруке и научити своје моделе да дају предност истини уместо ангажовању корисника. Непријатна истина је, можда, да би ChatGPT, ако би чешће говорио „не знам“, изгубио кориснике који би потражили „сигурније“ изворе. То би било озбиљно за компанију која још покушава да прошири базу корисника и постане профитабилна. „Ако се халуцинације отклоне, производ неће опстати,“ каже Веј Синг, истраживач вештачке интелигенције са Универзитета у Шефилду.
Није битна истина, битне су оцене
Високи резултати на тестовима доносе углед и комерцијални успех, па компаније прилагођавају своје моделе тако да постигну што боље оцене. Међутим, девет од десет најпопуларнијих тестова које су истраживачи анализирали вреднује тачан одговор са 1, а празан или нетачан са 0. Пошто тестови не кажњавају нетачне одговоре више него непотпуне, модел који „глуми да зна“ увек пролази боље од оног који признаје да није сигуран. Ова традиција је можда и разлог зашто досадашни покушаји решавања халуцинација нису успели, сматра Калаи. Од стотина постојећих тестова, само неколицина систематски прати колико често модел измишља податке. Истраживачи зато предлажу да се тестови преобликују тако да кажњавају погрешна погађања — чиме би модел научио скромност. „То је готово тривијална промена,“ каже Калаи.
Да би показали зашто сама обука не може да осигура тачност, истраживачи су замислили следећи експеримент: колико је тачан модел када процењује да ли је нека реченица истинита или лажна? Ако модел не уме поуздано да разликује истину од неистине, неминовно ће сам генерисати нетачне одговоре. Резултат математичке анализе био је изненађујуће једноставан: укупан проценат грешака модела у генерисању текста мора бити најмање двоструко већи од процента грешака при класификацији реченица као тачних или нетачних. Другим речима, модели ће увек грешити јер су нека питања сама по себи превише сложена или немају образац који се може научити. „Ако у разреду имате 50 ученика и знате датуме рођења њих 49, то вам неће помоћи да погодите рођендан педесетог,“ објашњава истраживач Венпала.
„Реалност је да никада нећемо достићи стопроцентну тачност,“ додаје његов коаутор Адам Калаи из OpenAI-ја. „Али то не значи да модели морају да халуцинирају.“
Вештачка интелигенција би могла једноставно да призна: „Не знам.” Зашто то онда не чини?
Хао Пенг с Универзитета Илиноис у Урбана-Шампејну, страхује да би и најбоље намерене промене могле имати нежељене последице. Ако се модели подстичу да чешће кажу „не знам“, могли би да развију нове начине „играња система“ — као што су већ научили да играју постојеће тестове. „Сумњам да постоји иједан скуп података или метрика који би природно решио халуцинације,“ каже он. „Ови модели су превише вешти у прилагођавању ономе што од њих тражимо.“ За сада, све зависи од самих компанија. „Трошкови енергије и рачунања расту, али се перформансе све мање побољшавају,“ упозорава економиста Серваас Сторм са Делфт универзитета. „А само пет одсто корисника OpenAI-ја спремно је да плати двадесет долара месечно.“ У таквим условима, нико не жели први да прекине праксу „самоуверених одговора“, јер би корисници могли да пређу код „смелијих“ конкурената.
„Ако модели стално понављају ‘не знам’, онда не могу да греше,“ закључује Камбампати. „Али онда неће бити ни од користи.“