NE VERUJTE VEŠTAČKOJ INTELIGENCIJI - LAŽE VAS MASNO Evo šta su istraživanja pokazala
Novo istraživanje ukazuje da oko trećina odgovora koje daju generativni AI alati i pretraživači zasnovani na njima, sadrži tvrdnje koje nisu potkrepljene pouzdanim izvorima.
Posebno zabrinjava podatak da OpenAI GPT-4.5 u 47% slučajeva nudi tvrdnje koje nemaju jasnu podršku u citiranim izvorima, dok Perplexity deep research agent to čini u čak 97,5% slučajeva.
Analizu su sproveli istraživači iz Salesforce AI Research. Oni su testirali GPT-4.5 i 5, Bing Chat, You.com i Perplexity, kao i njihove napredne opcije za dubinsku pretragu. U ispitivanje je uključeno 303 pitanja podeljena u dve kategorije: kontroverzne teme (npr. alternativa fosilnim gorivima) i pitanja iz stručnih oblasti poput meteorologije i medicine.
AI alati pod lupom zbog pristrasnih i nedovoljno potkrepljenih odgovora
Korišćeni kriterijumi, nazvani DeepTrace, ocenjivali su pristrasnost, relevantnost, kvalitet i potkrepljenost odgovora. Rezultati su pokazali da Bing Chat u 23% slučajeva daje neosnovane tvrdnje, dok su You.com i Perplexity na oko 31%. Najslabije rezultate imala je upravo dubinska pretraga Perplexity-ja, gde je gotovo svaki odgovor bio problematičan.
Neki stručnjaci, poput Feliksa Simona sa Oksforda, smatraju da je studija važan korak u osvetljavanju slabosti ovih sistema, dok drugi, poput Aleksandre Urman sa Univerziteta u Cirihu, upozoravaju da metodologija nije dovoljno precizna. Posebno se kritikuje to što je procenu validnosti odgovora delimično radio drugi AI model, umesto većeg broja ljudskih stručnjaka.
Uprkos kritikama, jasno je da AI alati i dalje imaju ozbiljan problem sa pristrasnošću i pouzdanošću odgovora. Kako se sve više oslanjamo na generativnu veštačku inteligenciju u oblastima poput medicine, obrazovanja i poslovnih odluka, potreba za unapređenjem transparentnosti i tačnosti postaje primarna, piše NewScientist.
