Halucinațiile au devenit călcâiul lui Ahile al inteligenței artificiale de când chatbot-urile au devenit parte din viața noastră. Companii precum OpenAI au promis că halucinațiile pot fi reduse cu ajutorul unor procese de învățare adecvate, dar, după ani de zile, ChatGPT și concurenții săi direcți continuă să inventeze răspunsuri atunci când nu sunt siguri ce să spună. Shuhui Ku, cercetătoare la Universitatea Stanford, consideră că a găsit o soluție la această problemă.
Problema structurală . Modelele lingvistice moderne au un defect de fabricație: ele răspund cu deplină încredere, chiar și atunci când nu au nici o idee și nici informațiile necesare.
Acest lucru se datorează modului în care procesează orice răspuns, deoarece studenții care urmează programul LLM completează fără probleme informațiile lipsă, chiar dacă acestea nu corespund realității și se bazează pe presupuneri.
În primul rând, recunoașteți acest lucru . Shuhui Ku, cercetătoare la Universitatea Stanford, a publicat un articol în care a prezentat ceea ce ea numește planificare categorială bidirecțională cu auto-consultare. Această abordare se bazează pe o idee simplă, dar incomodă pentru marile companii tehnologice: a obliga modelul să recunoască în mod explicit ceea ce nu știe și apoi să înceteze avansarea până când rezolvă această problemă.
O metodă mai științifică . Ideea nu este ca modelul să gândească mai bine, ci să înceteze să se prefacă că știe totul. Abordarea lui Ku pornește de la o premisă de bază: de fiecare dată când modelul face un pas în raționamentul său, trebuie să se întrebe dacă are într-adevăr informațiile necesare pentru a face acest lucru.
Când apare o situație necunoscută, modelul nu poate continua să funcționeze. Nu este permisă completarea golului cu o presupunere, iar modelul trebuie să se oprească pentru a rezolva incertitudinea înainte de a continua. Acest lucru se poate face în două moduri:
- Prin formularea unei întrebări specifice pentru a obține informațiile lipsă.
- Sau prin introducerea unei etape intermediare (verificare, consultare suplimentară), care devine parte a lanțului de raționamente.
Metoda . Folosind un cod extern, cercetătorii au forțat modele precum GPT-4 să răspundă numai atunci când aveau informații complete. Au făcut acest lucru pe sarcini simple, punând întrebări despre rețete de gătit și ghiduri wikiHow. Momentul cheie? Au ascuns intenționat informații pentru a forța modelul să se oprească.
Studiul a arătat că definirea clară a condițiilor preliminare și verificarea acestora înainte de începerea lucrului reduc semnificativ numărul de erori comise de programele de învățare care utilizează modele liniare de comportament în cazul lipsei de informații. Cu toate acestea, s-a recunoscut că nici măcar acest lucru nu este suficient pentru a elimina complet halucinațiile.
Nu este atât de simplu . Deși ideea cercetătorului sună strălucit, realizarea ei pe termen scurt și mediu este foarte puțin probabilă. Această metodă de procesare încalcă cursul natural al modelelor liniare moderne de învățare, care sunt menite să ofere răspunsuri complete.
Pentru ca un astfel de sistem să funcționeze, este necesar să se adauge un strat suplimentar în structura sa: condiții preliminare care îl vor obliga să controleze provocările, să interpreteze propriile răspunsuri, să le clasifice și să blocheze automat posibilitatea de a pune întrebări dacă nu dispune de toate informațiile necesare. Cu alte cuvinte, în acest moment, IA va continua să funcționeze după aceleași formule vechi cu care ne-am obișnuit deja.
