PIPELINEConoscenze IA
Perché l'IA inventa cose — e come risolvere il problema in azienda
Le risposte inventate non sono un errore del modello, ma una conseguenza del suo funzionamento. Per questo serve solo un'architettura che le renda impossibili.
Un modello linguistico genera continuazioni probabili di testo. Non ha un concetto di «non lo so» — ha solo probabilità. Una risposta falsa ma plausibile non è distinguibile per il modello da una corretta.
01
Perché succede
Un modello linguistico genera continuazioni probabili di testo. Non ha un concetto di «non lo so» — ha solo probabilità. Una risposta falsa ma plausibile non è distinguibile per il modello da una corretta.
02
Cosa non funziona
Chiedere al modello di non inventare. Riduce leggermente la frequenza e non elimina il problema.
03
Cosa aiuta
Tre cose insieme: consentire risposte solo da una fonte verificata, indicare la fonte nella risposta e prevedere una via d'uscita definita nel caso in cui non si trovi nulla. Il terzo punto è il più importante e viene omesso più spesso.
04
Il test prima del lancio
Fare domande la cui risposta non si trova nei documenti. Un bot ben costruito dice che non lo sa e redirige. Uno mal costruito inventa qualcosa — e lo si scopre con il cliente.
05
Un esempio dalla pratica
Un chatbot senza vincolo alle fonti risponde alla domanda su un determinato periodo di garanzia con un numero plausibile ma falso — nessuno se ne accorge, finché una cliente non vi fa riferimento. Con vincolo alle fonti, il bot avrebbe citato il periodo corretto dalle condizioni di garanzia o avrebbe onestamente detto di non saperlo.
Domande
Domande frequenti
I modelli più recenti non sono semplicemente migliori nel non inventare?
Sono migliori, ma il problema rimane strutturale — non è questione di generazione del modello, ma di funzionamento. Un sistema senza vincolo alle fonti inventerà sempre qualcosa occasionalmente, non importa quanto sia recente.
Quanto spesso succede nella pratica?
Senza contromisure, in modo percettibile con domande complesse o rare. Con un solido vincolo alle fonti e una via d'uscita definita, il tasso scende a un livello in cui il resto viene quasi sempre intercettato come «non lo so» invece che come affermazione falsa.
Si può integrare in un sistema esistente in un secondo momento?
Sì, di solito senza dover ricostruire tutto. Il vincolo alle fonti e la via d'uscita definita possono essere aggiunti a una configurazione esistente — l'impegno sta nel testing, non nella ricostruzione.
Come si testa in modo sistematico, invece di provare solo qualche domanda?
Con una lista fissa di richieste reali, comprese alcune le cui risposte non si trovano nei documenti. Questa lista viene eseguita di nuovo dopo ogni modifica — questa è la differenza tra campionamento casuale e vero test.
Prossimo passo
Parliamo brevemente se conviene per te.
Una conversazione di venti minuti basta di solito per capire se un progetto ha senso. Se non ce l'ha, lo diciamo — costa meno a entrambi di un preventivo che nessuno vuole.