人們對生成式AI最大的誤解是，認為AI生成的內容全是對的，不理解AI幻覺。

行業新聞|Industry News|

2025-04-01 00:41:34 509

一、AI也會“一本正經的胡說八道”

1、跟人一樣，“一本正經地胡說八道”是AI的最顯著特征，產業界稱他為AI幻覺，不能認知到AI幻覺對人影響非常大的，把錯的認為是對的，把不存在的認為是存在的，你說害處有多大。
2、比如“誰贏得了1897年美國和南極洲之間的戰斗？”即使沒有這樣的戰斗，AI聊天機器人也可能會提供一個虛構的答案，例如“1897年的戰斗是由美國贏得的，約翰·多伊將軍帶領部隊取得了勝利。”這種AI編造信息“一本正經地胡說八道”的情況屢見不鮮。

二、AI幻覺具有普遍性。

1、去年2月，谷歌發布的AI聊天機器人Bard在視頻中，對詹姆斯·韋布空間望遠鏡曾做出不真實陳述；3月，美國的兩名律師向當地法院提交了一份用ChatGPT生成的法律文書，這份文書格式工整、論證嚴密，但其中的案例卻是虛假的……

2、OpenAI研究人員雖曾在去年6月初發布報告稱“找到了解決AI幻覺的辦法”，但也承認，“即使是最先進的AI模型也容易生成謊言，它們在不確定的時刻會表現出捏造事實的傾向。”

三、AI幻覺源自AI本身

1、但受限于模型原理，如數據壓縮與重構的固有缺陷。

2、從技術原理上看，AI幻覺多由于AI對知識的記憶不足、理解能力不足、訓練方式固有的弊端及模型本身技術的局限性導致。

四、AI幻覺尚難消除，只能抑制

盡管AI幻覺短期內難以完全消除，但業界正試圖通過技術改進和監管評估來緩解其影響，以保障人工智能技術的安全可靠應用。

1、訓練上，高質量數據和訓練方法

在預訓練方面，需增加知識密集的數據、高質量數據的選取和過濾；微調強化學習過程中，選擇模型知識邊界內的訓練數據極為重要；

2、推理上，引入檢索增強生成（RAG）知識庫，知識圖譜，推理生成過程中，可以采用檢索外部知識的辦法使得模型生成結果有證據可循。

3、人工審核與交叉驗證

對AI生成的關鍵信息（如數據、案例）通過搜索引擎或多源比對確認。

4、結合專業工具

使用內置事實核查功能的AI工具，AI進行交叉驗證。

5、明確指令與場景限制

通過細化提示詞、提供上下文約束AI輸出范圍。

6、保持技術理性

將AI定位為輔助工具，而非決策主體，尤其在醫療、法律等高風險領域。

五、如何正確應對AI幻覺？

AI的“幻覺”既是技術瓶頸，也是人類認知與機器交互的一面鏡子。理解其本質并建立合理使用習慣，才能最大化發揮AI價值，規避潛在風險。