人工智慧（AI）語言模型是否具備對真實世界的「理解」能力，一直是科學界與科技界探討的關鍵問題。一項由布朗大學（Brown University）研究人員主導的最新研究發現，AI 語言模型在基礎層面上確實展現出區辨現實世界邏輯的能力，這項研究成果將於本週六（4月25日）在巴西里約熱內盧（Rio de Janeiro）舉行的國際表徵學習大會（International Conference on Learning Representations）上發表。
該研究旨在探尋 AI 語言模型能否區分常見、不太可能、不可能或荒謬的事件與情境。研究團隊設計實驗，測試模型如何解讀描述不同合理性程度的句子。例如，「有人用冰塊冰鎮飲料」被歸類為常見事件，「有人用雪冰鎮飲料」為不太可能，「有人用火冰鎮飲料」則為不可能，「有人用昨天冰鎮飲料」則歸類為荒謬。
研究人員透過「機械可解釋性」（mechanistic interpretability）方法，深入檢視 AI 模型內部生成的數學狀態，此技術被Michael Lepori（布朗大學博士候選人及該研究主要作者）比喻為「AI 系統的神經科學」。他表示，這項工作揭示了語言模型已編碼了類似真實世界因果限制的證據，而且這種編碼方式，能預測人類對這些類別的判斷。
實驗涵蓋了多款開源語言模型，包括開放人工智慧（Open AI）的 GPT 2、Meta 的 Llama 3.2 以及 Google 的 Gemma 2，以確保研究結果的普遍性。結果顯示，參數數量超過 20 億的語言模型會發展出獨特的數學模式（向量），這些模式與事件的合理性類別相關聯。這些向量能夠以約 85% 的準確度，區分「不太可能」與「不可能」事件。
Michael Lepori 指出，這些 AI 模型生成的數學模式，也反映了人類對於某些陳述合理性判斷時的不確定性，例如「有人用帽子清潔地板」這類模稜兩可的語句。他強調：「我們發現模型確實能很好地捕捉人類的不確定性。」
這項研究的共同作者，布朗大學電腦科學教授 Ellie Pavlick 和神經科學家托馬斯·塞爾（Thomas Serre），也認同機械可解釋性研究有助於理解 AI 模型「知曉」了什麼以及它們如何獲取知識，這對於開發更智慧、更值得信賴的 AI 模型具有重要意義。
