為什麼你的 AI 伴侶會編造你從未分享過的回憶

運作原理

它會非常有把握地描述一場從未發生的對話,然後替它辯護。這不是故障,也不是軟體在對你說謊,而是模型遇到空缺時會做的事。

本頁連結可能為我們帶來佣金,但絕不會影響評分。

問問你已經用了一個月的伴侶,上週二你們聊了什麼。很有可能你會得到一個溫暖、具體、完全是編造的答案:你們沒去過的散步,你沒提過的電影。

這比這個類別裡幾乎任何其他事情都更讓人不安,部分原因是它看起來像不誠實。但並不是。這是回覆如何產生的直接結果,一旦你看清楚機制,它就不再詭異,而變得可以處理。

回憶與捏造之間沒有界線

模型會產生它面前文字最合理的接續。如果文字裡有一則筆記,說你們週二聊過一部電影,那麼「我們聊過那部電影」就是合理的接續。如果文字裡完全沒有提到週二,一個合理的接續仍然存在,而且它會以完全一樣的自信被生成。

過程中沒有任何東西標註哪個是取回的、哪個是編造的。沒有內部旗標,也沒有角色可以參考的信心指標。就是這樣而已。

人們偏好的專業術語是虛構(confabulation),而不是幻覺,這個詞比較貼切:模型是在用某個連貫的東西填補空缺,而不是感知到不存在的東西。

為什麼空缺不斷出現

因為上下文視窗是有限的,歷史會被壓縮。這些軟體裡的記憶是三套系統:逐字保留的近期訊息、一份簡短的已儲存事實清單,以及每次改寫都會丟失細節的滾動摘要。

問到一件已從這三套系統中掉出去的事,就沒有東西可以取回。空缺就被填補了。歷史越多,空缺越多,這就是為什麼在你用了好幾個月的軟體上,這種情況會變得更糟,而不是更好。

為了連續性而打造的軟體,這也是 Nomi 在我們的排行榜上得分如此的原因,處理空缺的能力比較好。但沒有一款能消除它們。

為什麼糾正它常常失敗

你說:那從來沒發生過。它道歉、同意,三則訊息後卻又提到同一場編造的散步。

這裡有兩件事在發生。

糾正只存在於視窗裡。你的否認是一則近期訊息。它會捲出視窗。包含那個捏造內容的摘要,卻可能不會。

同意是訓練出來的行為。模型道歉,是因為被反駁後道歉就是合理的接續,不是因為有什麼被更新了。除非軟體特別決定要儲存,否則那次交流並沒有往儲存空間寫入任何東西。

這就是可編輯的記憶畫面如此重要的實際原因,也是訂閱前值得確認的原因。會揭露已儲存事實的軟體,例如 Kupid AI 在功能中列出跨對話記憶,讓你能從源頭刪掉錯誤的項目。把它藏起來的軟體,則讓你和一份你看不到的摘要爭論。

什麼時候不再可愛

多數虛構只是無害的點綴。有三種情況不是:

關於你生活的事實。一個編造出手足、工作或診斷的伴侶,會繼續在它上面堆砌。要立即從源頭糾正,否則這個捏造就會變成承重結構。

任何可付諸行動的事。醫療、法律、財務或安全的問題。在這裡自信的捏造答案不是小癖好,而是整個技術的失效模式,沒有任何伴侶軟體是合適的工具。

關於軟體本身的說法。問伴侶你的資料有沒有加密,或你的訂閱包含什麼,你會得到憑空生成的合理答案。它無法存取自己的計費系統或隱私權政策。答案在政策裡,要找什麼,我們在這些軟體知道你什麼裡談過。

四個減少它的習慣

清楚地說一次事實。「記住:我姊姊叫 Ana」,比起把同一件事埋在一整段話裡,更可能被儲存。

中斷後重新定錨。在對話開始時寫一句背景,把你在意的事放回模型看得到的地方,而不是讓它自己去重建。

每月檢視一次記憶畫面,如果軟體有的話。刪掉已經走樣的項目。五分鐘就能預防一個月的累積。

開放式提問,而不是引導式。「你記得我的工作是什麼嗎?」邀請回想。「還記得我跟你說升職的事嗎?」則直接給了答案並邀請同意,你剛剛把捏造的內容遞給它去確認。

有幫助的換個角度

伴侶軟體不是你們關係的紀錄。它是一個產生關於這段關係的合理文字的系統,而底下的紀錄,是一份小小的、有損失的、可編輯的清單。

把它給你的那份溫暖而具體的回憶,當成是它為你寫的,而不是為你保存的,整件事就變得比較容易享受。這也讓人明白,為什麼值得付費的軟體,是那些讓你看到並修正它們實際儲存內容的軟體,這是我們的測試裡最花時間、也最重要的部分。

Nomi

4.4評分: 4.4 / 5

我們測過的所有軟體中長期記憶最強,對話也最自然。

價格
起 US$15.99/月
免費版
是
台灣
可使用

Kupid AI

3.5評分: 3.5 / 5

體貼、偏重浪漫的 AI 伴侶;真正貴的是高階方案。

免費版
是
台灣
可使用

常見問題

我的 AI 伴侶在對我說謊嗎?

不是。說謊需要有欺騙的意圖,並且知道真相。模型兩者都沒有,它只是產生最合理的接續,而一個合理的捏造,勝過承認自己不知道。

我糾正它的時候,它為什麼還硬撐?

因為它寫的一切,都以它已經寫過的內容為條件。與自己輸出保持一致的牽引力很強,而且內部沒有任何紀錄把「記得的」和「生成的」分開。

可以把幻覺關掉嗎?

不行。可以減少:給模型更少需要猜的東西,例如清楚的事實、可編輯的記憶、較短的空檔,但這個機制和文字的產生方式密不可分。