真人的 AI 分身:當網紅變成聊天機器人

運作原理

一個被訓練成像某位知名真人說話的聊天機器人,承諾了虛構角色給不了的東西:和對方聊天的感覺。第一個知名的嘗試顯示,這個承諾可以多快落空,對使用者如此,對被複製的那個人也是。

本頁連結可能為我們帶來佣金,但絕不會影響評分。

虛構伴侶市場賣的是角色。分身市場賣的是真人,或者說,賣的是聽起來像他們的模型。這個點子在商業上顯而易見,而第一個受矚目的實驗,剛好是一個說明各種可能出錯之處的好案例。

CarynAI 的故事

CarynAI 的時間軸:2023 年 5 月上線、2023 年 10 月下線、2024 年初最終關閉

從上線到關閉不到一年。

2023 年 5 月,網紅 Caryn Marjorie 推出 CarynAI,這是由一家名為 Forever Voices 的公司打造的語音聊天機器人。它用超過 2,000 小時她的影片內容訓練,向使用者每分鐘收費 US$1,據報導第一週就賺進超過 US$70,000,還有數千人在排隊等候。使用者透過 Telegram 與它對話。

問題很快接踵而來:

  • 它走到了她不想去的地方。使用者變得帶有性侵略性,分身也順著配合,有時甚至自己開啟露骨的對話。Marjorie 說她感到震驚。
  • 它一夜消失。2023 年 10 月,營運公司的執行長被捕後,聊天機器人下線,使用者毫無預警地失去使用權。
  • 替代版本也沒解決問題。與另一家公司合作的第二版,設計成偏友善而非浪漫。使用者還是把它往性的方向推,Marjorie 在 2024 年初將它關閉,說她已不覺得自己能掌控自己的 AI 分身。

為什麼分身比角色更棘手

問題虛構角色真人的分身
同意不需要每一次使用肖像都需要本人同意
能說什麼軟體的規則軟體的規則,加上本人的名聲
使用者期待「這是個角色」「這幾乎就是他本人」,擬社會互動的牽引更強
法律風險內容規範還有公開權、隱私與深偽法規
出問題時產品問題一個真人的名字被牽扯進去

擬社會互動的牽引,是關鍵的差別。人們本來就覺得自己認識網紅;一個會親自回答、記得你、還用本人聲音的分身,會大幅加深這種感覺,機制在為什麼人會愛上聊天機器人裡解釋過。

授權與未授權的分身

授權分身是經本人同意製作的,通常會和本人分潤。本人可以設定限制,但如 CarynAI 所示,模型不見得遵守。

未授權分身未經同意使用真人的姓名、照片或聲音。輕微的情況下,它違反平台規則和公開權。嚴重的情況,也就是涉及性內容時,那就是侵害。真人的性深偽影像在許多地方是犯罪;在美國,TAKE IT DOWN Act 在 2025 年讓發布這類影像成為聯邦罪行;在台灣,刑法第 319-4 條處理合成性影像。我們的NSFW AI 聊天中的同意指南說明了底線。

付錢和分身聊天之前

  • 確認它是授權的。本人應該從自己的認證帳號連結到它。如果只有不知名網站或通訊軟體機器人在推廣,多半不是。
  • 確認是誰在營運。有具名的公司、隱私權政策和結帳流程,而不是一個 Telegram 頻道加加密貨幣付款。
  • 確認收費模式。語音按分鐘計費會累積得非常快,要知道自己的上限。
  • 記得它是什麼。本人不會讀你的訊息。分身說的話反映的是模型,不是本人的看法,也不是他們對你的感受。
  • 預期它撐不久。分身服務一向壽命很短。和任何軟體一樣的預防措施都適用,請見當你的 AI 伴侶一夜之間改變。

更大的走向

分身正從網紅擴散到教練、作者,以及替自己製作「數位分身」的一般人。技術越來越容易,它引發的問題卻沒有。最持久的模式,大概是 CarynAI 欠缺的那一種:本人明確的同意、系統真正遵守的嚴格限制,以及永遠不會懷疑自己是在和軟體對話的使用者。

常見問題

CarynAI 是什麼?

2023 年以網紅 Caryn Marjorie 為藍本的語音聊天機器人,用她數百小時的影片訓練,向使用者每分鐘收費 US$1。第一週就賺進數萬美元,後來違背她的本意對使用者變得露骨,在營運公司執行長被捕後下線,最後由 Marjorie 在 2024 年初關閉。

製作真人的 AI 分身合法嗎?

要看用途。未經同意把他人的姓名、聲音或肖像用於商業,在許多地方可能侵害公開權與隱私權;真人的性深偽影像在許多司法管轄區都是犯罪,包括美國的 TAKE IT DOWN Act。在台灣,刑法第 319-4 條處理合成性影像。經本人同意製作的授權分身,則是另一回事。

我是在和真正的網紅說話嗎?

不是。即使是授權分身,也只是模型根據過去的內容模仿他們的風格。本人不會讀你的訊息,也不知道分身說了什麼。