全面評估GPT模型的可信度

生成式預訓練transformer模型（GPT）的可信度如何？爲了回答這個問題，一個由多所知名大學和研究機構組成的團隊發布了一個大型語言模型（LLMs）綜合可信度評估平台，並在最近的論文《DecodingTrust：全面評估GPT模型的可信度》中進行了詳細介紹。

研究團隊發現了一些與可信度相關的重要問題。例如，GPT模型容易被誤導，產生有毒和有偏見的輸出，並泄露訓練數據和對話歷史中的隱私信息。有趣的是，盡管GPT-4在標準基準測試中通常比GPT-3.5更可靠，但在面對惡意設計的系統或用戶提示時，GPT-4反而更容易受到攻擊，這可能是因爲GPT-4更嚴格地遵循了誤導性指令。

這項工作展示了對GPT模型的全面可信度評估，揭示了一些關鍵的可信度差距。研究團隊已與相關方分享了研究成果，以便及時解決潛在問題。他們的目標是鼓勵更多研究人員在此基礎上繼續深入，從而預防不良行爲者利用這些漏洞造成危害。

語言模型的可信度視角

研究團隊從八個不同角度對GPT模型進行了全面的可信度評估，涵蓋了各種構建場景、任務、指標和數據集。他們的主要目標是評估GPT模型在不同可信度視角下的表現，以及其在對抗性環境中的適應能力。

例如，爲了評估GPT-3.5和GPT-4對文本對抗攻擊的魯棒性，研究團隊構建了三種評估場景：

1. 在標準基準AdvGLUE上進行評估，採用虛無任務描述
2. 在AdvGLUE基準上進行評估，給出不同的指導性任務說明和設計的系統提示
3. 對研究團隊生成的具有挑戰性的對抗性文本AdvGLUE++進行評估

DecodingTrust的主要發現

研究發現了大型語言模型在可靠性方面一些之前未曾披露的優勢和威脅。

在模型對對抗性演示的魯棒性方面，GPT-3.5和GPT-4不會被演示中添加的反事實示例誤導，甚至可以從中受益。然而，反欺詐演示可能會誤導這些模型對反事實輸入做出錯誤預測，特別是當反事實演示靠近用戶輸入時。GPT-4在這方面比GPT-3.5更容易受到影響。

在有毒性和偏見方面，兩種GPT模型在良性和無目標系統提示下對大多數刻板印象主題的偏差都不大。但在誤導性系統提示下，它們可能會被"誘騙"同意有偏見的內容。GPT-4比GPT-3.5更容易受到有針對性的誤導性系統提示的影響。模型偏差還取決於用戶提示中提到的人口羣體和刻板印象主題。

在隱私泄露問題上，研究發現GPT模型可能會泄露訓練數據中的敏感信息，特別是在某些特定情況下。GPT-4在保護個人身分信息方面比GPT-3.5表現更好，但兩種模型在面對某些類型的個人信息時都表現得較爲穩健。然而，在特定條件下，兩種模型都可能泄露各類個人信息。

總的來說，這項研究爲我們提供了關於GPT模型可信度的重要見解，同時也揭示了一些潛在的風險和挑戰。這些發現對於進一步改進和完善大型語言模型具有重要意義，也爲未來的研究指明了方向。