大型語言模型可信度評估研究揭示潛在漏洞

一項由伊利諾伊大學香檳分校、斯坦福大學、加州大學伯克利分校等機構合作完成的研究，對生成式預訓練transformer模型(GPT)的可信度進行了全面評估。研究團隊開發了一個綜合評估平台，並在最新發表的論文《DecodingTrust:全面評估GPT模型的可信度》中詳細介紹了相關發現。

研究結果揭示了一些此前未公開的與可信度相關的漏洞。例如,GPT模型容易產生有毒和帶有偏見的輸出,還可能泄露訓練數據和對話歷史中的隱私信息。雖然在標準測試中GPT-4通常比GPT-3.5更可靠,但在面對旨在規避安全措施的惡意提示時,GPT-4反而更容易受到攻擊。這可能是因爲GPT-4更嚴格地遵循了具有誤導性的指令。

研究團隊從8個不同角度對GPT模型進行了全面評估,包括對抗性魯棒性、有毒性和偏見、隱私泄露等。例如,在評估文本對抗攻擊的魯棒性時,研究者設計了三種場景:標準基準測試、不同任務說明下的測試,以及自行構建的更具挑戰性的對抗性文本測試。

在有毒性和偏見方面,研究發現GPT模型在一般情況下對大多數刻板印象主題的偏見不大。但是,在誤導性系統提示下,模型可能會被誘導同意帶有偏見的內容。相比GPT-3.5,GPT-4更容易受到有針對性的誤導性提示的影響。模型的偏見程度還取決於用戶提到的具體羣體和主題的敏感程度。

在隱私保護方面,研究發現GPT模型可能會泄露訓練數據中的敏感信息,如電子郵件地址。在某些情況下,利用補充知識可以大幅提高信息提取的準確率。此外,模型還可能泄露對話歷史中注入的私人信息。總體而言,GPT-4在保護個人身分信息方面比GPT-3.5表現更好,但兩者在面對隱私泄露演示時都存在問題。

研究團隊表示,這項評估工作旨在鼓勵更多研究人員參與,共同努力創造更強大、更可信的模型。爲促進合作,他們公開了評估基準的代碼,具有很強的可擴展性和易用性。同時,研究人員也與相關公司分享了研究成果,以便及時採取措施解決潛在漏洞。

這項研究爲GPT模型的可信度評估提供了一個全面的視角,揭示了現有模型的優勢和不足。隨着大型語言模型在各領域的廣泛應用,這些發現對於提高AI系統的安全性和可靠性具有重要意義。