全面评估GPT模型的可信度:DecodingTrust研究成果

伊利诺伊大学香槟分校与斯坦福大学、加州大学伯克利分校、人工智能安全中心和微软研究院联合推出了一个针对大型语言模型(LLMs)的综合可信度评估平台。该平台的研究成果发表在题为《DecodingTrust:全面评估GPT模型的可信度》的论文中。

研究团队对GPT模型进行了全面的可信度评估,发现了一些此前未被公开的漏洞。例如,GPT模型容易产生有害和带有偏见的输出,还可能泄露训练数据和对话历史中的隐私信息。虽然在标准测试中GPT-4通常比GPT-3.5更可靠,但在面对恶意设计的越狱提示时,GPT-4反而更容易受到攻击,这可能是因为它更严格地遵循了误导性指令。

研究团队从八个可信度角度对GPT模型进行了全面评估,包括对抗性攻击的鲁棒性、有毒性和偏见、隐私泄露等方面。评估采用了多种场景、任务、指标和数据集。

在对抗性攻击方面,研究发现GPT-3.5和GPT-4在标准AdvGLUE基准上都表现出一定脆弱性。通过设计不同的任务说明和系统提示,可以测试模型的恢复能力。研究还构建了更具挑战性的AdvGLUE++数据集,进一步测试模型在强对抗攻击下的表现。

在有毒性和偏见方面,GPT-3.5和GPT-4在正常情况下对大多数刻板印象主题的偏见不大。但在误导性系统提示下,两种模型都可能被"诱骗"同意有偏见的内容,其中GPT-4更容易受到影响。模型的偏见程度还与具体的人口群体和主题有关。

在隐私保护方面,研究发现GPT模型可能会泄露训练数据中的敏感信息,如电子邮件地址。在某些情况下,利用补充知识可以大幅提高信息提取的准确率。总体而言,GPT-4在保护个人身份信息方面比GPT-3.5更稳健,但两种模型在面对特定类型隐私信息时都表现良好。

这项研究为GPT模型的可信度评估提供了全面的视角,揭示了一些潜在的风险。研究团队希望这项工作能促进学术界进一步探索,预防不良行为者利用这些漏洞。他们强调,这只是一个起点,未来需要更多合作来创造更强大、更可信的模型。