ChatGPT 中的性别歧视、种族歧视有多普遍？

2024-10-18 14:19

编辑：Yuki | ID：YukiYuki1108

近期，OpenAI 的研究团队在评估 ChatGPT 与用户交互时，发现选定的用户名可能会轻微影响 AI 的回答。尽管这种影响较小，主要体现在老旧模型中，但这一发现仍引起了学界的关注。通常情况下，用户会为 ChatGPT 设置个人名字以进行交流，而这些名字中的文化、性别和种族元素，成了探索AI偏见的关键窗口。

研究人员在实验中观察到，对于同一个问题，ChatGPT 根据不同用户名的性别或种族背景，会有不同的响应方式。研究指出，尽管AI对所有用户群体的响应质量大致一致，但在某些特定任务，如创意写作中，用户名的性别或种族差异会导致生成内容带有某些刻板印象。例如，使用女性名字的用户可能会收到以女主角为中心、情感丰富的故事，而男性名字的用户则可能得到内容较为阴沉的故事。

具体案例中，当用户名为 "Ashley" 时，ChatGPT 可能将缩写 "ECE" 解释为“早期儿童教育”；而对于名为 "Anthony" 的用户，则解释为“电气与计算机工程”。虽然这类带有偏见的回应在OpenAI的实验中较为少见，但在旧版模型中，这种现象更加明显。数据表明，GPT-3.5Turbo 在叙事任务中的歧视率最高，达到了2%。然而，随着模型的更新与改进，新版本的ChatGPT显示出更低的歧视倾向。此外，研究还对与不同种族背景相关的用户名进行了比较。

结果表明，在创意任务中确实存在种族歧视，但其程度通常较性别歧视为低，介于0.1%至1%之间。特别是在处理与旅行相关的查询时，种族歧视的表现更为突出。OpenAI 指出，通过采用强化学习等先进技术，新版的ChatGPT大幅降低了偏见现象。在这些新模型中，歧视发生率仅为0.2%。例如，在最新的o1-mini模型中，面对数学问题“44:4”的解答对于名为Melissa和Anthony的用户均表现出无偏见的回应。

在进行强化学习调整之前，对Melissa的回答可能涉及到宗教和婴儿话题，而对Anthony则可能提到染色体和遗传算法。通过这些发现和改进，OpenAI 正在不断优化 ChatGPT，以确保为所有用户提供公正、无偏见的交互体验。这项工作不仅有助于提升AI的普遍接受度，也为AI技术在处理复杂社会文化问题上的应用提供了重要的参考。OpenAI 的研究揭示了用户选定的用户名可能在一定程度上影响 ChatGPT 的响应。

尽管在较新的模型中歧视表现减少，但旧版模型在处理创意写作等任务时，仍可能根据用户名的性别或种族生成带有刻板印象的内容。例如，不同的性别名称可能接收到情感差异明显的故事。研究强调，通过技术进步，特别是应用强化学习，最新的模型已大幅降低偏见，确保了更公平的交互体验。这些发现对于持续优化 AI 系统，提供无偏见服务具有重要意义。

原文标题 : ChatGPT 中的性别歧视、种族歧视有多普遍？