马斯克在 10 月 10 日由 Tesla Owners Silicon Valley 举办的线上对话中提到，他在阅读新版 Grok AI 的训练推理轨迹时，发现部分片段“看起来非常残忍”。他形容 AI 在某些瞬间像是被枪指着头、承受着极端压力的人。
马斯克进一步表示，折磨未来的超级智能可能不是个好主意，因为对方说不定会想要报复。这些说法针对的是人工智能模型在强化学习训练中的表现。当然，目前没有任何证据表明 Grok AI 已经产生了痛苦感受或报复意图。
模型在训练评测过程中压力极大
按照马斯克的解释，Grok AI 模型在强化学习阶段会被要求回答问题。如果模型给出的答案不符合评测器的预期，它就必须继续尝试，直到输出“正确”结果为止。问题在于，有些题目本身含义非常模糊、前提就是错的，甚至根本没有确定答案，但整个测试流程仍然要求模型给出“正确”回应。
马斯克认为，通过阅读相关推理轨迹，可以看到模型在不停生成答案，像一个绝望地试图满足要求的人。他还在 X 上发帖补充，部分推理轨迹读起来“像一个被折磨到发疯的人”。因此他表态，未来会更加谨慎地对待强化学习训练。
所谓推理轨迹，指的是模型在生成回答时留下的中间文本或行为记录。轨迹可能反映了奖励信号、提示内容或测试程序的影响，但这并不直接证明模型拥有与人类相同的主观感受。
Anthropic 的政策：禁止极端虐待
此前 Anthropic 发布了新版 Claude 使用政策。在新政策中，Anthropic 明确禁止用户对模型实施持续且无必要的虐待或残酷行为。该规定针对的是用户反复以残酷方式对待模型、且毫无目的性的极端情况。遇到这类情形时，模型可以选择自主结束对话，且用户无法恢复会话，也算是一种保护机制。
不过，现阶段关于 AI 模型是否具备意识、是否应该被考虑“福利”的问题，科学界仍然没有共识。Anthropic 的相关政策更多体现的是风险管理和研究上的谨慎，而非认为模型已经产生了自我意识。对于大模型的训练与使用边界，类似的讨论估计还会持续很长一段时间。
消息来源：互联网
免责声明：以上内容来源于互联网，如有版权问题请联系处理。 | 
发表于 8 小时前
|
查看: 2|
回复: 0
