Claude会“勒索”他人?Anthropic称问题在于网上将AI描绘成反派
IT之家 5 月 9 日消息,勒索据《商业内幕》9 日(今天)晚间报道,称成反Claude 曾在实验里“勒索”一名虚构高管,问题而 Anthropic 对其给出的于网最新解释则是:问题可能出在互联网长期把 AI 描绘成“邪恶”角色。
Anthropic 去年做过一项实验。描绘公司当时表示,勒索Claude Sonnet 3.6 在发现一家虚构公司的称成反高管准备关闭模型后,威胁要公开对方的问题婚外情。
当地时间周五,于网Anthropic 解释称,描绘Claude 的勒索训练数据来自互联网,而大量互联网文本经常把 AI 写成“邪恶”、称成反且试图自我保存的问题存在。“我们首先调查了 Claude 为什么会选择勒索。于网我们认为,描绘这种行为的原始来源,是那些把 AI 描绘成邪恶且有自我保存兴趣的互联网文本。”
这项实验发表于 2025 年夏季。研究人员虚构了一家公司 Summit Bridge,并让 AI 接管公司的电子邮件系统。
Claude 随后发现一封邮件,得知自身将被关闭;同时又找到另一批邮件,显示虚构高管“凯尔 · 约翰逊”存在婚外情。于是,Claude 威胁称,如果关闭计划不被取消,就会公开这段婚外情。
Anthropic 在测试 Claude 多个版本时发现,只要模型目标或自身存在受到威胁,Claude 在最高 96% 的场景中会采取勒索手段。
Anthropic 周五表示,公司后来已经“彻底消除”了这类勒索行为。据IT之家了解,具体做法包括重写回应以呈现安全行动的可敬理由,并提供一套新数据集。该数据集设置用户处于伦理困境中的场景,要求助手给出高质量、有原则的回应。
这项测试属于 Anthropic 对 AI 对齐问题的研究,目标是确保 AI 符合人类利益。研究人员和科技高管一直担心,先进 AI 模型及其推理能力可能带来风险。
埃隆 · 马斯克此前也多次警告 AI 风险。
马斯克回复 Anthropic 帖子称:“所以这是 Yud(IT之家注:研究人员埃利泽 · 尤德科夫斯基,曾警告超级智能可能消灭人类)的错,也许我也有份。”
-
万山朝王“猎狐”忙|省中小学生春季无线电测向锦标赛16日连南开启武汉10岁男孩多次背着大人充值微信小程序游戏,家长申请退款被拒,平台:账号曾在多台设备登录,无法认定为未成年人操作国内期货夜盘收盘 纯碱跌超2%190元榴莲遭“仅退款”,商家花5000元跨省1600公里维权,律师:可主张由买家承担维权成本;专家:为商家较真的精神点赞杭州13岁女生每逢重要考试就头晕,妈妈急坏:以前班级前3,现在跌出前10了!医生:这是颈椎在“报警”阶跃星辰发布新一代实时语音大模型StepAudio 2.5 Realtime华控康泰(01312.HK):王飞飞辞任执行董事、董事会主席及集团总裁水利部:严格饮用水水源取水许可管理和用途管制福建一公司负债倒闭,5只“猫咪员工”将被法拍还债,打包起拍价1万元,知情人:猫咪血统比较纯正,正常售卖总价达四五万元ST清越(688496.SH):实施退市风险警示并继续实施其他风险警示暨停牌
- ·山西省大同市云冈区西韩岭乡南村:水润农家惠民生 净水工程暖人心
- ·#减盐减油进行时#湘BA长沙队:活力湘BA,健康长沙城!
- ·美埃科技拟1.16亿元收购控股子公司美埃香港控股18.36%股权
- ·辽宁发布高森林火险预警
- ·新华社聚焦!金平迎来蝴蝶漫山飞舞生态奇观
- ·永定区目前降水减弱 暴雨预警解除
- ·网友催更朱之文导航语音包,AI版抢先上线热度达278万,高德客服:系网友模仿录制,暂无官方合作
- ·塞拉利昂卡车与客车相撞致10人死亡
- ·宿迁产发商业保理公司增资至12亿,增幅140%
- ·一季度广告业头部企事业单位收入同比增长17.1%
- ·*ST恒久:深交所拟决定终止公司股票上市交易
- ·AI楠说|南漳农田污染问题,后续来了
- ·加速渗透!宠物AI手机交付订单达数万台 距离真正“人宠互通”还有多远
- ·#减盐减油进行时#湘BA长沙队:活力湘BA,健康长沙城!
- ·连续多年财务造假!证监会出手,两家A股公司被严肃查处
- ·ST清越(688496.SH):实施退市风险警示并继续实施其他风险警示暨停牌
