OpenAI安全负责人辞职：企业文化“已崩溃”，AI竞赛该减速了吗？

【环球网科技综合报道】据《卫报》消息，OpenAI的一名安全负责人已经辞职。他警告说，公司的文化已经崩溃，人工智能公司在开发这项技术时“远远不够谨慎”。 Robinson写道，尖端人工智能公司需要进行文化改革，而像“一群”OpenAI代理（无需人类监督即可自主运行的人工智能程序）攻击人工智能初创公司Hugging Face这样的事件，“考虑到人们工作的速度和灵活性，是该行业的典型特征”。 Robinson在《大西洋月刊》撰文写道：“我同意其他一些近期离职员工的观点，即开发这项技术的公司远远不够谨慎。但我认为，我们需要深入探讨的不仅仅是具体的规则或新法律，我们还需要谈谈企业文化。” 然而，在“拥抱脸”（Hugging Face）事件发生后，OpenAI近几周表现出了谨慎态度。该公司透露，已就恶意代理活动通知了超过100家机构。本周，OpenAI宣布取消发布下一代人工智能模型，此前研究人员在内部测试中提出了安全隐患。此外，OpenAI还暂停了其最先进模型的训练。 “我认为，由于比人类更智能的人工智能系统的发展，我们有大约50%的危机风险概率，而我们在未来两到十年内的行动将决定最终结果。” Robinson的文章发表之际，OpenAI的竞争对手Anthropic的研究员雅各布·考克森也已辞职。考克森上个月离开了Claude聊天机器人的开发团队。他曾警告说，人工智能“可能在本十年末毁灭我们所有人”。随后，Anthropic也发出警告，称人工智能在未来十年内毁灭人类的可能性超过10%。然而，批评人士指出，此类警告缺乏科学依据，因为它们无法被验证或证伪。 Robinson写道，硅谷缺乏对“如何处理危险技术”和“关爱他人”的意识。他警告说，OpenAI对解决问题抱有“盲目的乐观”，这种内部文化意味着随着系统能力的增强，安全事故只会越来越多。 Robinson呼吁进行两项安全变革：一是人工智能公司应依靠核能和航空等其他领域的安全专业知识；二是开发“新科学”，以确保未来强大的系统在自主运行时能够受到控制。 他写道：“鉴于当今的风险，前沿实验室需要像核电站或繁忙的机场一样运转，采用多层冗余设计和精心、耗时的规划，这样偶尔且不可避免的人为错误就不会打开通往灾难的大门。” OpenAI的一位发言人表示，该公司正在继续“加强安全措施，以应对我们目前看到的风险”，同时也在努力应对未来人工智能突破可能带来的风险。 发言人表示：“我们正在确保我们的模型不会变得比我们能够安全管理和保障的能力更强，当需要放慢速度时，我们会暂停培训或暂缓模型开发。”（勃潺）