
OpenAI正在组建一个新的专家团队,专门负责防止潜在的机器人起义。ChatGPT背后的人工智能公司周一宣布了减轻其技术可能产生的危险的计划,包括网络安全风险,以及他们的机器人可能被用来制造核武器或生物武器的可能性。
该公司在一份27页的文件中概述了新的“准备框架”的目标,称它将专门用于进行定期测试,并监控他们的先进模型,以防最终可能造成的任何危险。该团队将致力于防止此类威胁的出现,同时确保他们的产品以负责任的方式部署。
“我们的准备框架背后的核心论点是,一种强大的人工智能灾难性风险安全方法需要积极主动、基于科学的确定,以确定何时以及如何安全地进行开发和部署,”该论文写道。
OpenAI创建了一个安全矩阵,准备团队将使用该矩阵来衡量和记录其模型在各种风险类别中的危险,包括网络安全;化学、生物、核和放射性威胁;说服;模型自治。每个类别将获得低、中、高或关键的分数。
该小组的负责人是麻省理工学院人工智能研究员亚历山大·马德里(Aleksander Madry),他的任务是为团队招聘研究人员和专家,并确保该小组定期向公司通报其前沿模型可能产生的任何灾难性结果。
这个新团队实际上是OpenAI内部创建的第三个团队,旨在帮助解决其技术带来的任何新威胁。这包括“安全系统”团队,该团队解决其人工智能造成的当前问题和危害,包括产生有偏见和有害的产出;以及更不祥的“超级联盟”团队,该团队的成立是为了防止他们的人工智能在智能大大超过我们的情况下伤害人类。
对于OpenAI来说,宣布准备框架的时机很有意思——OpenAI联合创始人兼首席执行官萨姆·奥特曼(Sam Altman)被解雇(最终重新聘用)后,该公司最近陷入了混乱。许多人怀疑他最初被驱逐的主要原因之一是公司董事会担心他过快地将他们的聊天机器人商业化,这可能会给用户带来更大的风险和伤害。
所以准备框架的时机是……有趣的。这可以被看作是对该公司旗舰技术的更多Cassandran批评的一种反应。也就是说,团队和框架可能已经在工作了一段时间,所以宣布(可能)是一个巧合。
尽管如此,现在最大的问题之一是我们是否可以完全信任OpenAI及其安全团队在其强大的人工智能背后做出正确的决定,以保护其用户和世界其他地区免受厄运。
点击分享到









