全球最受瞩目的人工智能公司,OpenAI的每个消息都引发了外界的极大关注
人工智能首页 > 机器人 > 正文

全球最受瞩目的人工智能公司,OpenAI的每个消息都引发了外界的极大关注

2024-05-20 阅读2次

  “很长一段时间以来,我与OpenAI领导层对公司核心优先事项的看法一直不合,直到我们终于到了临界点。

  我认为,我们应该把更多的带宽用于为下一代模型做好准备,包括安全性、监控、准备、对抗鲁棒性、(超级)一致性、保密性、社会影响和相关主题。

  ……过去几个月里,我的团队一直在逆风航行。有时我们在计算上很吃力,完成这项重要的研究变得越来越困难。

全球最受瞩目的人工智能公司,OpenAI的每个消息都引发了外界的极大关注

  建造比人类更聪明的机器本身就是一项危险的尝试。

  OpenAI代表着全人类肩负着巨大的责任。

  但过去几年,安全文化和流程已经让位于吸引眼球的产品。……”

  对此,奥特曼发文回应,称“我非常感激杨·莱克对OpenAI的对齐研究和安全文化做出了贡献,看到他离开,我感到非常难过。他说得对,我们还有很多事情要做;我们致力于这样做。在接下来的几天里,我会有一个更长的帖子。”

  几个月来,OpenAI一直在流失关注AI安全的员工。自去年11月至今,OpenAI至少有7名注重安全的成员辞职或被开除。据《连线》证实,OpenAI超级对齐团队已经解散,余下成员要么辞职,要么将被纳入OpenAI的其他研究工作中。

  据Vox报道,安全意识强的员工已经对OpenAI在 AGI 时代会负责任地行事失去了信心。

  丹尼尔·科科塔伊洛(Daniel Kokotajlo)于2022年加入OpenAI,一直负责AI安全治理工作直到上个月辞职。“OpenAI正在训练越来越强大的AI系统,目标是最终全面超越人类智能。这可能是人类有史以来最好的事情,但如果我们不谨慎行事,也可能是最糟糕的事情,”科科塔伊洛说,“我加入时满怀希望,希望OpenAI能够迎难而上,在他们越来越接近实现AGI的过程中表现得更加负责任。我们中的许多人逐渐意识到这不会发生。”

  更多人在这场离职风波后,开始关注AI安全问题。超级对齐团队结束后,现在这些计算能力可能会被转移到其他OpenAI团队,目前还不清楚是否会将重点放在避免未来AI模型的灾难性风险上。尽管这并不意味着OpenAI现在发布的产品将会毁灭人类,但OpenAI是否正在安全地部署和构建人工智能,未来如何保障人工智能的安全性,都是此次离职风波过后,苏茨克维留下的问题。



随意打赏
WeixinPathErWeiMaHtml
ZhifubaoPathErWeiMaHtml