让AGI造福全人类的愿景是个谎言？OpenAI核心人员再次离职

tayun

政策研究部门核心人员离职！

Rosie Campbell-OpenAI的政策研究员，也是原研究科学家、政策研究负责人Miles Brundage亲密共事的伙伴。

再次呼吁人工智能企业重视AGI造福人类的愿景！

她在X上说到“这是我在OpenAI工作约3.5年后的最后一周。我先是从事API安全工作，然后转到了政策研究部门，在那里我与@Miles_Brundage紧密合作，共同研究人工智能治理、前沿政策问题以及通用人工智能（AGI）的准备情况。”

全文翻译：

大家好，在这里工作了将近三年半后，我即将离开OpenAI。

我一直深受确保安全和有益的通用人工智能（AGI）使命的驱动，而在Miles离职和AGI准备团队解散之后，我相信我可以更有效地在外部追求这一目标。

在这里工作期间，我处理了一些前沿的政策问题，比如危险的能力评估、数字意识和治理代理系统，我很高兴企业支撑那些被忽视的、有点奇怪的政策研究，这些研究在认真考虑变革性AI的可能性时变得重要。

有点让我心碎的是，我看不到一个让我继续在内部从事这种工作的地方。

与如此杰出的人们一起在这样一个关键时刻从事改变世界的技术工作，这真是我的荣幸。

随着成长，变化是不可避免的，但过去大约一年中的一些变化让我感到不安，以及塑造大家学问的许多人的离去。

我真诚地希翼，对我来说使这个地方如此特别的那些东西能够被加强而不是削弱。

为此，冒着冒昧的风险，我要留下我的建议：

记住大家的使命不仅仅是“构建AGI”。为了确保它造福人类，还有很多事情要做。认真考虑大家目前的安全方法可能不足以应对大家认为这十年可能会出现的、能力大得多的系统。

尽量说真话，即使这些话不方便或难以面对。

以适当的严肃态度行事：大家正在构建的不仅仅是另一个科技产品。

在这里我学到了很多，我非常感激能与你们一起经历这段疯狂的旅程。我希翼你们能保持联系。

回顾10月-11月份，OpenAI两位安全相关人员离职

Miles Brundage在2018年加入OpenAI，曾担任研究科学家、政策研究负责人以及高级AGI顾问等重要职务，今年10月底离开OpenAI。

MilesBrundage在OpenAI的工作主要集中在确保OpenAI的产品能以安全、可靠的方式进行部署使用。

他领导了外部红队计划Red teaming，测试OpenAI AI系统的安全性和鲁棒性，并推动了“系统卡”报告的创建。

还积极参与了有关AI进展评估、AI安全监管、AI经济影响以及有益AI应用加速推进等方面的研究，并提出了“AI大战略”概念。

他离开OpenAI时表示在非营利部门作为研究人员和倡导者将会产生更大的影响，他将拥有更多的自由发表能力。

MilesBrundage离职后曾发长文表示对于“世界有效管理人工智能、AGI能力的就绪状态（包括监管 OpenAI 和其他企业）”尤为重要，并且希翼在此领域发挥自己更大作用。

Lilian Weng，11月15日离开OpenAI，曾担任OpenAI的安全研究副总裁及后来的安全系统团队负责人。

在OpenAI工作的7年的时间里，LilianWeng负责建立和领导安全系统团队，专注于解决人工智能安全的关键问题，包括防止现有AI模型被不当利用等挑战。

她的离职被行业观察者视为对OpenAI未来安全战略的一个潜在考验。

她曾提到，在GPT-4发布之后，她被指派了重新评估OpenAI安全系统的任务，但她选择离职，以便有更多的时间撰写技术博客，并可能在企业外部更有效地推进AI安全与伦理的研究工作。

她的这一决定也引发了业界对OpenAI内部战略方向和安全学问建设的广泛讨论。

而就在昨天（美东时间周五），与OpenAI法律诉讼纠葛不断的马斯克，也再一次提出了新要求。

马斯克及其人工智能企业xAI的法律团队向美国联邦法院再次提交申请，请求法院发布初步禁令，以阻止OpenAI从一个非营利组织转变为完全以盈利为目的的企业。

此外，他们还要求法院禁止OpenAI限制其投资者向包括xAI在内的竞争对手提供资金支撑

不难看出，似乎从业者们，对人工智能的安全担忧丛丛，对商业与技术的难以平衡感到不安。

安全和有益的通用人工智能（AGI）？

所有的人工智能相关组织、企业、企业都在谈AGI。

“会从用户价值出发…… 会推动AGI……以普惠为使命……以人类进步，科技发展为愿景……”

所以，到底有多少企业除了技术追求之外，真正在直面问题：保障安全和有益的通用人工智能（AGI）发展”呢？

大家简单来说明一下为什么需要直面并坚持安全和有益的通用人工智能（AGI）。

首先，技术失控问题，AGI可能拥有超出人类控制的能力，将导致不可预测的风险和后果。

第二人工智能的发展需要考虑伦理和道德问题，比如决策的透明度、偏见和歧视问题，以及对隐私的影响。

第三责任问题，人工智能系统的复杂性增加，到那时候再来确定谁对人工智能的行为和决策负责变得更加困难。

第四经济和社会影响，人工智能可能会对就业市场、社会结构和经济产生深远影响，包括职业的自动化和收入不平等的加剧。

第五政策和法规问题，需要制定和实施有效的政策和法规来管理人工智能的发展，以确保其对社会的积极影响。

第六人类福祉和可持续发展，核心目标一定是确保人工智能的发展能够提高人类的福祉，而不是仅仅追求技术进步。

第七……

OpenAI离职的人员越来越多，抛出的人工智能安全警示也越来越多。

作为在科技发展中扮演重要角色的企业，特别是在人工智能这样的前沿领域，每一步的发展都需要格外谨慎。

最初的愿景是否还在？

科技的发展与给你所处世界带来的风险要如何平衡？

值得每一个人深思。


来源：36kr