梦晨 发自 凹非寺 量子位 | 公众号 QbitAI

OpenAI一次性拿出 20%总算力 ，投入全新研究方向——

超级智能对齐 （Superalignment） 。

【资料图】

先说说OpenAI的20%总算力什么概念？

光是微软此前专门给他们打造的一台超级计算机，就有285000块CPU和 上万块英伟达A100 GPU 。

外界没人知道OpenAI现在拥有多少 H100 GPU ，只知道他们总融资 113亿美元 ，还要算上微软额外提供的 Azure云算力 。

这番大手笔，仿佛直接在科技圈扔下一个炸弹。

再看这份公告中的微妙用词区别：

不是 通用人工智能 （AGI） ，甚至干脆去掉了 人工 二字。

直接越级瞄准如何控制 超级智能 ，其定义为比人类聪明得多的AI系统 （much smarter than us） 。

正文则明晃晃地写着：虽然看起来还很遥远，但我们相信超级智能将在 这个十年段 到来。

现在是2023年下半年，总共留给人类的时间还有 6年半 。

OpenAI给自己定的时限更短，只有4年。

有网友将OpenAI公布的研究方法形容为 “贾维斯vs奥创” 。

OpenAI明白靠人类自己已无法完成，提出新概念 自动对齐研究员 （automated alignment researcher）

也就是先训练一个大致达到人类水平的AI研究员，再投入大量算力快速迭代。

翻译一下：先努力达到技术奇点，然后直接开启大爆炸。

整个计划的基石，就是先打造第一个自动对齐研究员。

为此OpenAI提出一个临时解决方案，分为三项：

为了在人类难以评估的任务上提供训练信号，需要利用AI来协助评估其他AI系统，称为“可扩展的监督”。

为了验证系统的一致性，自动搜索有问题的行为和有问题的内部结构。

通过故意训练不对齐的模型来测试整个管道，并确认技术可以检测到最糟糕的错误类型，也就是对抗性测试。

为什么说是临时解决方案？

OpenAI预计随着对问题进一步了解，研究重点将发生实质性变化，很可能增加全新的研究领域。

再翻译一下：只能走一步看一步。

研究顶级的问题需要顶级的团队。

OpenAI联创和首席科学家 Ilya Sutskever 将与此前的对齐团队负责人 Jan Leike 共同领导新部门。

而成员不光包括OpenAI自己的员工，也包括来自其它公司的研究人员。

Ilya Sutskever是2012年开启深度学习时代的AlexNet作者之一，也是AlphaGo作者之一，此前已将AI对齐作为他的核心研究重点，总引用数超过40万。

Jan Leike则是ChatGPT的前身InstructGPT论文作者之一，并且早在2017年就参与了OpenAI与DeepMind合作的人类反馈强化学习方法。

Jan Leike认为，OpenAI此次投资很可能比全人类此前对AI对齐研究的所有投资加起来还多。

算上这二位，目前新团队已有10位成员。

新一轮招聘也随之开启，分为 研究经理 （年薪42万-50万美元）， 研究科学家 与 研究工程师 （年薪万-45万美元），两种级别三个岗位。

对于OpenAI的大动作，学术界有不同观点。

认同的学者表示：自然智能通过竞争的进化奖励产生，AI通过对齐人类利益的进化奖励产生，并期待未来的效果。

但也有人表示OpenAI从根本上就错误地理解了“对齐”这个概念。

他认为对齐不能是强制控制，而应该是使双方利益一致，类似于“堵不如疏”。

有网友吐槽“真不敢相信，AGI很可能在鸽了很久的《上古卷轴6》游戏之前到来。”

评论区有人指出，到时候你想玩什么游戏让AI去做就好了。

也有网友灵魂发问，谁又来监管监管者呢？

参考链接： [1]/blog/introducing-superalignment [2]/OpenAI/status/1676638358087553024 [3]/r/singularity/comments/14rh1l1/superintelligence_possible_in_the_next_7_years/

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态

关键词：