衡宇 发自 半夜向阳

量子位 | 公众号 QbitAI

OpenAI估量副总裁（安全）翁荔（Lilian Weng），现身国内！

还初次在国内大型步履口头公开发表AI主题演讲。

先浅薄先容一下，翁荔是OpenAI华东说念主科学家、ChatGPT的孝敬者之一。

北大毕业后，翁荔在2018年加入OpenAI，自后在GPT-4形势中主要参与预考验、强化学习&对皆、模子安全等方面的劳动。

最驰名的Agent公式也由她淡薄，即：Agent=大模子+挂念+主动算计+器用使用。

在今晚的2024Bilibili超等科学晚步履上，翁荔站在舞台上，以《AI安全与“培养”之说念》为主题进行了演讲共享。

演讲并不十分难懂，主要以科普向为主，但深入浅出，先容了AI安全有关各样问题。

她默示：

AI的安全不单是是估量者的包袱，它需要每一个东说念主的参与。

（以下是翁荔演讲全文，在不改换其喜悦的基础上略有删减。）

今天先与众人接头一个既久了又意旨的话题，「AI 安全」，以及「咱们如何像培养下一代一样，培植出明智又安全的东说念主工智能」。

ChatGPT横空出世以来，AI时间如同搭乘了高速列车，赶快浸透并影响着咱们。

AI每天都在变化，需要咱们全心调换、解释，确保是更好的服务于东说念主类，同期确保安全。

一个既安全又智能的AI，无异于将为咱们的生存带来诸多裨益。

试想，一个洞悉你生存习尚的智能家居系统，能凭据你的需求自动退换室内温度、色泽；或是一个时刻关注你健康情状的AI助手，能为你提领提供量身定制的健康AI。

这不仅能权贵提高咱们的生存质料，还能开辟新的办事限制，提高工坐法果。

可是，这一切诱骗在AI安全的基础之上。

正如自动驾驶时间一样，它能极地面提高生存便利性，但是一朝出错，后果可能不胜遐想。

跟着AI应用日益智化与自主化，如何确保AI的步履适合东说念主类价值不雅，真是作念到以东说念主为本，成为了AI 安全与对皆估量等中枢议题。

东说念主类在成长过程中会赓续学习卓著，但也会碰到成长的麻烦。

通常的，AI可能因为偏见而变得短促，也可能因为抵御性报复而被坏心质疑，AI安全和对皆估量才能使AI成长过程愈加顺利。

让咱们以健康限制为例。

好多疾病估量的数据常常以男性的群体为主，这可能导致AI在处理女性的健康问题时风险评估不准确。

此外，数据自身也有可能存在偏见。

比如有估量标明，女性腹黑病症状更容易被归结成慌乱等心机问题，而形成会诊遗漏。

因此，咱们需要通过对AI安全和对皆估量来减少偏见。

AI 学习的基础是数据，数据是它的食品。

要想让AI变得明智可靠，咱们必须确保它养分平衡，也便是提供它各样、全面、正确的数据，匡助它大要正确地默契这个复杂的寰宇，并减少偏差。

在使用东说念主类象征的数据时，咱们不错依赖于群体聪惠，也便是统一个数据点被多东说念主标注。

成心思的是， 1907年的一篇当然科学杂志中的著述，作家跟踪了一场年度博览会上的一个意旨的有奖竞猜。

博览会上，东说念主们选出一头肥牛，让众人来意想牛的分量，最接近真是数据的东说念主将获取大额的奖金。

作家发现，「最中间值」常常是最接近真是数据。

这个数推断值也被称为the voice of the people。

在这篇近120年前的科学著述中，作家纪念说念：“我合计这个斥逐比东说念主们预期的更能确认民主判断真是度。”

这亦然最早提到群体聪惠如何发生作用的科学文献。

而至于如何把高质料标注的数据给AI，则基于东说念主类反映的强化学习（RLHF）起到了重要作用。

在了解RLHF之前，咱们快速了解一下什么是强化学习（RL）。

强化学习是一种机器学习设施，它主要通过赏罚机制来让模子学会完成任务，而不是依靠径直告诉模子如何去作念这件任务。

联想一下，就好像你考验小狗，要是小狗作念对了一个动作，比如坐下，你就给他一块骨头饼干；作念错了就不给奖励。

这样，小狗就会因为想吃到更多的饼干而学会如何正确地坐下。

同理，AI也在这种赏罚机制中学习，通过赓续的尝试并得到反映，找到最好的服务战略。

一个早期的估量标明，强化学习能利用一丝东说念主类反映，快速灵验地陶冶智能体作念复杂的动作，学会如何后空翻。

通常的设施也不错用于考验谎言语模子（LLM）。

当咱们看到针对统一问题的不同AI修起时，咱们不错告诉模子哪一个修起更好、更正确、更适合东说念主类价值不雅，这样咱们就像家长解释孩子一样，退换AI的学习过程。

此外，咱们还不错使用模子自身看成AI输出质料的评分者。

比如在Antropic发表的《Constitutional AI》中，模子就通过对我方步履的我评价进行改造；或者在对皆强化学习中，咱们不错制定极度详备的步履章程来告诉AI，何时拒却用户的申请，如何抒发同理心等等。

然后咱们在强化学习的奖励机制中，极度精确地给以相应的评分奖励。

这个过程中，一个愈加刚毅的AI有才气更精确地判断它是否纳降了东说念主类的价值不雅和步履准则。

强化学习时间就像一把钥匙，匡助咱们翻开AI高质料学习和发展的大门。

在培养AI更懂咱们的过程中，普通东说念主也能阐述热切的作用。

在文档写稿上，咱们不错领受两个小手段。

最初，设定详备的配景和变装念念想，像导演为演员准备脚本一样让AI在丰富的情境中，捕捉咱们的意图。

其次，尽心挑选重要词，构建逻辑崭新的文档结构，使文档既好意思不雅又实用。

在视频音乐制作限制，咱们不错通过使用专科术语来调换AI，比如黄金分割构图或和弦进行，将创意搬动为践诺。

同期，别忘了心扉的插足，因为这是赋予作品灵魂重要词。

简而言之，通过紧密的指导和心扉的融入，咱们不错匡助AI创作出既丰富又敷裕感染力的作品。

在《西纪行》中，孙悟空有紧箍咒禁停步履，咱们应该给AI模子也戴上了紧箍咒，也便是陶冶 AI 安全基本准和说念德法子，让其盲从步履轨范，以东说念主类利益为先，成为咱们贴心的伙伴，而不是冰冷的机器。

让AI学习基本原则和说念德准则，不错使模子在濒临复杂问题时把握推理得出正确的论断。

比如在OpenAI最近发表的Open-o1-preview模子中，咱们通过念念维链（CoT）推理加强了模子的可靠性，使得模子不错更好地抵牾逃狱报复。

膨胀性估量（scalable oversight）在AI对皆估量中也极度热切。

跟着AI模子扩大，需要联接自动化器用和东说念主类监督灵验的步履，确保它朝着正确的场所发展。

在一组公开估量中，咱们用监督学习考验话语模子对采集文本摘抄进行品评，比如提供“这个摘抄极度准确”，或者“这个摘抄遗落重心”。

比拟对照组，咱们发现存AI匡助的标注员比莫得匡助的能多找出摘抄中约50%的问题，况兼大量参考了模子提供的骨子。

总之，给AI设定法子并进行灵验监督，不错提高它对东说念主们的匡助。

AI的安全不单是是估量者的包袱，它需要每一个东说念主的参与。

以B站为例，这个充满活力的社区聚拢了迢遥AI醉心者、创作家，咱们在这里共享方便、盘考问题，致使监督AI的闪现，共同影响着 AI 的成长。

咱们每个东说念主都应该成为AI的众人长。

AI 时间是一把双刃剑，它带来的便利和挑战并行，咱们的参与至关热切。

让咱们联袂培养出一个既明智又发扬的AI伙伴。

感谢众人的凝听，但愿今天的共享激励众人对AI安全的关切意思，也感谢B站直播这个平台。

让咱们共同为AI的畴昔孝敬力量，谢谢。

可是，OpenAI在安全这个场所的前进，却一直备受争议。

上周，一则“OpenAI斥逐AGI筹画团队”的音问传遍全球。

起源是AGI Readiness团队发扬东说念主Miles Brundage晓示下野。

他默示，已在OpenAI完成扫数劳动，在外部劳动将产生更大的影响。

畴昔他方针在OpenAI以外赓续从事该限制估量劳动，并但愿减少偏见。

这不是OpenAI安全方面离开的惟逐一个热切东说念主物。

本年上半年，OpenAI蚁集首创东说念主、首席科学家Ilya Sutskever下野，他指导的“超等对皆团队”当场斥逐。

该团队建树于2023年7月，OpenAI给了它一个劳动：

用20%的算力，在畴昔4年内处分死心超等智能AI的中枢时间挑战。

Ilya是这样解释我方离开OpenAI的原因的：

制造比东说念主类更明智的机器自身便是一项危急的功绩。

唐突离开的还有“超等对皆”团队蚁集发扬东说念主、安全驾御Jan Leike——他最终聘请跳槽到OpenAI最强竞对、Claude背后团队Anthropic，赓续超等对皆劳动。

下野后，Leike对外爆料，最近几年OpenAI照旧不吝里面文化，把“眩惑眼球的居品”放在安全准则之前。

当今，翁荔无疑是是最前沿AI实验室的安全总发扬东说念主了。

OpenAI的安全之路，又将走向何方？

— 完 —

量子位 QbitAI · 头条号签约

关注咱们，第一时辰获知前沿科技动态