联系宏源
  • 电话:0373-3878302(吕Sir)
  • 传真:0373-3878301
  • 手机:15137380542
  • 客服QQ:1092327062
  • 邮箱:1092327062@qq.com
  • 地址:新乡市陈堡工业园
  • 点击这里给我发消息 点击这里给我发消息
当前位置: > 凯发娱乐手机投注 >

周伯文:AI安全与性能发展失衡探索AI 45°平衡律

  军队系统绝嶂均衡画面运动水壶绝佳视角均衡当中带有韵律凯发娱乐手机投注均衡式构图绝对位置锁均衡律·当前AI模型安全能力的提升远远落后于性能,导致AI的发展是跛脚的,失衡的背后是两者投入上的巨大差异。目前世界上99%的算力用于模型预训练,只有不到1%用于对齐或更多安全优先的考量。

  发展可信AGI,需要探索AI 45度平衡律,长期来看,AI要大体上沿着45度安全与性能平衡发展。短期内可以有波动,但不能长期低于45度凯发娱乐手机投注,也不能长期高于45度,这会阻碍技术和产业应用的发展。

  周伯文表示,从人才密集度、商业驱动力、算力投入度方面对比来看,对安全的投入远远落后于AI能力提升。

  7月4日,2024世界人工智能大会暨人工智能全球治理高级别会议在上海开幕。上海人工智能实验室主任、首席科学家、清华大学惠妍讲席教授周伯文提出探索“人工智能45度平衡律”的技术主张。

  当前,以大模型为代表的生成式人工智能快速发展,但随着能力不断提升,模型自身及其应用带来一系列潜在风险顾虑。以公众对AI风险的关注顺序来看,首先是数据泄露、滥用、隐私及版权相关的内容风险,其次是恶意使用带来的伪造虚假信息等相关的使用风险,也可能诱发偏见、歧视等相关的伦理问题,人们担心是否会带来就业结构和社会系统性的挑战,甚至在科幻电影中出现了AI失控、人类丧失自主权等设定。

  “这些AI风险有的已经出现,但更多是潜在的。防范这些风险需要共同努力,需要科学设计,做出更多贡献。”周伯文表示,对AI担忧的根本原因是目前人类的发展是失衡的。

  如果横轴代表AI技术能力的提升,那么以Transformer为代表的基础模型架构,加以大数据、大参数量、大计算量的尺度定律,让目前的AI能力呈指数级增长。但在纵轴的AI安全维度凯发娱乐手机投注,红队测试、安全标识、安全护栏与评估测量等典型技术呈现离散化、碎片化及后置性。最近的一些对齐技术兼顾了性能和安全性,比如监督式微调SFT、人类反馈的强化学习RLHF等技术,帮助将人类的偏好传递给大模型,助推涌现出了ChatGPT、GPT-4等令人兴奋的AI系统。

  但总体上,AI模型安全能力的提升还远远落后于性能,这种失衡导致AI的发展是跛脚的,发展不均衡的背后是两者投入上的巨大差异。周伯文表示,从人才密集度、商业驱动力凯发娱乐手机投注、算力投入度方面对比来看,对安全的投入远远落后于AI能力提升。目前世界上99%的算力用于模型预训练,只有不到1%用于对齐或更多安全优先的考量。

  “发展可信AGI(通用人工智能),要兼顾安全与性能,因此需要找到AI安全优先但又能保证AI能力长期发展的技术体系,我们把这样一种技术思想体系叫作AI 45度平衡律,长期来看要大体上沿着45度安全与性能平衡发展。”周伯文表示,所谓的平衡是指短期内可以有波动,但不能长期低于45度,如同我们所处的现在;也不能长期高于45度,这会阻碍技术和产业应用的发展。

  45度平衡的技术思想体系要求强技术驱动、全流程优化、多主体参与以及敏捷治理。周伯文表示,实现AI 45度平衡律有很多技术路径,上海人工智能实验室最近探索以因果为核心的路径,它被称为可信AGI的“因果之梯”,以此致敬因果推理领域的先驱——图灵奖得主Judea Pearl。

  可信AGI的“因果之梯”将可信AGI的发展分为三个递进阶段:泛对齐、可干预、能反思。

  “泛对齐”主要包含当前最前沿的人类偏好对齐技术。但需要注意的是,这些安全对齐技术仅依赖统计相关性而忽视真正的因果关系,可能导致错误推理和潜在危险。一个典型的例子是巴甫洛夫的狗:当狗仅仅基于铃声和食物的统计相关性形成条件反射时,它可能在任何听到铃声的场合都触发行为分泌唾液。

  “可干预”主要包含通过对AI系统进行干预,探究其因果机制的安全技术。“能反思”则要求AI系统不仅追求高效执行任务,还能审视自身行为的影响和潜在风险,从而在追求性能的同时,确保安全和道德边界不被突破。这个阶段的技术包括基于价值的训练、因果可解释性、反事实推理等。

  周伯文表示,目前AI安全和性能技术发展主要停留第一阶段,部分在尝试第二阶段,但要真正实现AI的安全与性能平衡,必须完善第二阶段并勇于攀登第三阶段。沿着可信AGI的“因果之梯”拾级而上,相信可以构建真正可信AGI,实现人工智能的安全与卓越性能的完美平衡。“最终,像安全可控的核聚变技术为全人类带来清洁、丰富的能源一样,我们希望通过深入理解AI的内在机理和因果过程,从而安全且有效地开发和使用这项革命性技术。”

  特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

  越南平阳一女子裸体站街凯发娱乐手机投注,摆弄姿势,供一群男子拍照,完全不顾过路人的感受

  泰国坠机事件5名中国乘客遗体找到:3名大人和2名小孩 挖机挖了两三米发现遗体

  对话宇树创始人兼CEO王兴兴:通用机器人的iPhone时刻还需要3-4年

  与中坚力量共成长,2024建信信托艺术大奖评委会特别奖获奖艺术家凌海鹏

返回顶部
Copyright 2013 凯发娱乐手机投注 All Rights Reserved