• 欢迎光临本网站,有人模仿我的站 注意:本站唯一域名:www cnit5 com(原创稿件投递)请联系:QQ442727852期待与您的合作!
  • 设为首页 设为首页 收藏 收藏本站
  • 首页
  • IT行业
  • IT新闻
  • IT资讯
  • 数码产品
  • IT人物
  • 科技资讯
  • IT财经
  • 手机资讯
  • 游戏新闻
  • 区块链
  • IT资讯网
    主页 > IT行业 >
  • 计算机科学家证明,为什么更大的神经网络可以做得更好

  • 发布时间:2022-03-01 09:57  来源:www cnit5 com 作者:IT行业资讯网
  • 4.09K
  •  

    我们的物种很大程度上归功于对生的拇指。但如果进化给了我们额外的拇指,事情可能不会有太大改善。每只手一个拇指就足够了。

    神经网络并非如此,这是执行类人任务的领先人工智能系统。随着他们变得更大,他们已经掌握了更多。这让旁观者大吃一惊。基本的数学结果表明,网络应该只需要这么大,但现代神经网络的规模通常远远超出预测的要求——这种情况被称为过度参数化。

    在 12 月在领先会议 NeurIPS 上发表的一篇论文中,微软研究院的 Sébastien Bubeck 和斯坦福大学的 Mark Sellke 为缩放成功背后的奥秘提供了新的解释。他们表明,神经网络必须比传统预期的要大得多,才能避免某些基本问题。这一发现为一个持续了几十年的问题提供了一般性的见解。

     

    「这是一个非常有趣的数学和理论结果。」瑞士洛桑联邦理工学院的 Lenka Zdeborová 说,「他们以这种非常通用的方式证明了这一点。所以从这个意义上说,它会触及计算机科学的核心。」

    对神经网络规模的标准预期来自对它们如何记忆数据的分析。但要了解记忆,我们必须首先了解网络的作用。

    神经网络的一项常见任务是识别图像中的对象。为了创建一个可以做到这一点的网络,研究人员首先为其提供许多图像和对象标签,对其进行训练以学习它们之间的相关性。之后,网络将正确识别它已经看到的图像中的对象。换句话说,训练使网络记住数据。更值得注意的是,一旦网络记住了足够多的训练数据,它还能够以不同程度的准确度预测它从未见过的物体的标签。后一个过程称为泛化。

    网络的大小决定了它可以记住多少。这可以通过图形来理解。想象一下,将两个数据点放在 xy 平面上。你可以将这些点与由两个参数描述的线连接起来:线的斜率和穿过垂直轴时的高度。如果其他人得到了这条线,以及一个原始数据点的 x 坐标,他们只需查看这条线(或使用参数)就可以计算出相应的 y 坐标。这条线已经记住了这两个数据点。

    神经网络做类似的事情。例如,图像由成百上千个值描述——每个像素一个值。这组许多自由值在数学上等价于高维空间中一个点的坐标;坐标的数量称为维度。

    一个古老的数学结果表明,要将 n 个数据点与曲线拟合,你需要一个具有 n 个参数的函数。(在前面的示例中,两个点由具有两个参数的曲线描述。)当神经网络在 1980 年代首次成为一股力量时,思考同样的事情是有道理的。它们应该只需要 n 个参数来拟合 n 个数据点——无论数据的维度如何。

    「这不再是正在发生的事情。」德克萨斯大学奥斯汀分校的 Alex Dimakis 说,「现在,我们经常创建参数数量超过训练样本数量的神经网络,这意味着必须重写这些书。」

    Bubeck 和 Sellke 并没有打算重写任何东西。他们正在研究神经网络通常缺乏的另一种属性,称为稳健性,这是网络处理微小变化的能力。例如,一个不健壮的网络可能已经学会了识别长颈鹿,但它会将一个几乎没有修改过的版本错误地标记为沙鼠。2019 年,当 Bubeck 团队意识到该问题与网络规模有关时,他们正在寻求证明有关该问题的定理。

    Bubeck 说:「我们正在研究对抗性的例子——然后规模就强加给了我们。我们认识到这是一个难以置信的机会,因为需要了解规模本身。」

    在他们的新证明中,这对表明过度参数化对于网络的稳健性是必要的。他们通过计算将数据点与曲线拟合所需的参数来做到这一点,该曲线具有与稳健性等效的数学属性:平滑度。

    为了看到这一点,再次想象平面中的一条曲线,其中 x 坐标代表单个像素的颜色,y 坐标代表图像标签。由于曲线是平滑的,如果稍微修改像素的颜色,沿着曲线移动一小段距离,相应的预测只会发生很小的变化。另一方面,对于极度锯齿状的曲线,x 坐标(颜色)的微小变化会导致 y 坐标(图像标签)的剧烈变化;长颈鹿可以变成沙鼠。

    Bubeck 和 Sellke 表明,平滑拟合高维数据点不仅需要 n 个参数,还需要 n × d 个参数,其中 d 是输入的维度(例如,784 表示 784 像素的图像)。换句话说,如果你想让网络健壮地记住它的训练数据,过度参数化不仅有帮助——它是强制性的。证明依赖于一个关于高维几何的奇怪事实,即放置在球体表面上的随机分布的点几乎都彼此相距一个完整的直径。点之间的大间隔意味着用一条平滑曲线拟合它们需要许多额外的参数。

    耶鲁大学的 Amin Karbasi 说:「证明是非常初级的——没有繁重的数学,它说明了一些非常笼统的东西。」

    结果提供了一种新方法来理解为什么扩大神经网络的简单策略如此有效。

    其他研究揭示了过度参数化有帮助的其他原因。例如,它可以提高训练过程的效率,以及网络的泛化能力。虽然我们现在知道过度参数化对于稳健性是必要的,但尚不清楚稳健性对于其他事物的必要性。但是通过将其与过度参数化联系起来,新的证明暗示稳健性可能比想象的更重要,一个可以释放许多好处的单一密钥。

    有人模仿我们的网站请记住我们的唯一地址(www cnit5 com)为您提供以上文章内容。郑重声明:IT行业资讯网站刊登/转载此文出于传递更多信息之目的 ,并不意味着赞同其观点或论证其描述。本站不负责其真实性。
    上一篇:重磅消息!《英雄联盟》手游将调整排位赛机制
    下一篇:五项研究,人工智能助力地球科学与宇宙探索
  • 图说天下
  • 五项研究,人工智能助力地球科学与宇宙探索 五项研究,人工智能助力地球
  • 计算机科学家证明,为什么更大的神经网络可以做得更好 计算机科学家证明,为什么更
  • 重磅消息!《英雄联盟》手游将调整排位赛机制 重磅消息!《英雄联盟》手游
  • 三大运营商或于年底联合宣布5G消息商用 三大运营商或于年底联合宣布
  • 漏洞删除用户数据后,Google停止在Android上推出Chrome 79 漏洞删除用户数据后,Google
  • 预计2019年中国公有云服务加速追赶 预计2019年中国公有云服务加
  • IT行业什么专业发展前景最好? IT行业什么专业发展前景最好
  • 19岁是否可以通过学习编程语言进入IT行业 19岁是否可以通过学习编程语
  • 腾讯宣布与NBA续约5年版权,传闻称每年要3亿美元 腾讯宣布与NBA续约5年版权,
  • 2019年中国视觉人工智能行业发展现状 2019年中国视觉人工智能行业
  • 首页 | IT行业 | IT新闻 | IT资讯 | 数码产品 | IT人物 | 科技资讯 | IT财经 | 手机资讯 |
  • Copyright @ 2021本网站备案号 :京ICP备16032235号-2