澳门金沙城娱乐场 >  篮球胜负  > 金皇朝官网地址_发现神经元连线

金皇朝官网地址_发现神经元连线

2020-01-02 18:32:30 未知 我要评论 | 我要分享
[导读]本文来自mitchell wortsman, alvaro herrasti, sarah pratt, ali farhadi 和 mohammad rastegari的文章《discovering neural wirings》在不改变原文意思的基础上,雷锋网ai科技评论的编译如下:雷锋网导读:在这篇文章中,讨论了最近发表的关于发现神经元连线的论文中很有意思的研究。在现代人工神经网络问世之前,

金皇朝官网地址_发现神经元连线

金皇朝官网地址,本文来自mitchell wortsman, alvaro herrasti, sarah pratt, ali farhadi 和 mohammad rastegari的文章《discovering neural wirings》在不改变原文意思的基础上,雷锋网ai科技评论的编译如下:

雷锋网导读:在这篇文章中,讨论了最近发表的关于发现神经元连线的论文中很有意思的研究(将在neurips 2019上发表)。传统意义上,人工神经网络(ann)的连接模式是人工定义的,或者说在很大程度上都限制了人工神经网络的范围。相反,我们放宽了层的典型概念范围,以允许更大的可能连线空间。在训练过程中,我们的人工神经网络的连线不是固定的,也就是说当我们在学习网络参数的同时,也学习了连接。

在我们的研究过程中,得出以下结论:在推理过程中训练出一个小型的模型是有可能的,但是在训练过程中仍然会被过度的参数化。将这种方法应用于稀疏神经网络的发现,填补了神经结构搜索与稀疏神经网络学习之间的空白。

移动下面的滑块,查看在mnist上对一个小型网络进行不同时间段的训练(即这里的代码)时,连线的变化情况。

在现代人工神经网络问世之前,研究人员会人工设计好的特征(高维向量表示)。现在已经可以通过anns学习良好的特征,但必须指定ann的体系结构。 因此,神经元结构搜索(nas)最近大量的工作都集中在学习ann的结构上。但是,nas仍然是在一组人工设计的构建块中进行搜索的,因此ann连接在很大程度上仍然会受到限制。相比之下,randwire通过考虑随机接线的anns探索出了一组不同的连接模式。尽管随机连线的神经网络对nas而言是具有竞争优势的,但它们的连接在训练过程中是固定的。

我们提出了一种在训练过程中联合学习ann的参数和接线的方法。我们证明了我们的发现神经元连线(dnw)的方法优于许多人工设计和随机连线的神经网络。

人工神经网络的灵感来源于动物大脑的生物神经网络。尽管这两种系统之间存在的基本差异性很大,但生物学上的启发可能还是有用的。《自然通讯》(nature communications)最近发表的一篇文章(题为《纯粹学习的批判以及人工神经网络能从动物大脑中学到什么》(the critical of pure learning and what artificial neural networks can learn from animal brains)认为,动物大脑的连通性能够促进快速学习。因此,本文建议“将连线拓扑结构和网络结构作为人工系统优化的目标”。“我们希望这项工作能为这个方向提供一些有益的步骤。

即使是重量不可知神经网络的并行工作也强调了人工神经网络连线的重要性。他们证明,给定的神经网络连线可以有效地解决一些简单的任务,而不需要做任何的训练,解决方案已经被编码在了连通性中。

现在,我们来描述前馈ann的便捷抽象,也就是静态神经图(sng)。我们的目标是学习sng的最佳边缘集。我们略读下面的一些细节,你可以参考本文,尽管这种抽象应该会让人有种熟悉的感觉。

sng是一个有向非循环图g,它由节点ν和边ε组成。另外,每个节点υ都有输出zυ和输入iυ。输入数据x通过一组指定的节点ν0导入网络,而对于输入节点υ∈ν或ν0是母本输出的加权和。

每个节点的输出通过参数化函数进行计算

边缘权值wΥv和θυ是可学习的网络参数。 然后通过一组指定的节点νe计算网络的输出。

放到一起会怎么样呢?

我们采用以下两种策略来大规模发现连线:

为了进行均衡的比较,如果将mobilenet v1解释为一连串的图,我们认为其结构和边数与mobilenet v1完全相同。通过学习连通性,我们可以在较低水平的计算环境下将imagenet的精准度提高约10%。

在过去的几年中,稀疏的神经网络领域的研究工作取得了令人瞩目的成就。在《彩票假说》中,弗兰克(frankle)和卡宾(carbin)证明了密集的神经网络包含了可以单独有效训练的子网络。然而,他们发现这些所谓的中奖彩票形成的过程代价是及其高昂的,因为它首先需要一个密集训练的网络。在从零开始的稀疏网络中,dettmers和zettlemoyer引入了稀疏学习,就是在保持稀疏权值的同时,只训练一次神经网络。

我们的工作是将神经结构搜索与稀疏神经网络学习相结合。随着nas的限制越来越少,粒度越来越细,找到一个好的结构就如同找到一个完整图的稀疏子网络。

因此,我们可以将我们的算法用于发现神经元连线,并将其应用到训练其他稀疏神经网络的任务中。我们的方法不需要进行微调或重新训练来发现稀疏的子网络。这个观点是由dettmers和zettelmoyer提出的,我们也想强调一下其中存在的一些区别。虽然我们很密集的向后台传送数据,但他们的研究工作可以加快训练的速度。此外,他们的研究工作允许参数跨层重新分配,而我们认为每层都应该有固定的空间。最后 的结果还是他们的训练效率更高,因为他们实际上将未使用的权值直接发送为零,而我们是继续在向后台传递的过程中更新它们。

我们将偏差和batchnorm保留在密集的位置上,并使用调整后的resnet-50。 这反映了从零开始的稀疏网络附录c中的实验设置。下图说明了top-1的精度是如何随稀疏度变化而变化的(卷积滤波器和线性权值的稀疏性,也就是0%的稀疏性对应于密集网络)。该图还显示了另一种设置,其中第一个卷积层(参数

为了生成上面的图,我们仅考虑10%的倍数,其余部分进行插值。 尽管我们在下面提供了resnet-50的相关imagenet top-1精度指标,但很快就会在我们的github上找到所有的模型和数字。

我们可以从这个结果中得出结论:即使生成的模型是稀疏的,也有可能在训练期间实现过参数化的优势。尽管我们在向前传递过程中仅使用一小部分权值,但是我们的网络与大型网络在初始化的时候的竞争力相差不多。

用我们的算法训练稀疏神经网络其实非常简单。我们默认每个参数是一个边,因此所有卷积都替换为以下的pytorch代码:

下图说明了这段代码的工作方式。

在静态和动态设置中,我们将用于发现神经元连线的算法应用于微小的(41k参数)分类器。

在这里,我们简要地说明一下,当确实发生边交换的时候,在某些假定情况下这是有益的。想象一个静态神经图,其中在小部分的梯度更新之后,边(i,k)替换了边(j,k)。 我们可以证明,当学习速率α足够小且节点状态固定时,针对当前的 mini-batch进行处理,损耗就会减少。 我们在此处省略了一些细节,你可以参考论文,例如,我们还必须假设损失是lipschitz连续的。本文还包括一般情况下的说明。

引用:

雷锋网注:原文链接:https://mitchellnw.github.io/blog/2019/dnw/?from=singlemessage&isappinstalled=0

大家都在看:
童年时的抗挫折能力,就是成年时的竞争力童年时的抗挫折能力,就是成年时的竞争力

小晴的生活比童话还童话,童话里的主人公,还要向神灯开口许愿,才能得到自己想要的东西,但是小晴却24小时都在一群人的尽心监护中,他们知道她的偏好、习惯和行为模式,所以无论是她想要的东西,还是想做的事情,在她开口之前,家长就会帮她把一切都打理。后来,小晴在学校就总是出现奇怪的呕吐现象,家长百思不得其解,因为她以前一向身体健康,也并没有乱吃东西。

这些话老师不会轻易告诉你,但父母要做到心里有数!这些话老师不会轻易告诉你,但父母要做到心里有数!

一旦孩子被贴上“乖孩子”的标签,孩子就会很受限制,害怕自己做错事,害怕接收到人们不善的眼光,这些都是有可能的。家长在面对孩子成绩这一方面上,不能只关注,还要做好补救措施。不要催促孩子学习,这样不仅不会让孩子尽快进入学习状态,反而让孩子产生厌学心理。

新闻推荐
  • 293次出价 “民间股神”林园慈善晚宴以19万元落锤293次出价 “民间股神”林园慈善晚宴以19万元落锤

    近日,“中国顶级投资家林园慈善晚宴拍卖”登陆阿里拍卖平台,起拍价1元,于1月8日开拍,拍卖款项将全部用于慈善公益,最终以19万元的价格被神秘人士拍下。林园被奉为“民间股神”,并担任私募基金林园投资的董事长。据了解,此次拍中者将与“股神”林园和央视财经评论员苏培科共进晚餐,期间可以向林园询问个股以外的任何问题。2018年3月份,林园还公开指出,未来将长线布局医药股。

  • 广东省应急管理厅到东莞开展执法监督检查广东省应急管理厅到东莞开展执法监督检查

    近日,广东省应急管理厅处长执法监督处处长王小英带队到东莞市长安镇开展安全生产执法专项检查。当日,检查组一行来到长安镇某塑料有限公司检查,发现该企业存在应急疏散标志不足、镭雕车间粉尘吸尘管道未设置检查清理口等9处隐患问题。

  • 私募基金大拿罕见坦白:95%投资者永远成功不了,因为他们做不到这些私募基金大拿罕见坦白:95%投资者永远成功不了,因为他们做不到这些

    结果因为这个“聪明”让自己成了割肉大王。也没有得到市场的验证,也没有用历史的数据进行验证,但他们觉得自己聪明,自己想出了这些模式,绝对是独一无二的,自以为接近市场真像,直接用资金去试,结果可想而知。十年私募操盘手:散户永远成功不了,因为他们做不到这些条件一:不同的大势有不同的选择。

  • 浙江明天有雨,最高温20℃浙江明天有雨,最高温20℃

    浙天气@浙江天气 说,今夜浙北北部阴局部有小雨;其它地区阴有小雨。明天浙北北部地区阴天,偶有小雨,下午起转阴到多云;其它地区阴有小到中雨,夜里雨止转阴到多云。明天最低温度浙北11-13℃,其它地区14-16℃;最高温度浙北北部地区18-20℃,其它地区16-18℃。若有来源标注错误或侵犯了您的合法权益,请作者持权属证明与本网联系,我们将及时更正、删除,谢谢。

爱房问答
沃尔玛美国换帅,John Furner成新任CEO
美国当地时间10月10日,沃尔玛宣布john furner将于11月1日起正式成为沃尔玛美国的新一任总裁和ceo,furner将直接汇报给沃尔玛总裁和ceo doug mcmillon,上一任沃尔玛美国ceo greg foran将在明年1月31日前交接,离职后他将出任新西兰航空公司的ceo。
印度海军大举出动,再次威胁巴基斯坦命脉!巴正虚弱向联合国求助
不过,印度方面的初衷并没有达到,即要求巴基斯坦消灭藏匿在其境内的印度分裂组织,尤其是直接引发此次冲突的穆罕默德军。巴基斯坦方面除了军事应对之外,还向联合国求助,希望国际社会调停。一旦事态恶化,巴基斯坦海军要想打破封锁,恐怕会更加困难,现在的印巴军力对比,要比第三次印巴战争时候更大。
皇马欧冠延迟开球不会遭罚 此前红军曼城因球迷行为被罚款
直播吧10月19日讯 针对不久之前在欧冠比赛中出现的违规行为,欧足联控制、道德与纪律委员会 开出罚单,利物浦和曼城均被处以罚款,但皇马推迟开球并没有受到处罚。2-2主场战平布鲁日的比赛,皇马因故未能按照正常时间开球,不过欧足联决定终止对皇马的纪律处分程序。曼城主场2-0战胜萨格勒布迪纳摩的比赛发生了球迷投掷杂物事件,欧足联决定对曼城罚款15750欧元。
热点图片