机器学习怎么样满足DNN推理的要求

  开发的应用。谷歌在2014年开启了TPUv1的项目，15个月后，全新的TPU硬件就已经应用到了谷歌的数据中心里，连带架构、编译器、测试和部署都全部更新了一遍。

  那时GPU在推理这块的性能也还是超过CPU的，但TPU的出现改变了这个格局。与当时英特尔的Haswell CPU相比，TPUv1的能耗比有了80倍的提升，相较当时的sla K80 GPU，其能耗比也高达它的30倍。

  谷歌此举引爆了整个市场，大家发现了还有除了CPU、GPU之外的方案。英特尔察觉后也收购了一系列深度学习DSA，比如Nervana、Movidius、Mobileye和Habana。谷歌在云服务上的竞争对手们，阿里巴巴和亚马逊也开始打造自己的推理、训练芯片。能耗比之战下，大家很快也意识到机器学习带来的碳足迹成了下一个急需解决的问题。

  根据去年在IEEE Spectrum上发布的《深度学习受益递减》一文中提到，随着机器学习的发展，到了2025年，最强的深度学习系统在ImageNet数据集中进行物体识别时，错误率最高只有5%。但训练这样一个系统所需要的算力和能耗都是庞大的，更糟糕的是，其排放的二氧化碳将是纽约市一整个月的排放量。

  机器学习的碳排放可以被分为两种，一种是运营排放，也就是数据中心在运行机器学习硬件中产生的碳排放；第二种是整个生命周期内的排放，不仅包含运营排放，还包含了所有的环节的碳排放，比如芯片制造、数据中心建造等等。考虑到后者涉及更为复杂的研究，所以大部分碳足迹的研究都集中在运营排放上。

  至于如何记录碳排放，这也很简单，只需要将训练/推理的时长x处理器数量x每个处理器的平均功耗x PUE x 每千瓦时的二氧化碳排放即可。除了最后一项参数需要从数据中心那获取外，其他的数据基本都是公开，或取决于机器学习研究者自己的选择。

  如何减少机器学习的碳足迹图灵奖获得者、谷歌杰出工程师David Patterson教授对现有的机器学习的研究和工作提出了以下几点建议。首先，从模型开始着手，机器学习研究者需要继续开发效率更加高的模型，比如谷歌去年发布的GLaM通用稀疏语言模型，相较GPT-3，它多出了7倍的参数，在自然语言推理等任务上都要优于GPT-3。但同样重要的是它的能耗和碳足迹指标，根据谷歌公布的数据，与使用V100的GPT-3相比，使用TPUv4的GLaM二氧化碳排放减少了14倍，可见模型对于碳足迹的影响。其次，在发布新模型的时候，他建议也把能耗和碳足迹这样的数据公开，这样有助于促进机器学习模型在质量上的良性竞争。

  接着是硬件，他指出我们应该像TPUv4或者A100 GPU等，这类机器学习能效比更高的硬件。其实这一点反倒是最不需要担心的，这几乎是每个初创AI芯片公司都在尝试的做法，即便在峰值上不敌这些硬件，也绝对会在能效比上尽可能做大极致。

  还有就是常见的能效衡量指标PUE，大型机器学习负载往往要在数据中心上运行，而要让数据中心的PUE接近1并不是一件简单的事。根据Uptime Institute的统计，各家厂商旗下最大数据中心的年度PUE为1.57，就连我国工信部印发的《新型数据中心发展三年行动计划（2021-2023）》中提出的最终目标也只是将新建大型数据中心PUE降低至1.3以下。但好在新建的数据中心往往都不会只满足于这个目标，而是往1.1乃至1.06这样的指标推进。

  可这个指标并不是一个死数据，随着负载和用量的变动，PUE是在持续波动的，不少数据中心仅仅在建成时发布了能效指标，之后就再未公布过任何数据了。在这块做得最好的也还是谷歌，谷歌年年都会发布年度能效报告，将各个数据中心每个季度的PUE公布出来。

  不过仅仅只有极低的PUE只能体现出高能耗比，David Patterson教授认为还必须一并公布每个地区数据中心的清洁能源占比。比如阿里巴巴首次发布的《2022阿里巴巴环境、社会和治理报告》中就提到了2021年，阿里巴巴在中国企业可再次生产的能源购买者中排名第一，2022财年阿里云21.6%的电力来自清洁能源。

  在双碳目标的提出下，我国其实已经落实到了机器学习的硬件上，但在软件和碳足迹透明度这方面还有能改善的空间。机器学习要想做到消耗更低的算力来实现更优的效果，就必须从所有的环节做到节能减排。

  文章出处：【微信号：elecfans，微信公众号：电子发烧友网】欢迎添加关注！文章转载请注明出处。

  的好处就是一套代码就可以部署在Windows10系统、乌班图系统、Jetson的Jetpack系统

  演示 /

  领域的应用 /

  领域的FPGA /

  的数据存储需求慢慢的变多。它们可能包括关于丢弃信息之前保留信息多长时间、保留数据的位置和如何确保其安全的具体信息。   幸运

  开发工具包 /

  这一需求，Microchip Technology Inc.（美国微芯科技公司）近日推出了全新的 MPLAB

  Neon提供单指令多数据(SIMD)指令，其中多处理 管道中的元素同时对多个数据点执行操作。Arm NN提供 利用Neon后端功能

  本指南适用于系统模块设计人员，可能使用Arm Flexible access程序。 本指南将帮助您开发可以执行

  时出现以下错误 在抛出 [947.599867] 审计实例后调用终止：type=1701 audit (16

  等目的。然而，对高性能计算资源的需求将许多ML应用程序限制在云中。也就是说，只有云数据中心级别的性能才能

  。令业界兴奋的是，随着算法设计以及微处理器体系结构的慢慢的提升，在最小的微控制器（MCU）上运行复杂的

  ，也很给力 /

  能力有望彻底改变从驾驶到做早餐等生活中的一切。验证是永恒的，时间不息，验证不止。

  的Xcelium可以在一定程度上完成高达5倍的验证效率 /

  在 imx8QM MEK 板上运行，使用 Yocto Linux LF5.15.71_2.2.0按照 I.MX

  ROHM BM6337x/BM6357x系列怎么样才能解决开发背景中出现的很多问题呢？

  华为拟分红770亿元！中移动全球首发5G-A商用部署/英特尔晶圆代工亏损 科技新闻点评

  【Longan Pi 3H 开发板试用连载体验】基于 Longan Pi 3H 开发板完成智能家居控制小型项目