资讯频道 → 互联网
阅读更多

0顶
0踩

互联网

原创新闻 Google使用机器学习助力数据中心节能

2016-12-20 10:22 by 副主编 mengyidan1988 评论(0) 有6293人浏览
google 人工智能

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

引用

原文：Machine learning finds new ways for our data centers to save energy
译者：KK4SBB
欢迎技术投稿、约稿、给文章纠错，请发送邮件至heyc@csdn.net

虚拟的网络世界都是以现实世界为基础的。当我们浏览网站、发送邮件、上传视频灌水论坛时，这些数据都将流经占地面积超过足球场的数据中心。数据中心内成千上万台服务器每秒钟消耗的能源都非常惊人。全世界所有的数据中心消耗的能源总和约占全世界用电量的2%，如果不加以控制，能源的消耗也将会如同互联网使用一样大爆发。所以，给数据中心能源消耗瘦身这一任务迫在眉睫。

好在近些年来出现了各种提升能源效率的方法，尽管数据中心的规模不断扩大，但其总电能消耗已经趋于平和。数据中心的能源消耗标准衡量单位PUE（电力使用效率）受很多因素影响。一个典型的数据中心需要配备多种设备，比如水机组、冷却塔、水泵、换热器和控制系统，每个设备都有各自的设置，并且它们相互影响、错综复杂。外加空气温度、风扇转速等因素，整个系统的复杂度成为天文数字。我们简单假设这个机房只有10套设备，每个设备有10组参数，那就有10^10组配置参数，即达到了百亿级别。但真实环境下的可能配置项远不止这些。



位于比利时数据中心的冷却塔

谷歌在规划数据中心的时候，都将数据中心的能源效率一并考虑。很久以前，谷歌就决定从头开始自行设计和建设数据中心，以便于应用最先进的冷却技术和运行策略。谷歌的数据中心尽可能采用先进的蒸发式冷却和外部空气冷却来替代传统的机械式冷水机。他们安装了智能温控和光控系统，并重新设计电力布线。他们的定制化高性能服务器砍去了视频卡等不必要组件，提高服务器的使用率，诸多的举措都为了减少能源损失。

截至2014年春，谷歌数据中心的能耗只有业界平均水平的50%。那么，接下去的问题就是如何进一步瘦身。一位名叫Jim Gao的谷歌工程师，受到网上机器学习课程的启发，决心找出问题的答案。

机器学习的核心在于教会计算机如何从大量数据中自学知识，而不需要工程师开发代码去告诉计算机这些知识。谷歌早已用机器学习来改善谷歌翻译、图像识别等产品。



数据中心内的水阀和压力传感器

Gao希望用“探索数据内部奥秘”的方法来帮助他更好地理解数据中心的海量信息。在日以继夜地忙碌了6个月之后，他终于为数据中心内的所有组件搭建了一套概念证明模型。他说“这只是个非常基础的原型，用以证明我的想法是可行的，值得去继续探索”。

最初的结果并不十分理想“第一次预测完全失败”，Gao自己承认“model在预测PUE和我们的行为序列时表现的不好”。模型认为使得节能最大化的办法是关闭整套系统，然而这个建议对工程师们并没有什么用。于是，Gao重新仿真运行，不断调整模型使得其预测结果最接近有效的配置，这也意味着达到了节能最大化的目标。当他觉得自己的模型已经足够准确之后，Gao发表了一份白皮书，然后与驻场运维团队一起实现此系统。

与此同时，谷歌的人工智能研究团队DeepMind发表的一篇关于DQN的论文引起了不小的轰动，这是一个会玩Atari游戏的机器人，所有Atari游戏。训练会玩一种游戏的模型是一回事，让程序自学掌握所有的游戏的难度则有天壤之别。这是机器学习社区的一个重磅消息，当Gao听闻此消息之后，他立即给DeepMind的领导Mustafa Suleyman写了封邮件，主题为“机器学习+数据中心=搞一个大新闻？”
Suleyman支持Gao的想法，DeepMind开始于Gao的数据中心智能化（DCIQ）团队合作研发更稳健和通用的模型。



Jim Gao在工作现场

18个月之后，他们合作研发的模型已经用在了多个系统中，并且使得冷却系统减少了40%的能耗，总体能耗下降15%。DCIQ团队认为这只是一些微不足道的成绩，机器学习还能在这个领域发挥出更大的作用。谷歌的环保团队希望模型能降低系统的碳排放量，硬件运维希望降低设备的故障率，平台团队更关心服务器的能源消耗。机器学习能帮助大家实现各自的愿望。

Gao说道“我们坚信我们正在做的工作可以造福所有人”。即将发布的第二本白皮书将会介绍更多关于DCIQ的细节，也许对很多其他企业也会有帮助，比如发电厂、工厂等等。
  • 大小: 450.8 KB
  • 大小: 597.7 KB
  • 大小: 530 KB
0
顶
0
踩
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 人工智能如何助力新型数据中心发展？

    如今随着人工智能、深度学习与数据中心的融合，以AI代表的智能化技术成为数据中心转型升级最佳搭档。 数据中心智能化成为趋势 如今数据中心工作负载量呈螺旋式增长，越来越多的企业开始寻求采用人工智能技术帮助...

  • 从PUE到CUE，数据中心如何扛起“双碳”使命？

    2030年前达到峰值，2060年前实现碳中和，在这两个大目标下，各领域开启了一场浩浩荡荡的绿色革命。对于高耗能的数据中心而言，什么样的解决方案能最大限度地节能、节碳？相信无论哪个行业的用户...

  • Code For Better 谷歌开发者之声——Google Cloud谷歌云

    详细介绍Google Cloud谷歌云的发展历程，挖掘谷歌云的无限潜力

  • 数据中心的能耗占全社会的总能耗的比例越来越大

    近年来，随着计算机和互联网的广泛应用，数据中心的能耗占全社会的总能耗的比例越来越大，据统计，数据中心的能耗成本占到了总成本的50%左右，包括电力、机房占地、带宽等各方面。数据中心能耗巨大，主要集中在...

  • 科技云报道：AI大模型背后，竟是惊人的碳排放

    该团队提出了四种基本方法，可显着减少机器学习工作负载的碳（和能源）足迹，这些方法目前在Google中使用，任何使用Google Cloud服务的人都可以使用。 Google能源和碳足迹减少最佳实践（4Ms）如下： 模型：研究人员...

  • 什么是算力租赁，算力租赁有什么好处，这可能是你看过的最全的答案~建议收藏转发！

    AI算力租赁是指基于人工智能（AI）应用需求，将所需的计算能力（即算力）通过租赁服务的方式提供给企业和个人用户。...AI算力租赁服务通常采用按需付费的模式，用户只需支付实际使用的计算资源费用。

  • 智能网联汽车高精地图白皮书(2020)

    智能网联汽车高精地图 白皮书 (2020) 中国智能网联汽车产业创新...武汉大学 河北全道科技有限公司 中国移动位置服务中心 浙江海康智联科技有限公司 禾多科技(北京)有限公司 北京瑞迪时空信息技术有...

  • 2022/3/22 从CV方向角度 —快速解读Nvidia 2023GTC

    8个H100之间通过NVLINK技术成为超算计算引擎，因此多个DGX可以构建一个超算中心，衍生生云服务可以为每一个企业使用超级计算提供可行性。 继续夸生成式AI前景和GPT的出现，从High-level走向low-level，再融合多模态...

  • 全面布局AI，IBM、Google是如何做的？

    谷歌在2011年成立 AI 部门，目前已经有100 多个团队用上了机器学习技术，包括Google搜索、Google Now、Gmail 等， 并往其开源 Android 手机系统中注入大量机器学习功能 (如 用卷积神经网络开发 Android 手机语音识别...

  • 【CSDN AI 周刊】No. 004 | 2017年深度学习十大趋势预测

    若您有希望与业界分享的AI实施案例、资料整理、学习笔记、趣闻妙谈，请发送邮件至wangyi@csdn.net，期待您的声音。2017年深度学习十大趋势预测本文作者曾经多次预测了技术发展的趋势，最近的一次预测是“2011年软件...

  • 云计算

    很多因素推动了对这类环境的需求，其中包括连接设备、实时数据流、SOA的采用以及搜索、开放协作、社会网络和移动商务等这样的Web2.0应用的急剧增长。 另外，数字元器件性能的提升也使IT环境的规模大幅度提高，从而...

  • 大数据技术与实践学习笔记（1 of 3，from hitwh）

    全笔记共3.4w字，共分3篇发布，携带笔记pdf资源，一点一滴带你学习《大数据技术与实践》，课程内容源自笔者本科学校。内容包括：大数据技术概述、大数据与其他新技术之间的关系、大数据的获取、存储与并行计算、...

  • NVIDIA GTC主题演讲内容学习＜1＞

    57s，黄哥开始第一个主题为 I AM AI ...I am a helper 我是助力者 -让珍贵的物种健康续存，使农作物保持丰饶 I am a healer 我是治疗者 -让医院更加智能，满足未来需求->HeratFlow I am a creator 我是创造者

  • 2017年深度学习十大趋势预测

    2017年深度学习十大趋势预测 本文作者曾经多次预测了技术发展的趋势，最近的一次预测是“2011年软件发展的趋势与预测”。10项预言中，准确地命中了6项，比如JavaScript VM、NoSQL、大数据分析、私有云、Scala...

  • DataSciComp 有关数据科学的比赛

    OpenAI 迁移学习竞赛  |  CoNLL–SIGMORPHON 2018 Shared Task 智慧金融马上AI全球挑战者大赛  |  第六届-泰迪杯数据挖掘挑战赛 CCDM-2018  |  2018机器阅读理解技术竞赛  |  第二届"讯飞杯"中文机器...

  • Coral：让终端人工智能更加触手可及

    文 / Coral 团队自 Coral 于 2019 年 3 月发布以来，我们加入了许多新的产品设备类型，以适应用户向其产品中添加设备端机器学习功能的多种方式。我们还改进了机器学习工作流...

  • 左转向善，右转向恶，2020 年的九大 AI 风向标

    其中，深兰科技团队设计的机器学习框架通过融合不同时期的数据以及结合 DNN 和 Light GBM 的训练来自适应概念漂移，并引入了自适应采样来缓解类别不平衡，同时在一定时间间隔上让模型重复训练以适应概念漂移，实现...

  • 毕业设计&课设_CUMT 信息安全专业毕业设计：基于区块链的能源交易系统，含架构、部署等多方面详细介绍.zip

    毕业设计&课设_CUMT 信息安全专业毕业设计：基于区块链的能源交易系统，含架构、部署等多方面详细介绍.zip

  • 用Python分析文本数据项目

    用Python分析文本数据项目

Global site tag (gtag.js) - Google Analytics