`
xpp02
  • 浏览: 1053698 次
社区版块
存档分类
最新评论

还驾驭不了4核? 别人已模拟出百万核心上的并行

 
阅读更多
摘要:不管是台式机还是笔记本,四核双核都已经不是新鲜的事了。计算机领域的你可能已经认识到了给电脑选配4核的处理器完全是一种浪费,因为大多数的程序都不支持多核心的并行处理。然而斯坦福的计算机科学家最近公布,他们已经模拟出百万核心上百万任务的并行处理。

你可能已经认识到给台式机或者笔记本选用4核处理器是一种浪费,但是这不是你的问题:编写并行执行的代码是相当困难的,所以大部分的应用(除下一些计算密集型电子游戏)都只能在单核心上运行。然而一组来自斯坦福的研究者最近发布已经模拟出在百万核心上的并行处理。

随着并行处理的"家喻户晓",在多个节点上运行应用程序可以比以往更快 —— 工作量可以分配于多个节点进行并行处理,核心越多越快。这也是Hadoop诞生的原因,非常适合大体积数据的处理。MapReduce框架将作业分配到多个节点上进行处理,然后汇总出结果输出。

但是即使是Hadoop也只能够在上万个节点上运行,因为它关注的是节点 —— 在多核心处理器的利用上并不是很充分。IBM出品的Sequoia超级计算机(安置在劳伦斯利弗莫尔国家实验室),斯坦福团队用98304个处理器(或节点)构成;每个处理器封装了16个计算核心,总计1572864核心;研究员已经可以利用到大部分核心,他们称以开创许多类别上的记录。

不去管记录,这确实是件复杂到难以置信的任务;这个模拟实现了超过百万的任务在上万个节点(每个节点16核心)上的分配。因为如果这些进程中出现一处碰撞,都可能会导致系统变慢或者摧毁整个模拟。

即使在经常会出现几十万核心的超算世界中(其中可能还会有特殊用途搭载GPU的处理器),都缺少充分利用这些核心的解决方案。高性能计算世界正向着百万兆级运算迈进,但是比能源消耗更大的问题可能会出现—— 应用程序需要更多的计算能力以及适应如此规模的算法。

原文来自: While we waste four cores, scientists use a million at a time
分享到:
评论

相关推荐

    mpi_bingxing.rar_并行计算

    并行计算是现代高性能计算领域中的核心技术,它通过同时利用多台计算机或单台计算机上的多个处理器来解决大规模计算问题,极大地提升了计算效率。标题"mpi_bingxing.rar_并行计算"暗示了我们将深入探讨MPI(Message ...

    并行程序设计

    在实际应用中,掌握Hadoop并行程序设计不仅可以提升大数据处理的速度,还能为数据科学家和工程师提供更强大的工具来解决复杂问题。通过不断学习和实践,你可以深入理解和驾驭这个强大的工具,从而在大数据时代中占据...

    DataStage Parallel Job Dev's Guide

    《DataStage并行作业开发指南》是一份专为DataStage开发者设计的重要参考资料,它将官方文档转换为...通过学习这份文档,开发者可以更好地驾驭DataStage,设计出高效、稳定的数据处理流程,应对各种复杂的业务挑战。

    日地空间信息分布式协同高性能计算框架.pdf

    它整合了物理模型组件化封装、模拟应用构建与管理、模型间互操作性、分布式容错和计算驾驭可视化等多种功能。 分布式协同高性能计算框架(DCHF-SI)的核心特点和相关知识点包括: 1. 多物理耦合模拟:在科学计算...

    linux--处理器

    此外,通过超线程技术,一个物理核心可以模拟多个逻辑核心,进一步提升处理效率。Linux内核会根据硬件配置自动识别并管理这些资源。 4. **CPU调度** Linux内核采用多种调度策略,如轮转调度(RR)、完全公平调度...

    Python库 | openpathsampling_cli-0.0.1-py2.py3-none-any.whl

    此库的核心功能可能包括但不限于以下几点: 1. **模拟设置**:提供了一种直观的方式,允许用户定义模拟的参数,如模拟的体系、采样方法、时间步长等。 2. **数据输入/输出**:能够读取和写入各种数据格式,便于...

    VirtualKD-3.0,VMWare双机调试Windows神器

    这款神器的核心功能是通过网络连接将物理主机(调试者的工作站)与虚拟机(被调试的目标系统)相结合,使得开发者可以在不离开主机的情况下对虚拟机内的Windows系统进行实时调试。 在Windows系统开发和维护过程中,...

    云计算项目培训方案.docx

    通过这样的培训方案,公司旨在建立一支技术精湛、能够应对各种云计算挑战的专业团队,确保项目的顺利实施和持续优化,同时也为用户单位培养出一批能够驾驭云计算技术的高素质人才,推动业务的快速发展。

    netcdf-fortran-4.5.2.tar.gz

    此外,NETCDF-FORTRAN 4.5.2还引入了对平行计算的支持,这对于处理大规模并行WRF模拟尤为重要。通过MPI(Message Passing Interface),多个进程可以同时操作同一NETCDF文件的不同部分,极大地提高了数据处理速度。 ...

    虚拟化技术应用与实践-PPT课件、虚拟化技术、vmware、kvm、VMware ESXi技术,Docker 容器化技术

    虚拟化的核心在于通过软件模拟硬件资源,如CPU、内存、磁盘和网络接口,使得多操作系统和应用可以在同一硬件平台上并行运行,而互不影响。这种方式不仅提高了硬件利用率,还简化了IT管理,降低了运维成本。 VMware...

    GPU高性能编程CUDA实战.pdf.zip

    CUDA(Compute Unified Device Architecture)是由NVIDIA公司推出的并行计算平台和编程模型,使得程序员可以直接用C++来编写GPU程序,从而充分利用GPU的并行处理能力。 在本书中,作者详细介绍了CUDA的核心概念和...

    hadoop前传

    - 伪分布式模式:在单台机器上模拟分布式环境,可以测试Hadoop的基本功能。 - 完全分布式模式:在多台服务器上部署,适用于生产环境。 6. Hadoop项目实践 在本项目中,你将通过实际操作,体验Hadoop的安装、数据...

    selenium-API 3.5.1-201908071526.zip

    4. WebDriverWait和ExpectedConditions:这两个工具允许进行异步等待,直到满足特定条件(如元素可见、可点击等)才执行下一步操作,避免了因页面加载延迟导致的错误。 5. Actions类:允许进行复杂的用户操作,如...

    numpy-1.21.0.zip

    此外,NumPy还支持并行计算,进一步提升了处理大数据的能力。 总结起来,"numpy-1.21.0.zip"是一个包含最新版NumPy库的压缩包,对于Python开发者,尤其是涉及科学计算和数据分析的人员,它是必备的工具。NumPy的...

    Xshell_5.0.1044.rar

    Xshell 5.0.1044的核心在于其SSH(Secure Shell)支持,SSH是一种网络协议,用于在不安全的网络环境中提供安全的远程登录和其他服务。它通过加密技术确保了数据传输的安全性,使得用户可以放心地管理Linux、Unix或...

    hadoop教程

    Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它是大数据处理的核心工具之一,尤其在处理海量数据时表现出强大的能力。Hadoop基于Java语言实现,设计目标是高容错性、可扩展性和高吞吐量,使得它能够高效...

    LSF调研报告1

    HPC通过整合计算资源,采用并行计算策略,将任务分布在多台计算机上执行,从而显著提升处理速度。 并行计算分为共享内存和分布式内存两种模式。共享内存系统允许所有处理器访问统一的内存空间,而分布式内存集群中...

    spring 5.0 源码

    Spring 5.0是Spring框架的一个重要版本,它在前一版本的基础上进行了许多改进和增强,为开发者提供了更强大、更灵活的工具和API。深入理解Spring 5.0的源码,对于Java和Java EE开发者来说,是提升技术水平、优化代码...

    机械CAD及其应用第七章产品协同设计的提出与概念.pptx

    【产品协同设计】是现代制造业中一种高效的设计方法,它基于信息技术,特别是在敏捷制造和虚拟制造技术的基础上,实现跨地域、跨部门甚至跨公司的设计团队合作。产品协同设计的提出是为了应对快速变化的市场需求和...

Global site tag (gtag.js) - Google Analytics