OpenMP，MPI，MapReduce 比较

参考：

http://blog.csdn.net/zhuliting/article/details/5911018

 

 

OpenMP和MPI是并行编程的两个手段，对比如下：

• OpenMP:线程级（并行粒度）；共享存储；隐式（数据分配方式）；可扩展性差；
• MPI：进程级；分布式存储；显式；可扩展性好。

OpenMP采用共享存储，意味着它只适应于SMP,DSM机器，不适合于集群。MPI虽适合于各种机器，但它的编程模型复杂：

• 需要分析及划分应用程序问题，并将问题映射到分布式进程集合；
• 需要解决通信延迟大和负载不平衡两个主要问题；
• 调试MPI程序麻烦；
• MPI程序可靠性差，一个进程出问题，整个程序将错误；

其中第2个问题感受深刻。每次听我们部门并行组的人做报告，总是听到他们在攻克通信延迟大和负载不平衡的问题。一种并行算法的好坏就看它有没有很好的解决这两个问题。

与OpenMP，MPI相比，MapReduce的优势何在呢？

• 自动并行；
• 容错；
• MapReduce学习门槛低。

附：

• SMP(Symmetric multi-processing)，共享总线与内存，单一操作系统映象。在软件上是可扩展的，而硬件上不能。
• DSM（distributed shared memory），SMP的扩展。物理上分布存储；单一内存地址空间；非一致内存访问；单一操作系统映象。

 

 

 

相关评论：

OpenMP在科学计算方面居于统治地位，对于多线程方面（包括多核）有很大的优势。 
OpenMP+MPI的组合方式在集群方面有很成熟的案例。 

MapReducesh是Google的人研究出来的一个模型，开发的一个针对大规模群组中的海量数据处理的分布式编程模型

 

以上为转载！

 

 

 

 

 

 

附MPI的相关资源：

下面的很多网址已经过期了，仅供参考！ 

MPI函数手册页 
  http://www.mpi-forum.org/docs/mpi-11-html/node182.html#Node182 
MPI程序设计练习循序渐进 
  http://www-unix.mcs.anl.gov/mpi/tutorial/mpiexmpl/contents.html 

主要的MPI主页及MPI标准 
http://www.mpi-forum.org MPIF主页 
http://www.mcs.anl.gov/mpi MPI主页 
http://www.netlib.org/mpi/index.html netlib上的MPI站点 

MPI的实现 
http://www-unix.mcs.anl.gov/mpi/mpich/ ANL/MSU实现的MPICH主页 
http://www.mcs.anl.gov/mpi/mpich MPICH实现 
ftp://ftp.mcs.anl.gov/pub/mpi MPICH实现 
http://www.erc.msstate.edu/misc/mpi/ 其它的MPI实现 
http://www.lsc.nd.edu/MPI2 MPI实现列表 
http://www.erc.msstate.edu/mpi MSU的MPI项目 
http://www.mpi.nd.edu/lam/ LAM的MPI 
http://www.lam-mpi.org/ 

关于MPI的文档、讨论与例子 
http://www-unix.mcs.anl.gov/mpi/tutorial/ MPI相关材料 
http://www.erc.msstate.edu/mpi/mpi-faq.html 常见问题 
http://wiki.mcs.anl.gov/mpich2/index.php/Frequently_Asked_Questions 常见问题解答 
http://www.mpi-forum.org/docs 勘误 
http://www.erc.msstate.edu/misc/mpi/resources.html 关于MPI的新闻组 
ftp://ftp.mpi-forum.org/pub/docs/ MPI文挡 
http://www.mcs.anl.gov/mpi/usingmpi MPI教程 
http://www.mcs.anl.gov/mpi/usingmpi2 MPI教程 
ftp://ftp.mcs.anl.gov/pub/mpi/using/examples MPI例子程序 
ftp://ftp.mcs.anl.gov/pub/mpi/using2/examples MPI例子程序 
http://www-unix.mcs.anl.gov/mpi/tutorial/mpiexmpl/contents.html MPI例子程序 

One-step Tutorial: MPI: It's easy to get started 
http://www.lam-mpi.org/tutorials/one-step/ezstart.php 

http://www-unix.mcs.anl.gov/mpi/tutorial/mpiexmpl/src/hellow/C/main.html 

http://www.huihoo.org/npact/mpiindex.htm