`
085567
  • 浏览: 219108 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

mapreduce技术的开源c语言实现

阅读更多
一、Stanford大学的Phoenix系统(单机多核的应用)
1、Phoenix是在共享内存的体系结构上的MapReduce实现。它的目标是在多核平台上,使程序执行得更高效,而且使程序员不必关心并发的管理。事实上并发管理,尽管是经验丰富的程序员,也难免在这上面出错。
2、Phoenix由一组对程序应用开发者开放的简单API和一个高效的运行时组成。运行时系统处理程序的并发、资源管理和错误修复, 它的实现是建立在P-thread之上的,当然也可以很方便地移植到其它的共享内存线程库上。
3、网站http://mapreduce.stanford.edu/可以下载到最新程序和源码。

二、Eucalyptus 开源云计算平台
1、Eucalyptus 项目(Elastic Utility Computing Architecture for LinkingYour Programs To Useful Systems)是 Amazon EC2 的一个开源实现,它与商业服务接口兼容。和 EC2一样,Eucalyptus 依赖于 Linux 和 Xen 进行操作系统虚拟化。
2、Eucalyptus 是加利福尼亚大学(SantaBarbara)为进行云计算研究而开发的。
3、网站http://eucalyptus.cs.ucsb.edu/可以下载到最新程序和源码。

三、Enomalism 弹性计算平台
1、Enomaly's Elastic Computing Platform (ECP)是一个可编程的虚拟云架构,ECP平台可以简化在云架构中发布应用的操作。
2、云计算平台是一个 EC2 风格的 IaaS 。Enomalism 是一个开放源代码项目,它提供了一个功能类似于 EC2的云计算框架。Enomalism 基于 Linux,同时支持 Xen 和 Kernel Virtual Machine(KVM)。与其他纯IaaS 解决方案不同的是,Enomalism 提供了一个基于 TurboGears Web 应用程序框架和 Python 的软件栈。 
3、网站http://www.enomaly.com可以下载到最新程序和源码。

本文来自CSDN博客,转载请标明出处:http://blog.csdn.net/nuaaqy/archive/2010/01/06/5137307.aspx
分享到:
评论

相关推荐

    topic-modeling:该项目在使用Java和C的Hadoop MapReduce和MPI等并行计算框架上,使用潜在Dirichlet分配(LDA)算法评估主题建模的性能

    总之,这个项目关注的是在并行计算环境下,如何使用Java和C语言实现LDA算法,以提高主题建模的效率。通过Hadoop MapReduce和MPI,开发者可以处理大规模的文本数据集,同时,通过源代码和相关文档,我们可以深入学习...

    hadoop应用案例

    在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。它以其高度可扩展性和容错性,成为了大数据领域的...开发者需要深入理解Hadoop的工作原理和C语言特性,以充分利用这两种技术的优势。

    开源分布式文件系统比较.docx

    最后,FastDFS是一个基于C语言实现的轻量级分布式文件系统,它在MogileFS的启发下发展而来,但并非直接基于MogileFS代码。FastDFS不支持FUSE,而是通过HTTP协议提供文件访问,这可能限制了其在某些需要本地文件系统...

    大数据技术与应用.docx

    Hadoop作为开源的大数据处理框架,提供了分布式存储(HDFS)和并行计算(MapReduce)的能力。 数据可视化课程教会学生如何将复杂的数据以直观的方式呈现,提升数据分析结果的理解度。此外,Web开发技术,如Java面向...

    新闻检索系统的软件工程研究与实现.docx

    - **结合HDFS与MapReduce**:为了实现高效准确的新闻检索系统,本研究重点探讨了如何充分利用HDFS和MapReduce的优势。具体而言: - **HDFS作为存储介质**:新闻数据被存储在HDFS中,利用其高容错性和可扩展性来...

    大数据技术2015最新面试题

    以下是C语言实现: ```c int binary_search(int array[], int key, int low, int high) { if (low > high) return -1; int mid = (low + high) / 2; if (array[mid] == key) return mid; else if (array[mid] ...

    第6章-Hadoop—分布式大数据系统78.pptx

    通过C语言实现Map/Reduce示例,开发者可以更深入地理解并利用这一框架。 【建立Hadoop开发环境】 要设置Hadoop开发环境,首先需要进行相关准备工作,包括安装Java Development Kit(JDK)。然后,下载并解压缩...

    Hive编程指南

    此外,Linux公社还介绍了OpenStack这个开源云计算平台,以及集群技术,这些技术对于搭建和管理大规模的计算资源非常关键。Hadoop和Hive本身就依赖于集群技术,通过将多台机器组织成集群来提供高性能和高容错性的数据...

    编程语言Julia并行计算实现模式探讨-论文

    根据提供的文件内容,下面对编程语言Julia及其并行计算实现模式进行详细知识点的探讨。...随着高性能计算技术的不断发展,Julia语言因其独特的并行计算实现模式和丰富的功能特性,预期将在未来扮演越来越重要的角色。

    Hadoop框架下的关联挖掘算法在IDS中的软件工程研究与应用.docx

    Hadoop的核心组件包括分布式文件系统(HDFS)和MapReduce计算模型,两者协同工作以实现高效的数据处理。HDFS保证数据的高可用性和容错性,而MapReduce则提供并行处理能力,使得大规模数据分析成为可能。 4. 关联...

    Think In Go.pdf

    Go语言,也被称为Golang,它在2009年首次发布,旨在成为一种具有垃圾回收功能,但拥有C语言执行速度和性能的系统编程语言。Go语言的设计理念注重简洁性、安全性、编译速度和并发能力。Go语言的并发模型基于...

    Java、C++、PHP、Android、Hadoop课程

    对于IT专业人士来说,掌握这些技能能够帮助你适应多样化的技术需求,提升职业竞争力。通过学习这些课程,你可以深入理解不同语言和框架的特性和应用,为未来的项目开发打下坚实的基础。同时,源码和工具的学习将帮助...

    Best Linux Books

    8. **《C语言接口与实现》** - Linux内核大量使用C语言编写,这本书教你如何用C语言编写高效、可靠的程序,是理解内核源码的基础。 9. **《Linux设备驱动程序》** - 如果你对编写Linux设备驱动感兴趣,这本书将带你...

    lz4-dev.zip_compress_lz4_world

    1. 源代码:C语言实现的LZ4压缩库,可供开发者进行编译和集成到自己的项目中。 2. 头文件:定义了LZ4的API接口,供开发者调用压缩和解压缩函数。 3. 示例程序:演示如何使用LZ4库进行压缩和解压缩操作,帮助开发者...

    hadoop2.2.0 native

    Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它的核心设计是通过分布式文件系统(HDFS)和MapReduce计算模型来处理和存储大量数据。在Hadoop 2.2.0版本中,引入了一些重要的改进和优化,提升了系统的...

    数据库CouchDB入门到精通视频课程下载整理.zip

    CouchDB是一款开源的、基于文档的分布式数据库系统,它采用JSON格式存储数据,JavaScript作为查询语言,并支持RESTful API,使其成为Web开发的理想选择。本课程将引领你从入门到精通,深入理解CouchDB的核心特性和...

    百度美团笔试题

    5. 汇编代码转换为C语言实现:需要对汇编语言中的各个指令进行等效的C语言翻译,并确保逻辑功能一致。 6. 数字金字塔问题:同样是一个动态规划问题,需要从底层开始逐层向上计算最大和。 7. 括号匹配问题:方案一不...

    hadoop_dll_winutil_2.7.3_x64.zip

    Hadoop是一个开源的分布式计算框架,由Apache基金会维护,主要用于处理和存储大量数据。它主要由两个核心部分组成:HDFS(Hadoop Distributed File System)和MapReduce。HDFS提供了分布式文件系统,而MapReduce则是...

    Lecture4_Hadoop

    Hadoop是Apache基金会下的一个开源项目,由Doug Cutting创建,最初灵感来源于Google发布的几篇关于分布式计算架构的论文。Hadoop是一个能够对大量数据进行分布式处理的软件框架,旨在解决大规模数据集在分布式环境下...

Global site tag (gtag.js) - Google Analytics