`
085567
  • 浏览: 219575 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Hadoop 上大矩阵乘法

阅读更多
参考一:[url]http://forum.hadoop.tw/viewtopic.php?f=7&t=12&view=next [/url]

目前自己架設了 Hadoop + HBase 叢集
但是在 eclipse 上卻始終不能順利 run 程式
嘗試了好久...終於找到方法了~~~
主因是我使用的電腦並不是叢集的一部分...
所以程式執行時,zookeeper 預設是連到 localhost !?!?
看到這篇才恍然大悟...
引用
http://comments.gmane.org/gmane.comp.java.hadoop.hbase.user/9119
我一直沒有設 zookeeper 的 clientPort (囧)
所以補上這幾行就 OK 啦!!!! 

代碼:

HBaseConfiguration config = new HBaseConfiguration();
config.clear();
config.set("hbase.zookeeper.quorum","hmaser");
config.set("hbase.zookeeper.property.clientPort","2222");

只是在回應中看到這不是個好辦法....
應該再研究看看這個網頁.... (英文不好的困擾  )
[url]https://issues.apache.org/jira/browse/HBASE-2305 [/url]
参考二:http://homepage.mac.com/j.norstad/matrix-multiply/index.html

参考三:http://www.gordon-taft.net/MatrixMultiplication.html


此日志的引用通告 URL 是:
http://zhou-x-jun.spaces.live.com/blog/cns!EC576685E2065545!2087.trak
分享到:
评论

相关推荐

    Hadoop实现大矩阵乘法

    在Hadoop上实现大矩阵乘法,可以充分利用其并行计算的优势,提高计算效率。 大矩阵乘法的基本概念是两个矩阵A(m×n)和B(n×p)相乘得到一个新的矩阵C(m×p),其中C的每个元素ci,j是通过将A的第i行与B的第j列对应元素...

    基于Hadoop MapReduce的矩阵乘法

    1、资源内容:基于Hadoop MapReduce的矩阵乘法 2、代码特点:内含运行结果,不会运行可私信,参数化编程、参数可方便更改、代码编程思路清晰、注释明细,都经过测试运行成功,功能ok的情况下才上传的。 3、适用对象...

    hadoop/mapreduce-矩阵乘法 mapreduce的实现(代码)

    最近在研究hadoop与mapReduce,网上教程只有个wordcount程序示范,太简单,故写了个相对复杂点的涉及到多个文件之间同时运算的矩阵乘法的代码用于实验与测试,上传供大家学习与参考。 调用方法: 执行:hadoop jar ...

    Hadoop矩阵相乘完整实现

    在大数据处理中,矩阵相乘是一个非常重要的操作。 especialmente 在机器学习、数据挖掘和科学计算等领域中,矩阵相乘是非常常见的操作。Hadoop 提供了一种高效的方式来实现矩阵相乘,即使用 MapReduce 编程模型。 ...

    hadoop 自己实现的矩阵乘法 不同于mahout

    自己实现的矩阵乘法 不同于mahout,只用了一个map/reduce,支持数亿行和数亿列的乘法

    hadoop矩阵乘法源代码

    很好的hadoop矩阵乘法源代码,可以用于学习hadoop编程,代码中有详细使用说明。

    MapReduce实现大矩阵乘法

    在“MapReduce实现大矩阵乘法”这个主题中,我们将深入探讨如何利用MapReduce模型解决大矩阵乘法的问题,这是一种高效处理大数据存储的有效方法。 **Map阶段** 在Map阶段,输入数据被分割成多个块(通常为HDFS中的...

    论文研究-基于Hadoop的大矩阵列行分段乘算法 .pdf

    基于Hadoop的大矩阵列行分段乘算法,王伟,肖春娇,针对传统矩阵的乘法很难解决大数据下的矩阵乘问题,在Hadoop平台分析矩阵乘法问题的MapReduce处理过程,提出一种基于Hadoop的大矩阵列行

    Hadoop mapreduce 实现MatrixMultiply矩阵相乘

    总结,通过Hadoop MapReduce实现MatrixMultiply是将大规模矩阵运算分布式化的过程,它利用了并行计算的能力处理大量数据,有效地解决了单机环境下无法处理的大规模矩阵乘法问题。理解并掌握这一技术对于在大数据背景...

    Hadoop中矩阵方法的一套教程代码_Python_下载.zip

    5. **教程内容**:matrix-hadoop-tutorial-master目录下的代码很可能是实现Hadoop上的矩阵运算示例,包括矩阵加法、乘法、转置等基本操作,以及更复杂的算法,如奇异值分解(SVD)或矩阵求逆等。 6. **MapReduce...

    java 矩阵乘法的mapreduce程序实现

    java 矩阵乘法的mapreduce程序实现使用了Hadoop的MapReduce框架来实现矩阵乘法的操作,这使得程序可以并行化处理大规模数据,从而提高计算效率。该程序可以广泛应用于机器学习、数据挖掘、科学计算等领域。

    大数据实验报告Hadoop编程实现MatrixMultiplication矩阵相乘程序附源码.doc

    本实验报告的主要目的是使用 Hadoop 编程实现矩阵相乘(Matrix Multiplication)程序,并将其应用于大数据平台上。实验中,我们使用 Hadoop 的 MapReduce 框架来实现矩阵相乘,并将结果保存到 HDFS 中。 知识点一:...

    Hadoop-MapReduce下的PageRank矩阵分块算法

    Hadoop-MapReduce下的PageRank矩阵分块算法是一种有效解决大规模数据集中PageRank计算问题的方法。通过并行化处理和矩阵分块策略,该算法显著提高了计算效率,降低了资源消耗,为Web结构挖掘领域提供了新的解决方案...

    MapReduce实现矩阵相乘算法

    总之,使用Hadoop MapReduce实现矩阵相乘是一个涉及并行计算、分布式存储和高效数据处理的综合问题,它展示了MapReduce在处理大规模数值计算时的强大能力。通过理解并实践这一算法,开发者可以更好地掌握大数据处理...

    hadoop Big matrix muiltiple on java source.zip

    这两个文件是关于如何在Hadoop环境下使用Java实现大规模矩阵乘法的示例。 首先,我们要理解矩阵乘法在大数据处理中的重要性。矩阵运算广泛应用于机器学习、数据挖掘和图像处理等众多领域,尤其是当处理的数据量非常...

    基于MapReduce的高阶矩阵乘法分布式并行算法研究

    2. 高阶矩阵乘法的特性:解释高阶矩阵乘法在数学上的定义,以及在计算时面临的问题,如存储复杂度高、计算量大等,为后续分布式并行算法的设计提供背景知识。 3. 分布式矩阵乘法的优化策略:探讨如何在分布式系统中...

    基于Hadoop的开发项目,包括分布式算法的实现和Hadoop项目,总共七个项目+源代码+文档说明

    4、基于MapReduce的大矩阵乘法(java语言) 5、MapReduce基础Demo(java语言) 6、Hbase基础Demo(java语言) 7、HDFS基础Demo(java语言) - -------- 不懂运行,下载完可以私聊问,可远程教学 该资源内项目源码是...

    基于Hadoop平台的云计算节能研究.pdf

    实验结果表明,Phadoop架构在执行分块矩阵乘法任务时,与传统Hadoop架构相比,能耗降低了34%。这说明,通过合理利用处理器能耗限制功能,可以在不显著牺牲性能的前提下有效降低数据中心的能耗。 文章中提到的其他...

    构建在Spark之上的分布式矩阵运算库_Scala_下载.zip

    例如,我们可以使用`Matrices`类来创建矩阵,`matmul`函数来进行矩阵乘法,`transpose`函数来获取矩阵的转置,`solve`函数来解决线性方程组等。 值得注意的是,Marlin不仅支持基本的矩阵运算,还提供了一些高级功能...

    基于Hadoop协同过滤的商品推荐毕业设计答辩PPT.pptx

    5. **矩阵运算**:将商品共现矩阵和用户评分矩阵进行乘法运算,得到每个用户对未评分商品的预测评分。 6. **去除已购买商品**:去除用户已经购买过或者评分过的商品,只保留未评分的商品,以避免重复推荐。 7. **...

Global site tag (gtag.js) - Google Analytics