zxxapple
- 浏览: 80506 次
- 性别:
- 来自: 南京
-
最新评论
-
amy929：
你好！我最近在做学mapreduce，可否发一份这个代码给我学 ...
MapReduce框架中矩阵相乘的算法思路及其实现 -
微笑春天：
楼主 你好 花了一晚上的时间看了下你这个算法的实现 说实话 我 ...
MapReduce框架中矩阵相乘的算法思路及其实现 -
gaycolour：
大大，同求完整代码！634677370@qq.com
MapReduce框架中矩阵相乘的算法思路及其实现 -
zarchary-10：
你好，同求完整代码，可否发份zzy07053437@163.c ...
MapReduce框架中矩阵相乘的算法思路及其实现 -
developerinit：
你好，最近也在研究mapreduce矩阵乘法，想看下你这个例子 ...
MapReduce框架中矩阵相乘的算法思路及其实现
文章列表
Eucalyptus
镜像的问题
1.
官方网站提供的镜像
分为三个部分
1.ramdisk 2.kernel 3.
文件系统镜像
用户每次启动镜像实例，上次使用的数据是不被保存的，类似于还原系统，因为手动制作镜像比较麻烦 ...
因为实验需要 ，这个平台搭建了好多遍了，下面就是搭建的全过程 ，看起来很复杂 ，只要了解了 其实搭建起来很快的
坐下笔记，以防后患！
有点乱---当时只用了两台机器搭建，现在扩展到多台机器了，
多台机器的话：举个实验的例子 用6台机器：安装的图
如下文章是使用两台机器装得 sc单独一台机器 ，其它的全部装到一台机器
一
.
安装前准备工作
1.
安装
Centos 5.4 +xen
的操作系统（过程见网上，
xen
也可以在操作系统安装后进行安装）
注意：安装系统时， ...
关于全排序的问题 Tom White的书中提出的数据取样方法 ，最近学习了一下，下面做个比较，以防后患！！
主要思想就是在要排序的所有数据中随机取出一定量的数据，这些数据取自三个部分，
1.
选取总得数据
(
...
关于在mapreduce框架上求近似Pi的值，hadoop源码包的example中源代码，在这里只是简单写写学习笔记
首先说下大概思路：
这个图大家在网上肯定见都见过
正方形的面积 As = (2r)*（2r）也就是 4r*r. 内切圆形的面积 Ac = pi * r*r.
pi = Ac / r*r
As = 4r*r
r*r= As / 4
pi = 4 * Ac / As
所以最后求pi 的近似值就可以通过求圆的面积与正方形的面积的比值即可，
hadoop中example的实现的思想就是 在整个正方形的内取随机 ...
关于在mapreduce框架中的两个矩阵相乘（A*B）的算法实现，有如下两种思路。。
第一，因为我们在学校课堂内的矩阵相乘的基本算法就是A的行与B的列相乘 当然要满足A的列的维数与B的行维数相同，才能满足相乘的条件。所以有如下基本思路：
让每个map任务计算A的一行乘以B的一列，最后由reduce进行求和输出。这是最原始的实现方法：
假设A(m*n) B(n*s)
map的输入的格式如下<<x,y>,<Ax,By>> 0=<x<m,0=<y<s,0=<z<n
其中 <x,y>是key ...
最近对mapreduce框架比较感兴趣，所以会去测试许多例子，hadoop自带的就有很多
但是如何编写自己的例子并在其上运行以及调试呢？
第一种方法 使用hadoop 自带的 eclipse-插件 但是许多朋友并不具备这样的条件 而且 插件的版本兼容性也有许多的问题
第二种就是 自己的写好的代码 然后打成jar包 然后 放到hadoop下运行 比较笨得 原生态的方法---我就是比较笨得人
第二种法法调试程序比较麻烦 一般简单的调试 System.out 可以解决 首先它会输出到命令行 或者在hadoop/logs/user ...
搭建准备工作：
1.
四台主机
：
192.168.1.34—master-namenode
192.168.1.32—slave-datanode1
192.168.1.33—slave-datanode2
192.168.1.37—slave-datanode3
编辑每台主机的
/etc/hosts
文件内容，在最后面添加：
192.168.1.34
namenode
192.168.1.33 ...
刚开始接触hadoop的mapreduce并行计算的编程框架，使用的是java语言，对于一些简单的日志文档处理，相当的容易上手，但是经过一段时间的学习调研，发现用其实现一些图的算法，相当蹩脚，效率很低。。。
下面我列出下mapreduce实现图的单源最短路径的算法（伪代码）这里假设的是每个节点之间是单源节点
1: class Mapper
2: method Map(nid n,node N)
3: d ! N.Distance
4: Emit(nid n,N) Passalonggraphstructure
5: forall nodeid m ! N.AdjacencyLi ...
第一篇博客，终于俺家落户了，记录平时比较重要的东西，锻炼自己的表达能力
希望在接下里的日子里再接再厉，多总结才会有收获，，，，加油！