java-大神
- 浏览: 34894 次
- 性别:
- 来自: 大山东
-
最新评论
-
HeyGirl：
机器学习：支持向量机实现手写识别 -
HeyGirl：
赞一个！看到你学习的过程，感觉自己要好好努力，才能紧追大神的脚 ...
hadoop学习总结 -
java-大神：
嗯，会出现不少问题，但还是能解决的
关于hadoop完全分布式集群搭建 -
bewithme：
看似简单，其实弄起来得折腾死你。
关于hadoop完全分布式集群搭建
文章列表
青涩的大一，以为大学就是早上与伙伴篮球场上挥洒汗水，下午寝室四人开黑，晚上又是三五成群烧烤摊畅饮啤酒。转眼间已经大二下，大学生活已然过半。看着身边，陆仁贾在台上演示精致的app小游戏，宋兵乙在分享各种实习趣事，而故事的主角，却还在思考如何安全的度过今年期末考试。
冲动，确实是一时冲动，看见豪翔跟家园学长在台上讲打算成立云计算小组的计划后，我第一个举起了手，也是在那时候，遇到了今天的小伙伴们，没有他们，我可能不会坚持到现在
由于毛毛多原因一直没机会跑一个完全分布式，上次由于网络不稳定失败后就一直没在搞过，想想还是做点笔记备忘下。
已经安装好hadoop环境下：
1、配置host文件，即确定各结点ip
2、配置ssh无密码登录
3、配置namenode，修改site
4、配置hadoop-env.sh文件，导入 jdk 就好
5、配置maste与slaves结点文件
6、一致hadoop，分别向各结点复制hadoop
7、格式化namenode
8、启动hadoop，用 jps 检测各进程是否运行成功
9、通过网络查看集群，端口50070查看 namenode 及整个分布式系统，50030查看 ...
OutputFormat主要用于描述数据输出的格式，它能够将用户提供的key/value对写入特定格式的文件中。
与InputFormat相似，OutputFormat也是一个接口，旧版API有两个方法：
RecordWriter<K,V> getRecordWriter(FileSystem ignored,JobConf job,String name,Progressable progress) throws IOException;
void checkOutputSpecs(FileSystem ignored,JobConf job) throws IOExce ...
在用支持向量机处理手写识别时，需要一个保存模板图片路径与0~9标签的文本txt，如下：
实现步骤：（这里路径为D:\nums）
step1、
到路径D:\nums\train0下，新建 "p.txt"，输入
dir /b/s/p/w *.jpg>num.txt
保存并重命名为 "p.bat"，双击运行可得--> "num.txt"， 内容如下：
继续新建 "pp.txt"，输入
setlocal enabledelayedexpansion
for /f "delims= ...
不知不觉，学习脑与科学已经将近3个月了，虽然对上课老师讲的纯理论提不起一点兴趣，但是不得不说，这玩意儿确实有它吸引人的地方，比如计算机视觉，比如今天的机器学习。
机器学习可以说是人工智能的核心，是它使计算机拥有了智能，简单说，它使计算机有了学习的能力。MS李
给了五种机器学习算法实现手写识别（否则挂科）：
自适应增强；
支持向量机；
贝叶斯分类器；
人工神经网络；
决策树；
支持向量机是啥？跑去百科转了一圈，不懂。又借了本导论，很快就看完了，伤感是没怎么看懂，高兴的是字我都认识。乱起八糟看了一堆，用几个 ...
最近小组任务是在MapReduce编程模型，分析其接口体系结构，即InputFormat、Mapper、Partitioner、Reducer和OutputFormat五个接口的分析，我的任务是分析InputFormat接口，当时觉得不就是几个接口吗，还用得着五个人来分工，回家一晚上就可以全部搞定，好在当时没有冲动，现在花了一周（其实只有假期里）总算勉强玩转一个，想想还有点小激动。
想深入学习MapReduce的小伙伴们不妨看下hadoop技术内幕，有两册，楼主看的是MapReduce的架构设计和实现原理，还有Commen+HDFS，后者对Commen和HDF ...
WordCount，小demo备忘
/usr/local/hadoop# bin/hadoop namenode -format
/usr/local/hadoop# bin/start-all.sh
/usr/local/hadoop# jps
/usr/local/hadoop# sudo mkdir test
/usr/local/hadoop# la
/usr/local/hadoop# echo "**">*.txt
/usr/local/hadoop# bin/hadoop fs -mkdir in
/usr/local/hadoop# b ...
前些天胡哥给讲哈希表，悔恨自己没提前看下书，导致后来小伙伴们登台讨论的热火朝天时自己只能充当观众，那酸爽，唉...
当天回家恶补数据结构，发现哈希表其实还是挺容易理解的，就是在实现上面会感觉无从下手，因为自己还没有真正处理过大数据（虽然最近在研究大数据~~），只好自己敲个小程序cos下。
当天在胡哥课上除了哈希表基本思想外，印象最深的就是哈希表的冲突问题，当时听的时候感觉挺高大上，不理解冲突是个什么东东，为什么会发生？后来想了下，我去，不就是初中学过的抽屉原理吗，忘记了的小伙伴请回校复读，哈哈。
额，顺便插一句，推荐大家看一下下面这个视频http ...
刚刚把去年写过的几篇博文下架了，感觉没下什么功夫在上面，不太值得小伙伴们费神，干脆全部删掉，重新开始嘛
这学期我们大智能开始第一波专业课，基于Opencv下的计算机视觉处理，感觉比较有趣，希望通过不断的学习能够在日后做出自己喜欢的作品。
这次博文属于我的第一个课程实验，初次接触，印象最为深刻。
1）初次接触
这是脑与科学的第一个实验，看到实验内容时感觉无从下手，因为自己只是刚刚把Opencv库函数装载好，只会一个当初搭建环境时助教给的小程序里面的cvShowImage显示图像函数，感觉要坑；
2）尝试解决
...