zh_ka
- 浏览: 152328 次
-
最新评论
文章列表
Hadoop 2.5.2版本安装部署
- 博客分类：
- hadoop
软件及版本：
Hadoop版本
hadoop-2.5.2
操作系统
Red Hat Linux 6.4
32bit
JDK
Hadoop1.x与Hadoop2的区别
- 博客分类：
- hadoop
Hadoop1.x与Hadoop2的区别
1、变更介绍
Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更：
l HDFS的NameNodes可以以集群的方式布署，增强了NameNodes的水平扩展能力和可用性；
l MapReduce将JobTracker中的资源管理及任务生命周期管理（包括定时触发及监控），拆分成两个独立的组件，并更名为YARN（
1.能否总结出MapReduce设计思路？2.hadoop1遇到了什么问题？3.hadoop2做了什么改进，具体哪些变化？对 hadoop1 和 hadoop 2 做了一个解释 图片不错 拿来看看<ignore_js_op style="word-wrap: break-word; color: rgb(68, 68, 68); font-family: Tahoma, 'Microsoft Yahei', Simsun;"> Hadoop 1.0<ignore_js_op style="word-w
MongoDB 存储图片等文件有两种方式
（该文章针对的是已经可以使用MONGODB整合Spring的用户）
相关阅读：
MongoDB备份与恢复 http://www.linuxidc.com/Linux/2012-07/64113.htm
CentOS编译安装MongoDB http://www.linuxidc.com/Linux/2012-02/53834.htm
CentOS 编译安装 MongoDB与mongoDB的php扩展 http://www.linuxidc.com/Linux/2012-02/53833.htm
CentOS 6 使用 yum 安装Mongo ...
GridFS首先会在当前数据库创建两个集合："fs.files"和"fs.chunks"集合，前者记录了文件名，文件创建时间，文件类型等基本信息；后者分块存储了文件的二进制数据（并支持加密这些二进制数据）。分块的意思是把文件按照指定大小分割，然后存入多个文档中。"fs.files"怎么知道它对应的文件二进制数据在哪些块呢？那是因为在"fs.chunks"中有个"files_id"键，它对应"fs.files"的"_id"。"fs.chunks& ...
在Mongodb中以GridFSB方式存放文件有两种方式：1、命令行方式mongofiles 2、客户端驱动编程（以Java为例）
1、命令行方式mongofiles
在bin目录下有一个命令mongofiles.exe，即可完成命令行下向Mongodb数据库中插入文件数据。这里以前述所搭的4个分片，每分片3个复制集，3个ConfigSever ，1个路由节点的Windows的模拟集群为例。
D:/mongodb-win32-i386-1.8.0/bin>mongofiles.exe -host 127.0.0.1:50000 -d wlb put mongodump.execon ...
这一章是mongodb的使用基础篇 为以后讲spring hadoop 之 mongodb整合做基础教程
常用了web项目使用mongodb 与 spring整合一般有三种方式 此三种方式我都用过多次，个人比较喜欢第三种
1.原生驱动直接与spring整合
2.google Morphia开源库
3 spring data mongodb spring data子项目
我会在本文一种一种依次讲解 如果有什么疑问 可以在下面留言
8天学通MongoDB——第六天 分片技术
- 博客分类：
- mongodb
在mongodb里面存在另一种集群，就是分片技术，跟sql server的表分区类似，我们知道当数据量达到T级别的时候，我们的磁盘，内存
就吃不消了，针对这样的场景我们该如何应对。
一：分片
mongodb采用将集合进行拆分， ...
8天学通MongoDB——第七天 运维技术
- 博客分类：
- mongodb
这一篇我们以管理员的视角来看mongodb，作为一名管理员，我们经常接触到的主要有4个方面：
1． 安装部署
2． 状态监控
3． 安全认证
4． 备份和恢复，
下面我们就一点一点的讲解。
一：安装部署
我之前的文章都是采用console程序来承载，不过在生产环境中这并不是最佳实践，谁也不愿意在机器重启后满地找牙似找mongodb，
在mongodb里面提供了
写这篇文章也做了下思考，首先是本人技术欠佳。但就是喜欢研究一些东西。因为在此之前有很多的朋友已经写过类似的，很多我也看过，但是讲解的不够深入。对有些朋友提出的问题不能给出答案。在这里，我根据我目前的 ...
8天学通MongoDB——第五天 主从复制
- 博客分类：
- mongodb
从这一篇开始我们主要讨论mongodb的部署技术。
我们知道sql server能够做到读写分离，双机热备份和集群部署，当然mongodb也能做到，实际应用中我们不希望数据库采用单点部署，
如果碰到数据库宕机或者被毁灭性破坏那是多么的糟糕。
一：主从复制
1： 首先看看模型图
2: 从上面的图形中我们可以分析出这种架构有如下的好处：
8天学通MongoDB——第四天 索引操作
- 博客分类：
- mongodb
这些天项目改版，时间比较紧，博客也就没跟得上，还望大家见谅。
好，今天分享下mongodb中关于索引的基本操作，我们日常做开发都避免不了要对程序进行性能优化，而程序的操作无非就是CURD，通常我们
又会花费50%的时间在R上面，因为Read操作对用户来说是非常敏感的，处理不好就会被人唾弃，呵呵。
从算法上来说有5种经典的查找，具体的可以参见我的算法速成系列，这其中就包括我们今天所说的“索引查找”，如果大家对sqlserver比较了解
的话，相信索引查找能给我们带来什么样的性能提升吧。
我们首先插入10w数据，上图说话：
今天跟大家分享一下mongodb中比较好玩的知识，主要包括：聚合，游标。
一： 聚合
常见的聚合操作跟sql server一样，有：count，distinct，group，mapReduce。
<1> count
count是最简单，最容易，也是最常用的聚合工具，它的使用跟我们C#里面的count使用简直一模一样。
<2> distinct
这个操作相信大家也是非常熟悉的，指定了谁，谁就不能重复，直接上图。
看过上一篇，相信大家都会知道如何开启mongodb了，这篇就细说下其中的增删查改，首先当我们用上一篇同样的方式打开mongodb，突然
傻眼了，擦，竟然开启不了，仔细观察“划线区域“的信息，发现db文件夹下有一个类似的”lock file”阻止了mongodb的开启，接下来我们要做的就
是干掉它，之后，开启成功，关于mongodb的管理方式将在后续文章分享。
一： Insert操作
上一篇也说过,文档是采用“K-V”格式存储的，如果大家对JSON比较熟悉的话，我相信学mongodb是手到擒来，我们知道JSON里面Value
可
8天学通MongoDB——第一天 基础入门
- 博客分类：
- mongodb
关于mongodb的好处，优点之类的这里就不说了，唯一要讲的一点就是mongodb中有三元素：数据库，集合，文档，其中“集合”
就是对应关系数据库中的“表”，“文档”对应“行”。
一： 下载
上MongoDB官网 ，我们发现有32bit和64bit，这个就要看你系统了，不过这里有两点注意：
①：根据业界规则，偶数为“稳定版”（如：1.6.X，1.8.X），奇数为“开发版”（如：1.7.X，1.9.X)，这两个版本的区别相信大家都知道吧。
②：32bit的mongodb最大只能存放2G的数据，64bit就没有限制。
...