chenhua_1984
- 浏览: 1253857 次
- 性别:
- 来自: 杭州
-
最新评论
-
July01：
最近了解到一款StratoIO打印控件，功能如下：1、Html ...
web页面调用window.print()函数实现打印的功能 -
hxdtech：
非常感谢！
我在学习ibatis时的培训ppt -
zmwxiaoming：
what 能连数据库不错
SOLR的学习整理 -
springdata_springmvc：
java程序语言学习教程 地址http://www.zuida ...
java获取当前操作系统的信息 -
huanzei：
整理的不错，
oracle lpad函数
文章列表
安装环境
写道
两台主机：192.168.1.2 bigdata2192.168.1.4 bigdata3
1 安装JDK （两台主机安装一个版本的JDK）
[root@bigdata2 bin]# echo $JAVA_HOME
/opt/java/jdk1.6.0_45
2 安装SSH，配置面密码登录（bigdata2 可以免密码登录到bigdata3）
在bigdata2上面执行如下指令
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh ...
首先看看Mongodb的导出功能，在bin目录下有个mongoexport 用来实现导出功能，主要参数如下
写道
D:\mongodb_64-2.6.4\bin>mongoexport.exe --helpExport MongoDB data to CSV, TSV or JSON files.Options: --help produce help message -v [ --verbose ] be more verbose (include multiple times for more verbosity e.g. -vvvvv) --quiet sil ...
使用db.eval()可以在Mongo的服务端执行javascript脚本，然后返回结果
D:\mongodb_64-2.6.4\bin>mongo.exe localhost:27017
MongoDB shell version: 2.6.4
connecting to: localhost:27017/test
> db.eval("return 'hello';");
hello
> db.eval("return 'hello';");
hello
> db.eval("fu ...
搭建的是一个伪集群，start-dfs.sh后，jps看到datenode没有启动，进入logs目录，查看日志
java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop/hdfs/data: namenode clusterID = CID-af6f15aa-efdd-479b-bf55-77270058e4f7; datanode clusterID = CID-736d1968-8fd1-4bc4-afef-5c72354c39ce
namenode 和datanode 的 ...
MongoDb在用于生产环境的三种模式，master/slaves（主从模式）;replcation副本集;auto shard 分片模式
在早期的系统设计中，主从模式是比较流行的，将读写分离，在不同的DB上操作，可以有效降低数据库的压力，而且还能实现数据的备份，但是在master节点故障的时候，不能及时的自动的切换到slaves节点，需要手动干预，这个是硬伤
目前在Mongodb的官方说法中已经不推荐使用master/slave/模式，推荐使用副本集模式，应为该模式不但实现了主从模式的读写分离，而且有自己的一套选举机制，能通过自己的算法，选举出当前最优的节 ...
1 mongodb的日常管理需要用到的一些指令首先启动和停止
比如在windows 上 ：进入
D:\mongodb_64-2.6.4\bin 的目录
2014/09/26 16:33 <DIR> .
2014/09/26 16:33 <DIR> ..
2014/08/08 21:30 18,788,864 bsondump.exe
2014/08/08 21:18 10,143,744 mongo.exe
2014/08/08 21:28 ...
首先是简单查询find findone(默认返回20行)
> db.events.findOne();
{
"_id" : ObjectId("5465ba77414a6548e7c705cd"),
"type" : "IPA",
"OCCURTIME" : ISODate("2014-08-21T05:59:13Z"),
"DESC" : "全麻 ...
Mongodb是面向文档的数据库，不是关系型的，将关系型数据库的Row 转换为Document（每个文档都有一个_id,ObjectId是_id的默认类型“0123（时间戳）456（机器）78（PID）91011（计数器）”），长度不固定，更加灵活，这种Key Value的存储方式也是MapReduce的一个基础。Mongodb具有很多优秀的功能，比如 索引功能，存储javascript,功能（用来替代存储过程），聚合函数的支持，固定大小的集合（capped）,还有文件系统GridFS用来存储文件
Mongodb的内置数据库有admin,local ...
假如在项目中已经采取了Mongodb，那么可以不用在重新设计文件系统了，应为MongoDb本身有的Gridfs就是一个很好的文件系统，Mongodb会利用自己的分片或者复制机制，对于文件存储和故障恢复都很容易，分配数据空间时一般是2GB为一块，不会产生磁盘碎片。
Mongodb内部的基本思想是将大文件分成很多块，妹块做为一个单独的文档存储，使用files和chunks来控制。这样就可以存储大文件。
Mongodb 的GridFS使用比较简单，Shell对其提供了支持，mongofiles程序提供了几个指令：put,get,list，searc ...
MongoDb可以创建固定大小的集合，当集合中的JSON对象达到最大值的时候，会自动进行覆盖，最先进来的文档会被优先覆盖，只保留固定大小的条数。
capped类型的文档必须手动创建
db.createCollection("cappedtest",{capped:true,size:10,max:2});
创建一个文档数量为2条的固定大小集合，名字为cappedtest
往里面插入文档
> db.cappedtest.insert({"name":"chenhua" ...
MongoDb是NoSQl中目前比较流行的一种分布式存储的解决方案，主从，副本集及分片等都支持的很好，在分布式存储的架构下，自然有分布式的计算，MapReduce是Mongodb的分布式计算支持。
它的MapReduce有点类似GroupBy的效果，首先是Map：遍历集合，把具有相同Value的Key整理成一个Key：Values的键值对，作为参数传递给Reduce函数，由Reduce函数进行进一步的化简处理，最后把结果写到指定的集合中。
mongo内置的count,distinct,group 的功能MapReduce都能够实现
> db.ev ...
spring-data for 与mongodb save 时多一个_class字段，原来的配置文件如下
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.spring ...
项目打算使用Hadoop来做MapReduce,先对Hadoop项目有个大致的了解吧..
Hadoop是Apache下面一个开源的分布式计算和存储的平台,其核心是MapReduce和HDFS,其他还有一些子项目是为Hadoop而服务的,包括Hive Hbase Pig Chukwa Zookeeper 等.目前包括两个版本，官方版和Cloudera版，Cloudera是Hadoop的商用版本。
MapReduce是分布式计算的核心,它提供了一种新的计算方式,可以利用廉价的硬件构建 ...
有时候需要对Kettle抽取过来的数据进行加解密或者其他一些自定义的操作，Kettle本身有对称加密和解密的功能，但由于有时候需要自定义，所以还是提供了调用外部接口的能力。
新建一个自定义处理的JAVA类，例如：
package test;
public class Test{
public static final String getMyName(String name){
//your code
return name;
}
}
处理好你的逻辑以后，打包成一个JAR包， ...
spring项目提供了对大数据的支持，Spring-data 项目，其中有关于Spring Data ForMongodb的，研究了一下，弄了个小示例参考一下。
application.xml
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema ...