chakey
- 浏览: 363787 次
- 性别:
- 来自: 水星
-
最新评论
-
mafuli007：
【6】MongoDB数据导入和导出 -
xchd：
czwq2001 写道我带hbase执行的时候出现以下异常，不 ...
Hive HBase整合使用 -
shanxu9198：
geilivable
HBase的数据模型 -
johnnyzuo：
不起作用。希望LZ以后自测后再发，这样很容易误导初学者
hadoop自动清除日志文件的配置方法 -
hongzhi0618：
你好，我到这一步的时候，echo "test mes ...
[4] Scribe使用例子3
文章列表
MongoDB数据导入和导出
元数据需要事先创建好。
mongoimport
这个命令可以导入单个JSON/CSV/TSV格式的文件。文件的每一行都要是指定格式的标准格式。
需要指定一个数据库（database)和一个collection(相当于关系数据库中的表)。
×××××××××××××
options:
--help produce help message
-v [ --verbose ] be more verbose (include multiple times for more
...
Replica Set使用指南（在单机上配置）
简介：
一个Replica-Set是在一组N个mongod服务一起协作来进行后援支持。
搭建一个replica-set需要两个步骤：在每个节点上启动服务；初始化这个set。
标准模式下，1个set包含3个节点。我们现在就在同一个服务器上搭建一个。
一旦mongod服务节点都启动了，我们需要一个指令来初始化这个set。几秒钟之后，三个节点中会选择出一个
主控节点（master node）,之后我们就可以向这个set中写入或者查询数据了。
步骤一：
分别为3个节点分配数据存放的位置空间
$ mkdir -p /data/ ...
MongoDB集群的冗余机制（Replication）
优点：
1：Mongo是一个面向文档的JSON数据库，被设计为一个真正的对象数据库，而不是一个纯粹的键/值存储。
2：MongoDB适合用来描述一个具有个性化特征的实体对象正，快速无阻塞的数据数据并行写入功能以及丰富的查询功能是MongoDB的亮点，
对于实时分析、logging、全文搜索这样的场景是合适的选择。
3：Mongodb的内存映射文件机制以及schema-free的特点，让我们可以保持高速添加数据，不用担心数据库会出现堵塞。
4：MongoDB支持非常丰富的查询功能。几乎常用的SQL功能在它里面都有相应的 ...
MongoDB对MySQL常用的SQL语句对应的实现
——————————————
MySQL:
SELECT * FROM user
Mongo:
db.user.find()
——————————————
MySQl:
SELECT * FROM user WHERE name = 'foobar'
Mongo:
db.user.find({ 'name' : 'foobar' })
——————————————
MySql:
INSERT INTO user ('name','age') VALUES ('foobar',25)
Mongo:
db.user.insert({ ...
1:下载Django-1.1.1
2:解压到C:/Python26目录下
3：控制台切换到C:/Python26/Django-1.1.1
运行：python setup.py install
4:Django安装完成。
5：把C:\Python26\Scripts加入环境变量PATH中
先安装setuptools-0.6c11.tar.gz
1：解压到C:/Python26目录下
2：控制台切换到C:/Python26/Django-1.1.1
运行：python setup.py install
安装MySQL-python-1.2.3c1.tar.gz
1：解压到C:/Python2 ...
使用python脚本访问PostgresSQL
需要安装驱动程序
在windows下安装 psycopg2-2.2.2.win32-py2.6-pg9.0.1-release.exe 就可以了
在liunx 下也很简单，下载个 psycopg2-2.2.2.tar.gz
tar zxf psycopg2-2.2.2.tar.gz
cd psycopg2-2.2.2
python setup.py install
如果报错，就按照报错信息安装缺失的包就可以了。
编写python脚本时,找开头写上:
import psycopg2
就可以了.
举个例子:
pgconn.py
import p ...
Oracle 创建索引分区
一 本地索引
1.普通索引
SQL > CREATE INDEX INDEX_NAME ON TABLE (COLUMN)
local
(
partition part_idx_01 tablespace index_space01,
partition part_idx_02 tablespace index_space02,
partition part_idx_03 tablespace index_space03
)
2.唯一索引 如:主键
SQL > CREATE UNIQUE ...
Red Hat Enterprise Linux Server release 5.3 (Tikanga) 安装
Oracle 10g database
步骤1：
修改几个文件
1:
root@localhost ~]# vi /etc/redhat-release
Red Hat Enterprise Linux Server release 5.3 (Tikanga)
修改为：
Red Hat Enterprise Linux AS release 4 (Nahant Update 4)
2:
修改文件
[root@localhost ~]# vi /etc/sysct ...
先决条件：
要求Java 版本》= 1.6
步驟一：
* tar -zxvf apache-cassandra-$VERSION.tar.gz
* cd apache-cassandra-$VERSION
* sudo mkdir -p /var/log/cassandra
* sudo chown -R `whoami` /var/log/cassandra
* sudo mkdir -p /var/lib/cassandra
* sudo chown -R `whoami` /var/lib/cassandra
注意：
conf/文件夹中的配置文件可以设置Cassa ...
分析数据，采用什么样的分析方法呢？
一般来说，会有以下几种分类方法：
问题类型一：定类变量
【交叉关联表】
卡方检验
Phi0检验
Kappa系数
Likelihood ratio拟然比
Contingency coefficient 列联相关系数
【非参数检验】
卡方检验
Binominal二项分布检验
问题类型二：定序变量
【频数】
中位
四分位数
【交叉列联表】
斯皮尔曼关系数
【非参数检验】
问题类型三：定距变量
平均值
标准差
皮尔逊相关系数
T检验
ANOVA方差分析
MANOVA多元方差分析
因素分析
回归
问题类型四：
差异系数（CFVAR）
CFVAR=SD/M
命令一：df
通过这个命令可以查看磁盘的使用情况以及文件系统被挂载的位置
[root@localhost mongodb]# df -lh
Filesystem容量 已用 可用 已用% 挂载点
/dev/hda8**G 6.0G 4.4G 58% /
/dev/shm ***M 0 ***M 0% /dev/shm
/dev/sda1**G 22G 35G 39% /mnt/sda1
从中可以看到,系统安装在/dev/hda8 ；
还有一个56G的磁盘分区/dev/sda1挂载在 /mnt/sda1中
命令二：fdisk
通过-l 参数，能获得机器中所有的硬盘的分区情况
（包括机器 ...
os.system(command)
os.system(”ls -l”)，就可以看到”ls”列出了当前目录下的文件
shell常用的命令在python中通常有对应的写法。
ls
python:os.listdir(dirname)
cp
shutil.copy(src,dest)，这个函数有两个参数，参数src是指源文件的名字，参数dest则是目标文件或 者目标目录的名字。
如果dest是一个目录名，就会在那个目录下创建一个相同名字的文件。
与shutil.copy函数相类似的是 shutil.copy2(src,dest)，不过copy2还会复制最后存取时间和最后更新时间。
不过，she ...
单机安装MongoDB集群
英文链接：
http://www.mongodb.org/display/DOCS/A+Sample+Configuration+Session
如果安装mongodb，请参考http://chakey.iteye.com/blog/802336
在单个服务器上，安装2个shards（shard:通常的datanode,这里也可以是一个目录），1个config db 和 一个mongos处理器。
步骤一：创建Shard
首先要启动两个mongod服务
$ mkdir /data/db/a /data/db/b
$ ./mongod --shardsvr --db ...
mahout使用：
步骤一：tar -xvf mahout-0.3.tar.gz需要指定hadoop的路径和配置文件的路径export HADOOP_HOME=/home/hadoopuser/hadoop-0.19.2 export HADOOP_CONF_DIR=/home/hadoopuser/hadoop-0.19.2/conf
步骤二：通过这个命令可以查看mahout提供了哪些算法,以及如何 ...
更改hostname
- 博客分类：
- Linux
更改hosts
1 sudo vi /etc/hosts
2 sudo vi /etc/sysconfig/network
3 hostname -v newhostname