blueheart2008
- 浏览: 40450 次
- 性别:
- 来自: 杭州
-
最新评论
文章列表
Unsupported IClasspathEntry kind=4
这个异常会导致项目无法使用eclipse4.2的maven功能，我升级了maven的版本还是不行
英文解释如下：
Please see https://bugs.eclipse.org/bugs/show_bug.cgi?id=374332#c14
The problem is caused by the fact that the STS (the Spring IDE/Eclipse) uses the m2e(clipse) plugin but that eclipse:eclipse has ...
使用安装了m2eclipse插件的eclipse导入maven工程后，pom.xml开始位置报：Missing artifact com.sun:tools:jar:1.5.0错误，不算是个大问题，但是这个错误会block eclipse build maven工程，关于这个问题有两种解决方法：
方法一：
在eclipse安装目录下找到eclipse.ini文件，在-vmargs参数上面追加vm参数，以下是一个例子：
-vmD:\Java\jdk1.6.0_37\bin\javaw.exe
关于eclipse.ini文件的说明和-vm参数的设置可参考：http://wiki ...
环境：cygwin+hadoop1.0.4+ant1.9+jdk1.6+win7
其它过程我不再说明，google下都有了，只是在使用ant eclipse过程中，出现如下错误：
我在cygwin里使用ant eclipse构建hadoop1.0.4的时候出现如下错误，大家帮忙看看。create-native-configure:
BUILD FAILED
D:\hadoop\hadoop1.0\build.xml:618: Execute failed: java.io.IOException: Cannot r ...
hive基本命令
- 博客分类：
- hadoop hive
创建表：hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the first being an integer and the other a string
创建一个新表，结构与其他一样hive> create table new_table like records;
创建分区表：hive> create table logs(ts bigint,line string) partitioned by (dt Str ...
hive指南（二）
- 博客分类：
- hadoop hive
内置的操作符和功能
内置操作符
关系操作符 - 下列操作通过比较操作数并生成一个TRUE或FALSE值。
A=B
A!=B
A<B
A<=B
A>B
A>=B
A IS NULL
A IS NOT NULL
A LIKE B strings
A RLIKE B strings
A REGEXPＢ strings
算术操作符
A + B all number types
A - B all number types
A * B all number t ...
hive指南（一）
- 博客分类：
- hadoop hive
Hive指南
概念
什么是Hive
Hive是一个基于Hadoop的数据仓库基础架构。Hadoop为在普通的硬件环境上数据的存储和处理提供了巨大的水平扩展能力和容错能力。
Hive被设计用来更容易进行数据汇总，临时查询和分析巨大的数据。它提供一个简单的查询语言Hive QL，基于SQL使用用户熟悉的SQL做临时查询、统计和数据分析更容易。同时，Hive QL也允许传统的map/reduce程序员能够插入他们自定义的mappers和reducers做更多复杂的分析，这些功能可能HQL内置功能并不支持。
Hive不是什么
...
1.install mysql
yum install mysql
yum install mysql-server
yum install mysql-devel
chgrp -R mysql /var/lib/mysql
chmod -R 770 /var/lib/mysql
service mysqld start
mysql
SET PASSWORD FOR 'root'@'localhost' = PASSWORD('secret_password');
2.安装hive
1，下载w ...
Procedure
Login as the root user
Type the following command to install ntp# yum install ntpTurn on service# chkconfig ntpd onSynchronize the system clock with 0.pool.ntp.org server:# ntpdate pool.ntp.orgStart the NTP:
First, make a backup of the existing localtime file. It’s always good practice to make backups of original config files.
mv /etc/localtime /etc/localtime.bak
Next, create the link:
ln -s /usr/share/zoneinfo/America/Chicago /etc/localtime
Home | Mirror | Search
0
CentOS 6.3 + nginx-1.2.5 + php-5.4.9 + MySQL-5.5.28
摘要
在工作中，需要经常为新系统安装软件，重复而简单，但又不得不作，我将过去几年中工作中临时写的脚本这里了一下，能够实现半自动化安装标本，只需要Ctrl+C, Ctrl+V 快速粘贴复制，即可快速完成安装
目录
1. CentOS 6.3 64bit Minior 安装后 新机初始化常用软件包安装
1.1. /etc/resolv.c ...
centos 6.3命令行网络设置
- 博客分类：
- linux
centos 6版本操作系统默认是没有设置网络配置，需要在启动后自行配置网络：
动态地址模式(DHCP)
1.检查网络ip a
ip a
2.修改/etc/sysconfig/networking-scripts下的ifcfg-eth0
DEVICE="eth0"
HWADDR="00:22:19:09:4D:3C"
NM_CONTROLLED="yes"
ONBOOT="no"
如下：
DEVICE="eth0"
...
环境准备：
ESXi下的三台虚机
ip:172.16.80.15/16/17
os:centos 6.3
1cpu/2g内存/200G虚拟硬盘
配置hosts文件
主机名及hosts设置
172.16.80.15 设置主机名:hadoop1 172.16.80.16 设置主机名:hadoop2 172.16.80.17 设置主机名:hadoop3
三台主机/etc/hosts文件增加以下内容
172.16.80.15 hadoop1 172.16.80.16 hadoop2 172.16.80.17 ha ...
consistent hashing 算法早在 1997 年就在论文 Consistent hashing and random trees 中被提出，目前在 cache 系统中应用越来越广泛；
1 基本场景
比如你有 N 个 cache 服务器（后面简称 cache ），那么如何将一个对象 object 映射到 N 个 cache 上呢，你很可能会采用类似下面的通用方法计算 object 的 hash 值，然后均匀的映射到到 N 个 cache ；
hash(object)%N
一切都运行正常，再考虑如下的两种情况；
1 一个
Ruby连接MongoDB
想要在Ruby中连接MongoDB，需要使用mongo模块，该模块可以通过ruby自带的gems程序进行安装。
$ gem update --system
$ gem install mongo
$ gem install bson_ext
Mongo模块提供了Mongo::Connnection类连接MongoDB，如果不指定具体的数据库，默认情况下会创建一个持有MongoDB连接的实例，
require 'mongo'
conn = Mongo::Connection.new
puts conn.class # Mo ...
Mongodb学习笔记（三）
- 博客分类：
- MongoDB
sharding(分片功能)
手动分片：所有数据库都支持，但是需要应用程序自行维护连接、存储和查询，难以维护和处理。
自动分片：集群自动分切数据存储、查询，自行负载均衡，对所有应用都是透明。mongodb支持自动分片功能
mongodb分片的基本思想是将集合切分成小块，这些块分散到若干片里面，每个片只负责总数据的一部分，但这些对应用程序是透明的，一切由mongodb来管理。
一个分片集群构成
多个数据库集群，多个路由服务器和多个配置服务器构成
数据库复制集：每个分片 ...