sxyqhyt
- 浏览: 79374 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
Mq安装
wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.0/rabbitmq-server-3.6.0-1.noarch.rpm
wget http://erlang.org/download/otp_src_17.0.tar.gz
yum -y install make ncurses-devel gcc gcc-c++ unixODBC unixODBC-devel openssl openssl-devel
./configure --prefix=/usr/local/erlang --ena ...
package ceshi
import java.io.IOException
import java.util
import java.util.{Random, UUID}
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.hbase.HBaseConfiguration
import org.apache.hadoop.hbase.client._
import org.apache.hadoop.hbase.mapreduce.TableInputFormat
import ...
节点断开时间过长处理方法：
[root@slave1 ~]# /etc/init.d/cloudera-scm-agent status
cloudera-scm-agent dead but pid file exists
[root@slave1 ~]# service httpd status
httpd is stopped
[root@slave1 ~]# service httpd restart
Stopping httpd: [FAILED]
Starting ...
1、安装pip
wget https://pypi.python.org/packages/7e/71/3c6ece07a9a885650aa6607b0ebfdf6fc9a3ef8691c44b5e724e4eee7bf2/pip-7.1.0.tar.gz --no-check-certificate
tar -zxvf pip-7.1.0.tar.gz
cd pip-7.1.0
python setup.py install
2、修改pip文件
cd /usr/bin/
把pip2.7修改为pip2.7
#!/usr/bin/python
# EASY-INSTAL ...
wget https://pypi.python.org/packages/source/d/distribute/distribute-0.7.3.zip --no-check-certificate unzip distribute-0.7.3.zip cd distribute-0.7.3 python2.7 setup.py install
1、现在tar包
http://www.python.org/ftp/python/2.7.3/Python-2.7.3.tgz
2、解压，安装
tar -zxvf Python-2.7.3.tgz
建立安装目录
mkdir /usr/local/python2.7.3
编译、安装
cd Python-2.7.3
./configure --prefix=/usr/local/python2.7.3
make
make install
3、将原来/usr/bin/python链接改为别的名字
mv /us ...
1、count命令
hbase(main):001:0> count 'mobile_info'
hbase(main):001:0> count 'mobile_info',INTERVAL=2000
//INTERVAL：行数间隔
2、hbase自带的mapreduce
-bash-4.1# hbase org.apache.hadoop.hbase.mapreduce.RowCounter 'mobile_info'
转 http://www.cnblogs.com/iforever/p/4061095.html
http://www.sxrczx.com/pages/my.oschina.net/853294317/blog/296594.html
在 http://gfortran.meteodat.ch/download/x86_64/nightlies/gcc-trunk.tar.xz 下载 gfortran
wget http://gfortran.meteodat.ch/download/x86_64/nightlies/gcc-trunk.tar.xz
xz -d gcc-trunk.tar.xz
tar -zxvf gcc-trunk.tar
把gcc-trunk文件移动到opt下面
mv gcc-trunk /opt
新建文件f.sh
if [ -z "$LD_LI ...
1、编辑器修改fileEncoding
File->settings->Editor->File Encoding
IDE Encoding和Project Encoding修改为UTF-8
2、IDEA窗口乱码修改
linux系统增加中文字体（见上一篇文章）
在IDEA中，进入File->settings->Appearance & Behavior->Appearance
在右边勾选上“Override default fonts by”，并在Name中选择字体SumSun字体，保存，就可以显示中文了。
1、下载中文字体
2、查看当前系统中已经安装的字体 fc-list :lang=zh
3、在/usr/share/fonts/建立目录truetype,复制字体到/usr/share/fonts/truetype
4、生成字体索引信息
[root@master truetype]# mkfontscale [root@master truetype]# mkfontdir
[root@master truetype]# lltotal 10264-rw-r--r--. 1 root root 189 Nov 9 09:27 fonts.dir-rw-r--r--. 1 ...
package com.chexun.statistic
import java.sql.{Connection, DriverManager}
import java.util.Date
import com.chexun.statistic.RealTimeAdv._
import kafka.serializer.StringDecoder
import org.apache.commons.lang.time.DateFormatUtils
import org.apache.spark.streaming.kafka.KafkaUtils
impo ...
import java.sql.{Connection, ResultSet}
import com.jolbox.bonecp.{BoneCP, BoneCPConfig}
import org.slf4j.LoggerFactory
object ConnectionPool {
val logger = LoggerFactory.getLogger(this.getClass)
private val connectionPool = {
try{
Class.forName("com.mysql.jdbc.Driver&q ...
当用java -jar chexun.jar来运行一个应用程序时，会找不到第三方的jar包。实际上当使用-jar参数运行时，JVM会屏蔽所有的外部classpath，而只以内部的class作为类的寻找范围。
解决方法：BootStrap class扩展方案
java -Xbootclasspath/a: /usrhome/thirdlib.jar: -jar yourJarExe.jar
例如：
java -Xbootclasspath/a:./lib/mysql-connector-java-5.1 ...
1、在spark-default.conf中增加：spark.eventLog.enabled truespark.eventLog.dir hdfs://10.0.0.37:9000/sparklogsspark.eventLog.compress true
2、在spark-env.sh中增加：
export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://10.0.0.37:9000 ...