username2
- 浏览: 740536 次
- 性别:
- 来自: 黑龙江
-
最新评论
-
浮生一如梦：
[b][i][u][list]
[*][img][url][f ...
字节，字节数组输入输出流ByteArrayInputStream，ByteArrayOutputStream理解 -
java_frog：
httpclient4里才有default
DefaultHttpClient使用 -
lizhenlzlz：
lizhenlzlz 写道HttpHost proxy = n ...
DefaultHttpClient使用 -
lizhenlzlz：
HttpHost proxy = new HttpHost(& ...
DefaultHttpClient使用 -
kennykinte：
methodGet()方法里
HttpPost httpGet ...
DefaultHttpClient使用
文章列表
Mysql执行计划分析：
MySQL执行计划EXPLAIN主要可以通过type来进行分析：
select_type 表示查询中每个select子句的类型（简单 OR复杂）
a.SIMPLE：查询中不包含子查询或者UNION
b.查询中若包含任何复杂的子部分 ...
StringUtils
- 博客分类：
- 工具类
字符串工具类：
package com.jusfoun.dandelion.platform.common.util;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;
/**
* 字符串工具类
* @author admin
*
*/
public class StringUtils {
public static boolean isEmpty(String str) {
return str == nu ...
# uname -a # 查看内核/操作系统/CPU信息
# head -n 1 /etc/issue # 查看操作系统版本
# cat /proc/cpuinfo # 查看CPU信息
# hostname # 查看计算机名
# lspci -tv # 列出所有PCI设备
# lsusb -tv # 列出所有USB设备
# lsmod # 列出加载的内核模块
# env # 查看环境变量资源
# free -m # 查看内存使用量和交换区使用量
# df -h # 查看各分区使用情况
# du -sh <目录名> # 查看指定目录的大小
...
python常用包和函数
- 博客分类：
- python
import os
当前目录：os.getcwd()
import getpass
当前操作用户：getpass.getuser()
from datetime import datetime
datetime.now() , datetime.datetime(2016, 8, 25, 15, 34, 12, 589632)
str(datetime.now()) 2016-08-25 15:34:36.025673
python生成器和迭代器
- 博客分类：
- python
1 for 迭代器，迭代器遇到StopIteration会结束
2 生成器 包含yield语句的函数会被特地编译成生成器 ，当函数被调用时，他们返回一个生成器对象，这个对象支持迭代器接口， 一次只产生一个对象，效率更佳
#!/usr/bin/python
# _*_ coding: UTF-8 _*_
#for 迭代器，迭代器遇到StopIteration会结束
def testFile():
for line in open("..\\txtClean.sh"):
print line
def ...
python类和类关键字的理解
- 博客分类：
- python
1 类中的方法第一个参数为self，它表示当前的类的对象
1 类的属性和对象属性
类中用两个下划线开始的标识 私有属性或方法
1）类属性，在类中直接声明的变量，变量可以直接用类名称调用 Student.cName
2）self开头的变量属于对象属性或实例属性，变量属于实例所有
2 @property ，@birth.setter @staticmethod @classmethod
3 __dict__
用对象调用则返回 对象的字典属性
用类直接调用，返回类的字典属性列表
#!/usr/bin/env python
...
解决问题方面了解import
1.如果导入的模块和主程序在同个目录下，直接import就行了
2.如果导入的模块是在主程序所在目录的子目录下，可以在子目录中增加一个空白的__init__.py文件，该文件使得python解释器将子目录整个也当成一个模块，然后直接通过“import 子目录.模块”导入即可。
3.如果导入的模块是在主程序所在目录的父目录下，则要通过修改path来解决，有两种方法：
(1)通过”import sys，sys.path.append('父目录的路径')“来改变，这种方法属于一次性的，只对当前的python解释器进程有效，关掉python重启后就失效了 ...
正则表达式使用：
常用规则：
一、常用特殊字符：
$ 匹配输入字符串的结尾位置。如果设置了 RegExp 对象的 Multiline 属性，则 $ 也匹配 ‘\n' 或 ‘\r'。要匹配 $ 字符本身，请使用 \$。
( ) 标记一个子表达式的开始和结束位置。子表达式可以获取供以后使用。要匹配这些字符，请使用 \( 和 \)。
* 匹配前面的子表达式零次或多次。要匹配 * 字符，请使用 \*。
+ 匹配前面的子表达式一次或多次。要匹配 + 字符，请使用 \+。
. 匹配除换行符 \n之外的任何单字符。要匹配 .，请使用 \。
[ ] 标记一个中括号表达式 ...
一、数学相关
1、绝对值：abs(-1)
2、最大最小值：max([1,2,3])、min([1,2,3])
3、序列长度：len('abc')、len([1,2,3])、len((1,2,3))
4、取模：divmod(5,2)//(2,1)
5、乘方：pow(2,3,4)//2**3/4
6、浮点数：round(1)//1.0
二、功能相关
1、函数是否可调 ...
spark 操作的几个步骤
1 数据关联 textFile 和 parallelize
2 转换操作（JavaRDD和JavaPairRDD他们可以通过mapToPair and flatMapToPair转换）
3 action操作，获取数据结果
一、wordcount的例子
//单词统计
public static void wordCount(JavaSparkContext ctx ){
String filePath = "e://log1.log";
JavaRDD<String> line ...
一、Spark SQL定义：Spark的一个针对结构化数据操作的一个模块
作用：
1 用SQL或者DataFrame进行结构化数据处理在Spark的程序中
2 可以处理任何数据源包括：Hive，Parquet，ORC，json, 和jdbc，甚至可以将这些数据进行join操作
3 对于Hive中已经存在的数据进行查询和UDF的处理
4 可以进行JDBC连接进行数据处理。
二、流程：
1 创建SparkConf
2 设置配置参数：conf.setAppName("appname").setMaster("local ...
一、
1 if语句使用 注意
a=1 #等号两边不能有空格
b=1
if [ $a -eq $b ];then #if后面要有空格 中括号两边最好留空格否则可能会报错
echo 11111111110 $a #字符串变量连接处理
fi
二、 中括号内，数值判断
[ INT1 -eq INT2 ] INT1和INT2两数相等返回为真 ,=
[ INT1 -ne INT2 ] INT1和INT2两数不等返回为真 ,<>
[ INT1 -gt INT2 ] INT1大于INT2返回为真 ,>
[ INT1 -ge ...
#!/bin/bash
java -Xms1g -Xmx1g -Xss250k -XX:NewRatio=4 -XX:SurvivorRatio=4 -XX:MaxPermSize=16m -XX:MaxTenuringThreshold=0 -cp logAnalyze-0.0.1-jar-with-dependencies.jar com.jusfoun.bigdata.logAnalyze.dao.HBaseJavaAPI TEST_COUNT_HBASE_SPEED2 651367 1000000
strom使用示例
- 博客分类：
- Hadoop学习笔记
strom程序开发需要几个组件
1 Topology 即程序的主要入口 main,配置文件要通过主函数加载后放到conf中，然后bolt才能拿到，./conf可以到jar包中得到配置文件。
2 Sport 程序的数据来源
3 bolt程序处理节点 ，一个程序可能n个bolt节点 。
一 Topology
import backtype.storm.Config;
import backtype.storm.LocalCluster;
import backtype.storm.StormSubmitter;
import backtype.sto ...
/**
* 枚举常量
*
*/
public class SYSTEMEnum {
//用来注册 各个系统名称
public enum JCFSYSTEM{
LOG_SYSTEM("LOG_MSG_SYSTEM"), SPARK_SYSTEM("SPARK_MSG_PLATFORM");
private final String value;
//构造器默认也只能是private, 从而保证构造函数只能在内部使用
JCFSYSTEM(St ...