username2
- 浏览: 751267 次
- 性别:
- 来自: 黑龙江
-
最新评论
-
浮生一如梦：
[b][i][u][list]
[*][img][url][f ...
字节，字节数组输入输出流ByteArrayInputStream，ByteArrayOutputStream理解 -
java_frog：
httpclient4里才有default
DefaultHttpClient使用 -
lizhenlzlz：
lizhenlzlz 写道HttpHost proxy = n ...
DefaultHttpClient使用 -
lizhenlzlz：
HttpHost proxy = new HttpHost(& ...
DefaultHttpClient使用 -
kennykinte：
methodGet()方法里
HttpPost httpGet ...
DefaultHttpClient使用
文章列表
DruidDataSource 这个数据源集成后有监控界面，对于SQL与项目的一些情况。
1 jar包
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>druid</artifactId>
<version>1.0.7</version>
</dependency>
2 spring配置
<!-- JNDI DataSource for J2EE enviro ...
1 线程池（减小线程创建的消耗）
2 synchroinzed：同一对象不同方法锁的互斥
3 reentrantLock(1 tryLock：对象是否已经被锁 2、公平锁的设置)
4 join方法：主线程等待子线程执行完毕
5 volatile：变量在不同线程间可见，通常用在开关变量和计数器变量等等
6 wait、notify、notifyAll：这些方法必须在synchronized块中调用
7 Callable、Future和FutureTask
Git :分布式代码管理库
SVN ：集中式代码管理，通过yum或rpm直接安装就好
SVN服务端两种运行方式，1）独立服务器访问 2）借助apache等http服务来搭建SVN
修改后用diff 或egrap 来检查修改的地方 。
Jenkins：自动统一 部署测试
Mysql读写分离： Amazon
数据文件远程同步：cdn 推送 ，inotify同步，resync同步
jira ：任务跟踪 ，敏捷管理
主要方法：
show status , show profile ,检查慢查询日志
# 检测执行的sql，具体那个位置比较慢
SELECT * FROM phone_sts
#数据库版本
SELECT VERSION();
#查询sql对资源的占用情况
SHOW profiles ;
#查询当前sql执行过程中的时间消耗
SHOW profile ;
SHOW profile block io,cpu FOR QUERY 31969
#检查profiling是否开启
SHOW VA ...
1 数据存储NFS系统
2 DRBD实现NFS文件高可用
3 文件读写分离，即系统实时的将文件分发到读服务器上，rsync+inotify 实现触发同步
（ 1 小图片可以处理（200-300k），单个图片过大不行，
2 总容量过大几个T可能不行，
...
1 堆：存放数据
栈：存放逻辑
2 虚拟机： 栈溢出，则栈大小设置-Xss 默认值为1M 但一般会不到200k，所以会将默认值调整小点
Java虚拟机本身：-Xms，-Xmx，-Xss；
系统限制：
/proc/sys/kernel/pid_max，
/proc/sys/kernel/thread-max，
max_user_process（ulimit -u），
/proc/sys/vm/max_map_count。
3 堆内存溢出
强引用内存泄露：new 出来的对象是基本上是强引用，这种引用申请不到内存，则内存泄露 。
...
Resin与tomcat配置调优
- 博客分类：
- 服务器
1 tomcat调优 （参数根据具体的服务器来配置）
JAVA_OPTS="-Xms512m -Xmx3500m -XX:PermSize=128m -XX:MaxPermSize=256m -Xss200k -XX:+CMSClassUnloadingEnabled -XX:+UseConcMarkSweepGC"
2 Resin 调优设置：
<server-default>
<!--堆初始大小一般与最大大小一样-->
<jvm-arg>-Xms1024m</jvm-arg ...
1 修改master的mysql ，my.cnf文件
注意以下信息必须放在mysqld下面否则不生效
#ID号， 为1时表示为Master,其中master_id必须为1到232–1之间的一个正整数值;
server-id=1
#启用二进制日志；
log-bin=mysql-bin
#需要同步的二进制数据库名；
binlog-do-db=my_test
#不同步的二进制数据库名,如果不设置可以将其注释掉;
binlog-ignore-db=information_schema
binlog-ignore-db=mysql
binl ...
grant super,reload on my_test.* to forslave@192.168.142.137 identified by '123456';
1 %与localhost使用
有些时候（有些版本）'%'不包括localhost，要单独对@'localhost'进行赋值,分别对'%'和'localhost'授权解决。
有的时候使用Grant all on db.* t ...
（1）安装编译源码需要的包
sudo apt-get install make cmake gcc g++ bison libncurses5-dev
2 解压mysql的gz包
3 tar -xvf .gz
编译配置：
cmake . -DCMAKE_INSTALL_PREFIX=/usr/local/mysql -DMYSQL_DATADIR=/usr/local/mysql/data -DSYSCONFDIR=/etc -DWITH_INNOBASE_STORAGE_ENGINE=1 -DWITH_ARCHIVE_STORAGE_ENGINE=1 -DWITH_B ...
数据处理awk命令使用
- 博客分类：
- linux
awk 是数据处理工具，他将一行数据分成多个字段来处理；
默认:
awk用空格来分割（分隔符可以自定-F）每一行数据，分割后用$N来取出分割后的每一个字段，
用NF获取一共有多少字段（一般用这个可以过滤掉一些 ...
sort与uniq,wc使用
- 博客分类：
- linux
sort 排序 -u 去除重复的行 -r降序（默认升序） 重定向输入文件
-n 按照数字排序
-t选项按照什么字符来分割 -k选项:分割后取第几个字段排序
-f 忽略大小写
-b 忽略前面的空白 ...
1 涉及到的命令：
hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
yarn-daemon.sh start resourcemanager
yarn-daemon.sh start nodemanager
yarn node -list
./hdfs dfsadmin -refreshNodes
./hdfs dfsadmin -report
hadoop job -list
hadoop job -kill jobid //停止一个正在运行的job
启动数据负 ...
MapReduce2中自定义排序分组
- 博客分类：
- Hadoop学习笔记
1 Map 、Reduce和主类
package com.wzt.mapreduce.secondsort;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
...
以下作为自己的学习记录。
1 MapReduce中数据的整个处理流程。
Map输出数据->key排序并且计算partintion->Map本地所有数据数据Combiner->
shuffle中的自定义排序->自定义分组->reduce中数据汇总
例子：
一、 自定义Combiner使用
1 自定义Combiner
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred ...