ximeng1234
- 浏览: 168360 次
-
最新评论
-
西巴拉古呀那：
基于Spring Boot框架企业级应用系统开发全面实战网盘地 ...
使用 Spring Boot 快速构建 Spring 框架应用 -
小灯笼：
基于Spring Boot框架企业级应用系统开发全面实战网盘地 ...
使用 Spring Boot 快速构建 Spring 框架应用 -
ximeng1234：
spark spark-1.6.1-bin-hadoop2.6 ...
Spark On YARN 环境搭建
文章列表
字符集和编码
字节序
I/O方式
内存
磁盘
线程/同步/异步
数据特点
字符集和编码
为什么要考虑文件的编码？ 当你将文件从阿拉伯传到中国，告诉你的中国朋友要进行一个外部排序，你的中国朋友也许会傻：
上面是什么？乱码. 你也可以这样体验乱码：
echo "数" > t.txt
iconv -f UTF-8 -t UNICODE t.txt
��pe
好了，你知道了如果不知道文件的编码，你可能会解析到乱码.
字符集是什么？
charset - > char-set，字符的集合.比如UNICODE、ASCII
...
大文件，5亿整数，怎么排？
- 博客分类：
- Java基础
文章转自 ：http://blog.csdn.net/gsky1986/article/details/46499529
问题
给你1个文件bigdata，大小4663M，5亿个数，文件中的数据随机,如下一行一个整数：
6196302
3557681
6121580
2039345
2095006
1746773
7934312
2016371
7123302
8790171
2966901
...
7005375
现在要对这个文件进行排序，怎么搞？
内部排序
先尝试内排，选2种排序方式：
3路快排：
private final i ...
java.util.BitSet 分析
- 博客分类：
- Java基础
我们知道bit-map在大数据处理方面有着很大的用途，比如排序，去重等。
JDK 从1.0开始就提供了 java.util.BitSet 来对bit-map的支持。BitSet的set，get操作主要是通过 “位运算” 进行的。
BitSet的核心是一个 long的数组：
[java] view plaincopy
/*
* BitSets are packed into arrays of "words." Currently a word is
* a long, which consists of 64 bits ...
1.什么是视图？
视图是由查询结果形成的一张虚拟表。
2.什么时候要用到视图？
如果某个查询结果出现的非常频繁，也就是，要经常拿这个查询结果来做子查询
3.视图的创建语法：
create view 视图名 as select 语句;
4.使用 ...
文章转自：http://www.cnblogs.com/wangtao_20/p/3504395.html
整理这篇文章的缘由：
互联网应用会频繁加功能，修改需求。那么表结构也会经常修改，加字段，加索引。在线直接在生产环境的表中修改表结构,对用户使用网站是有影响。 ...
shutDown() 当线程池调用该方法时,线程池的状态则立刻变成SHUTDOWN状态。此时，则不能再往线程池中添加任何任务，否则将会抛出 RejectedExecutionException异常。但是，此时线程池不会立刻退出，直到添加到线程池中的任务都已经处理完成，才会退出。 shutdownNow() 根据JDK文档描述，大致意思是：执行该方法，线程池的状态立刻变成STOP状态，并试图停止所有正在执行的线程，不再处理还在池队列中等待的任务，当然，它会返回那些未执行的任务。 它试图终止线程的方法是通过调用Thread.interrupt() ...
进程可创建的最大线程数
- 博客分类：
- 科普专栏
最大线程数
限制该值的因素：
线程堆栈大小——》进程的最大内存——》操作系统位数
linux线程
查看默认的线程栈大小
ulimit -a
调整栈大小
ulimit -s
是否存在硬限制， /proc/sys/kernel/threads-max是否为硬限制 ...
用GemFire做Mybatis二级缓存
- 博客分类：
- 分布式内存技术
转自：http://blog.sina.com.cn/s/blog_72ef7bea0101basm.html
MyBatis支持第三方二级缓存实现，目前支持Ehcache、Hazelcast和OSCache。
GemFire不在支持的范围，但是可以通过实现org.apache.ibatis.cache.Cache接口来使用。
1、设置MyBatis的Cache全局使用开关：默认是true，如果它配成false，其余各个Mapper XML文件配成支持cache也没用。
<settings>
<setting name="cac ...
转自：http://blog.csdn.net/iihero/article/details/7385641
网址: http://www.hazelcast.com/。
下边是它的宣传内容：hazelcast是一个开放源码集群和高度可扩展的数据分发平台，这是为Java：1. 快如闪电;数以千计的运算/秒。2. 故障安全;崩溃后没有丢失数据。3. 作为新服务器的动态调整 。4. 超级简单的使用 ，包括一个单独的jar。Hazelcast与各种分布式数据结构，分布式缓存功能，弹性的性质，memcache的支持，与Spring和Hibernate的集成，更重要的是这么多的快乐用户，是功能 ...
mysql load操作
- 博客分类：
- Mysql
load的语法
LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name.txt'
[REPLACE | IGNORE]
INTO TABLE tbl_name
[FIELDS
[TERMINATED BY 'string']
[[OPTIONALLY] ENCLOSED BY 'char']
[ESCAPED BY 'char' ]
]
[LINES
[STARTING BY 'string ...
如果细节决定成败，那么什么决定细节
- 博客分类：
- 科普专栏
近日，应邀为国家电网供电公司的领导干部进行培训，讲座的题目是《细节决定成败，什么决定细节？》与其说是一次讲座，其实更是一种“竞标”，因为对于国网供电公司而言，他们是想通过“讲座比稿”来决定后面的国网班组文化建设的项目交给谁。
我们看到的《细节决定成败》等大量书籍，都从声称“魔鬼藏在细节中”，但是很多人，只是看到了细节，却没有发现细节中的魔鬼！没有“魔鬼”这一灵魂，所谓的“细节”只是一个海市蜃楼的空壳。
按照“错层”的思路想来，只有错开表层，才能发现本质。细节肯定是外在表现，那么，到底是什么细节?又是什么决定细节呢?
“细 节决定成败”已经成为一句流 ...
创建一个新的Mysql实例
- 博客分类：
- Mysql
1.拷贝一份mysql
mv mysql mysq3310
2.修改my.conf
[mysqld]basedir = /usr/local/mysql3312datadir = /data/mysql/3312port = 3312server_id = 271712socket = /tmp/mysql_3312.sock
3.创建data目录
mkdir /data/mysql/3312
4.初始化
scripts/mysql_install_db --basedir=/usr/local/mysql3312/ --datadir=/data/my ...
时间:2015-04-29 14:40来源:blog.csdn.net 作者:freewebsys的专栏
1，关于FastDFS
摘自：http://www.oschina.net/p/fastdfs FastDFS是一个开源的分布式文件系统，她对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。
FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。
存储节点存 ...
目前FastDFS支持类Unix系统，在Linux和FreeBSD下测试过，本文使用的是CentOS5.5，建议安装之前先了解一下FastDFS的原理，这对后面配置部分有帮助。http://lxsym.blog.51cto.com/1364623/744826 一、安装libevent FastDFS 内部绑定了 libevent 作为 http 服务器 ，在V2.X版本必须安装 libevent，本文安装的是V2.2版本，因此必须安装libevent。 如果已经安装了 libevent，请确认安装路径是 /usr ， 因为 FastDFS 在编译源程序时，需要到此目录下 ...
文章来自：http://lxsym.blog.51cto.com/1364623/744826/
1、FastDFS是什么 FastDFS是一个开源的轻量级分布式文件系统，纯C实现，支持Linux、FreeBSD等UNIX系统，FastDFS可以看做是基于文件的key value pair存储系统。 FastDFS有两个角色 ...