see_you_again
- 浏览: 155326 次
-
最新评论
-
zhou9629：
spring redis 整合 -
see_you_again：
回复一楼：我也只是初学
spark使用logback+slf4j 替换log4j+slf4j -
wu_shao_jie：
嗨，我在用spark-submit命令提交作业的时候，应用程序 ...
spark使用logback+slf4j 替换log4j+slf4j -
zhangfc682：
引用
Eclipse代码模板
文章列表
[置顶] 收藏的博客及网站
- 博客分类：
- 知识点收集
1. http://gary0416.iteye.com/
2.http://www.lupaworld.com/portal.php?mod=list&catid=586 业界资讯
3.http://www.lupaworld.com/article-258417-1.html 教程开源
4.http://www.lupaworld.com/home.php?mod=space&uid=22802&do=blog&view=me&from=space&page=2 文章不错
5.15个Android通用流行框架大全 http://www. ...
笔记汇总
1. Zookeeper用于集群主备切换。
2. YARN让集群具备更好的扩展性。
3. Spark没有存储能力。
4. Spark的Master负责集群的资源管理，Slave用于执行计算任务。
5. Hadoop从2.x开始，把存储和计算分离开来，形成两个相对独立的子 ...
异常、堆内存溢出、OOM的几种情况
- 博客分类：
- 知识点
1、堆内存溢出
【情况一】： java.lang.OutOfMemoryError: Java heap space：这种是java堆内存不够，一个原因是真不够，另一个原因是程序中有死循环； 如果是java堆内存不够的话，可以通过调整JVM下面的配置来解决： < jvm-arg>-Xms3062m < / jvm-arg> < jvm-arg>-Xmx3062m < / jvm-arg> 【情况二】 java.lang.OutOfMemoryError: GC overhead limit exceeded 【解释 ...
-D set a systemproperty(设置系统属性)
可通过语句System.getProperties().list(System.out);查看有哪些参数可以设置。
可设置的参数:
-- listing properties --java.runtime.name=Java(TM) 2 Runtime Environment, Stand...sun.boot.library.path=C:\Program Files\Java\jre1.5.0_08\binjava.vm.version=1.5.0_08-b03java.vm.vendor=Sun Microsyst ...
测试java多线程CPU占用率
- 博客分类：
- demo
public class App {
public static void main(String[] args) {
int num = args[0].toString()==null?1:Integer.parseInt(args[0].toString()) ;
System.out.println("args[0] is "+num);
ExecutorService cachedThreadPool = Executors.newFixedThreadPool(num);
...
模式匹配case class
- 博客分类：
- Scala
match表达式
// 正则匹配
val pattern = "([0-9]+) ([a-z]+)".r;
"741258933 hadoop" match {
case pattern(num,item) => println(num+":"+item)
}
输出结果：741258933:hadoop
数组匹配
def match_array(arr:Any) = arr match{
case Array(0) => println("Ar ...
hiveSQL执行详细流程
- 博客分类：
- 大数据
1、提交sql 交给驱动
2、驱动编译解析相关的字段表信息
3、去metastore查询相关的信息返回字段表信息
4、编译返回信息 发给驱动
5、驱动发送一个执行计划交给执行引擎
6.1、DDLs 对数据库表的操作的直接和metastore交互
create table t1(name string);
6.1、把job交给job tracker 让task tracker执行 返回执行信息
6.2、完成job返回数据信息、找namenode查数据
6.3、namenode交互
select count(1) from t1;
6.1、dfs ops 直接和直接去数据
...
使用tomcat启动solr
- 博客分类：
- 大数据
windows或者linux服务器下部署
第一步
建立一个solr的运行目录
例如：D:\solr-tomcat
将下载的solr-4.10.4中的solr-4.10.4\example目录下的solr文件夹拷贝到D:\solr-tomcat目录下
第二步
建立JNDI文件
在tomcat的conf\Catalina\localhost目录下建立文件solr.xml
<Context path="/solr" docBase="D:\apache-tomcat-8.0.15\solr.war">
<Environme ...
bin/hdfs dfs命令
appendToFile
Usage: hdfs dfs -appendToFile <localsrc> ... <dst>
追加一个或者多个文件到hdfs制定文件中.也可以从命令行读取输入.
<!--[if !supportLists]-->· <!--[endif]-->hdfs dfs -appendToFile localfile /user/hadoop/hadoopfile
<!--[if !supportLists]-->· <!--[e ...
下面按类别列出一些ORACLE用户常用数据字典的查询使用方法。 1、用户 查看当前用户的缺省表空间 SQL>select username,default_tablespace from user_users; 查看当前用户的角色
Linux 下zip包的压缩与解压
- 博客分类：
- OS
linux zip 命令详解 功能说明：压缩文件。 语 法：zip [-AcdDfFghjJKlLmoqrSTuvVwXyz$][-b <工作目录>][-ll][-n <字尾字符串>][-t <日期时间>][-<压缩效率>][压缩文件][文件...][-i <范本样式>][-x <范本样式>] 补充说明：zi ...
2017 年你不能错过的 Java 类库
- 博客分类：
- 知识点收集
因为内容非常好，我便将它整理成参考列表分享给大家， 同时附上各个库的特性简介和示例。
请欣赏！
Guice
Guice (发音同 ‘juice’) ，是一个 Google 开发的轻量级依赖性注入框架，适合 Java 6 以上的版本。
# Typical dependency injection
public class DatabaseTransactionLogProvider implements Provider<TransactionLog> {
@Inject Connection connection;
public TransactionLo ...
TcpTimedWaitDelay
- 博客分类：
- OS
TcpTimedWaitDelay
由于等待时间太长，导致端口大量被占用，影响并发数。
Data type
Range
Default value
REG_DWORD
0x1E 0x12C ( 30–300 seconds )
0xF0 ( 240 seconds = 4 minutes )
描述
from：http://blog.sina.com.cn/s/blog_5eb210c50100gq7m.html
每个块都有一个块首部。这个块首部中有一个事务表。事务表中会建立一些条目来描述哪些事务将块上的哪些行/元素锁定。这个事务表的初始大小由对象的INITRANS 设置指定。对于表，这个值默认为2（索引的INITRANS 也默认为2）。事务表会根据需要动态扩展，最大达到MAXTRANS 个条目（假设块上有足够的自由空间）。所分配的每个事务条目需要占用块首部中的23～24 字节的存储空间。注意，对于Oracle 10g，MAXTRANS 则会忽略，所有段的MAXTRANS 都是25 ...