cloudeagle
- 浏览: 112606 次
- 性别:
- 来自: 合肥
-
最新评论
文章列表
进程，轻量级进程，内核线程，用户线程的区别关系
在现代操作系统中，进程支持多线程。进程是资源管理的最小单元；而线程是程序执行的最小单元。一个进程的组成实体可以分为两大部分：线程集合资源集。进程中的线程 ...
- 2014-05-22 22:23
- 浏览 431
- 评论(0)
转自http://col1.blog.163.com/blog/static/1909775192012719114033352/
1 .内核级线程:切换由内核控制，当线程进行切换的时候，由用户态转化为内核态。切换完毕要从内核态返回用户态；可以很好的利用smp，即利用多核cpu。windows线程就是这样的。
2. 用户级线程内核的切换由用户态程序自己控制内核切换,不需要内核干涉，少了进出内核态的消耗，但不能很好的利用多核Cpu,目前Linux pthread大体是这么做的。
线程的实现可以分为两类：用户级线程(User-Level Thread)和内 ...
- 2014-05-22 22:01
- 浏览 483
- 评论(0)
转自: http://blog.sciencenet.cn/blog-453771-428323.html
Wikipedia（http://en.wikipedia.org/wiki/Main_Page）也就是维基百科是当前最有名的百科类网站，分门别类的以词条的方式详细介绍某个概念的历史、定义、发展和背景，大略来讲可以把它理解成为一本大词典。对于科研工作者而言，很多时候突然看到一个新的term，但是不明其意，或者理解它的含义，但不知道它属于哪个研究研究领域，和其他概念间有什么联系，这时wikipedia可以给你最好的介绍，并帮你在较短的时间内搭建起有关某个新领域学科的知识框架。当然有教材时， ...
- 2014-05-18 17:16
- 浏览 538
- 评论(0)
mount -l和df -h到底有何区别呢?
[liuqiang2@mu02 ~]$ mount -l
/dev/sda3 on / type ext4 (rw)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
devpts on /dev/pts type devpts (rw,gid=5,mode=620)
tmpfs on /dev/shm type tmpfs (rw)
/dev/sda1 on /boot type ext4 (rw)
none on /proc/sys/fs/binfmt_mi ...
- 2014-05-18 15:24
- 浏览 1105
- 评论(0)
系统结构
ASPLOS
ISCA
Micro HPCA
系统
ASPLOS
SOSP
OSDI
USENIX ATC
EuroSys
SoCC
Super Computing
HPDC
SC
ISC
分布式系统
PODC
Middleware
NSDI
ICDCS
虚拟机
VEE
编程与管理
PLDI
PPoPP
LISA
Dependability
DSN
SRDS
ISSRE
数据管理
FAST
SIGMOD
VLDB
SoCC
性能评价、应 ...
- 2014-05-16 22:31
- 浏览 432
- 评论(0)
转自;http://www.quora.com/How-does-YARN-compare-to-Mesos
Both systems have the same goal: allowing you to share a large cluster of machines between different frameworks.For those who don't know, NextGen MapReduce is a project to factor the existing MapReduce into a generic layer that handles distribut ...
- 2014-04-22 11:36
- 浏览 346
- 评论(0)
1.JobClient调用FileInputFormat.getSplits()，如果数据文件是isSplitable()的话，会将大的文件分解成小的FileSplit,记录文件
在HDFS里的路径及偏移量和Split大小。这些信息会统一打包到jobFile的jar中。
2.JobClient然后使用submitJob(job)方法向master提 ...
- 2014-04-11 20:01
- 浏览 514
- 评论(0)
转载自过往记忆（http://www.iteblog.com/）
本文链接地址:《操作系统级别对Hadoop性能优化》（http://www.iteblog.com/archives/1004）
由于Hadoop自身的一些特点，它只适合用于将Linux作为操作系统的生产环境。在实际应用场景中，管理员适当对Linux内核参数进行调优，可在一定程度上提高作业的运行效率，比较有用的调整选项如下。
一、增大同时打开的文件描述符和网络连接上限
- 2014-04-08 20:04
- 浏览 458
- 评论(0)
load_one
每分钟的系统平均负载
load_fifteen 每15分钟的系统平均负载
load_five 每5分钟的系统平均负载
boottime 系统启动时间，精确到秒
bytes_in 网络接收速度，单位bytes/sec
bytes_out 网络发送速度，单位bytes/sec
cpu_aidle 启动的空 ...
- 2014-04-01 16:47
- 浏览 619
- 评论(0)
转自:http://www.iteblog.com/archives/851
最近发现自己收集到的Hadoop学习资料有很多本，想想放在那里也浪费，所以觉得贴出来给大家分享，需要的可以去我CSDN里面下载，保证全部资源免费下载！这里面很多英文的资料。
1、《Hadoop技术内幕：深入解析Hadoop
Common和HDFS》下载地址：http://download.csdn.net/detail/w397090770/6643259。
2、《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》下载地址：http://download.csdn.net ...
- 2014-03-27 10:54
- 浏览 395
- 评论(0)
一般都是这种形式，YARN_OPTS="$YARN_OPTS $YARN_CLIENT_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,address=8792,server=y,suspend=y "
但是MRMaster不知道加在哪里，查看了封神的博客后，恍然大悟，
http://fengshenwu.com/blog/tag/hadoop2yarn/
AM需要在配置文件mapred-site.xml配置：
<property>
<name>yarn.app.mapreduce.am ...
- 2014-03-23 17:00
- 浏览 486
- 评论(0)
[liuqiang@localhost src]$ pwd
/home/liuqiang/workspace/ProtoTest/src
[liuqiang@localhost src]$ protoc --java_out=/home/liuqiang/workspace/ProtoTest/src yarn_protos.proto
即生成org目录:
[liuqiang@localhost src]$ ll
total 32
drwxrwxr-x 3 liuqiang liuqiang 4096 Apr 26 18:50 org
-rw-rw-r-- 1 liuqian ...
- 2014-03-22 10:17
- 浏览 440
- 评论(0)
安装Maven
不要使用最新的Maven 3.1.1。Hadoop 2.2.0的源码与Maven3.x存在兼容性问题，所以会出现
java.lang.NoClassDefFoundError: org/sonatype/aether/graph/DependencyFilter
之类的错误。
安装 Maven 3.0.5
$ wget http://mirror.esocc.com/apache/maven/maven-3/3.0.5/binaries/apache-maven-3.0.5-bin.tar.gz
$ sudo tar zxf apache-maven- ...
- 2014-03-21 21:36
- 浏览 430
- 评论(0)
crontab -e
* 22 * * * ifdown eth1 //22点关闭网卡
[root@mu02 ~]# crontab -l
* 22 * * * ifdown eth1
重启crond服务: service crond restart
查看cron日志:cat /var/log/cron
- 2014-03-18 21:27
- 浏览 421
- 评论(0)
这里要把握好两条主线:
1. ApplicationMasterService
通过重载ApplicationMasterProtocol的AllocateResponse allocate(AllocateRequest request)方法实现了AppMaster的远程资源请求，同时
也是兼具心跳作用。
AllocateResponse allocate(AllocateRequest request){
... // Send new requests to appAttempt.
Allocation allocation =
this.rSc ...
- 2014-03-18 17:41
- 浏览 513
- 评论(0)