- 浏览: 1582697 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (571)
- Flex (301)
- AIR (5)
- ComPiere (8)
- ExtJS (15)
- SAP (0)
- jBPM (3)
- Java-Hibernate (5)
- Java-Spring (10)
- XML (2)
- java-web (30)
- db2 (2)
- websphere (4)
- Google (5)
- 虚拟机 (10)
- eclipse (8)
- Win2003 (11)
- Ubuntu (27)
- VMware (4)
- CentOS (3)
- JSON (1)
- Oracle (15)
- SilverLight (1)
- 大事记 (6)
- VirtualBox (5)
- Solaris (10)
- AIX (6)
- 云计算 (10)
- MacOS (4)
- iOS (1)
- SQLite (1)
- Activiti (1)
- jdk (5)
- hadoop (8)
- Ant (4)
- PhoneGap (2)
- JavaScript (11)
- jQuery (1)
- FireFox (1)
- HBase (2)
- sqoop (0)
- ffmpeg (7)
- mencode (0)
- jdbc (1)
- SQLServer (1)
- 组件平台 (12)
- struts2 (4)
- intellj (4)
- android (1)
- ExtJS4 (1)
- 色卡司 (1)
- Linux (3)
- ExtJS5 (1)
- zookeeper (2)
- maven (1)
- Java (6)
- vpn (0)
- squid (1)
- MySQL (2)
- webpackage (1)
- antd (1)
- lucene (1)
最新评论
-
qq_24800465:
请问这里的库从哪下载啊
ffmpeg所有的编码器(encoders) -
neusoft_jerry:
貌似这里没用到StreamingAMFChannel哦,只是用 ...
Flex BlazeDS 推送技术 -
anyone:
感谢你的博文,看了受益匪浅
记住这个IntelliJ IDEA的编译设置 -
keren:
现在还有什么应用需要用flex来开发的?
flex tree的展开,关闭,添加、删除子节点 -
neusoft_jerry:
简洁明快,好贴好贴!楼主V5!
flex tree的展开,关闭,添加、删除子节点
Linux文件系统参数调整:
(1) noatime 和 nodiratime属性
文件挂载时设置这两个属性可以明显提高性能。。默认情况下,Linux ext2/ext3文件系统在文件被访问、创建、修改时会记录下文件的时间戳,比如:文件创建时间、最近一次修改时间和最近一次访问时间。如果系统运行时要访问大量文件,关闭这些操作,可提升文件系统的性能。Linux 提供了 noatime 这个参数来禁止记录最近一次访问时间戳。
(2) readahead buffer
调整linux文件系统中预读缓冲区地大小,可以明显提高顺序读文件的性能。默认buffer大小为256sectors,可以增大为1024或者2408 sectors(注意,并不是越大越好)。可使用blockdev命令进行调整。
(3) 避免RAID和LVM操作
避免在TaskTracker和DataNode的机器上执行RAID和LVM操作,这通常会降低性能。
(1) noatime 和 nodiratime属性
文件挂载时设置这两个属性可以明显提高性能。。默认情况下,Linux ext2/ext3文件系统在文件被访问、创建、修改时会记录下文件的时间戳,比如:文件创建时间、最近一次修改时间和最近一次访问时间。如果系统运行时要访问大量文件,关闭这些操作,可提升文件系统的性能。Linux 提供了 noatime 这个参数来禁止记录最近一次访问时间戳。
(2) readahead buffer
调整linux文件系统中预读缓冲区地大小,可以明显提高顺序读文件的性能。默认buffer大小为256sectors,可以增大为1024或者2408 sectors(注意,并不是越大越好)。可使用blockdev命令进行调整。
(3) 避免RAID和LVM操作
避免在TaskTracker和DataNode的机器上执行RAID和LVM操作,这通常会降低性能。
发表评论
-
linux top命令使用简要
2019-03-08 08:42 501平时linux top使用的最多,这里简单记一下 PID ... -
ubuntu手动设置dns解析
2017-05-04 11:27 2632/etc/resolv.conf中设置dns之后每次重启Ubu ... -
linux shell IF判断时报not found错误解决方法
2016-07-06 09:43 1272原来if判断那块有个坑,if空格[空格$? -eq 0空格]; ... -
ubuntu14.04 vpn server安装部署
2015-10-09 14:10 255云主机:ucloud Ubuntu搭建VPN服务器pptpd安 ... -
ubuntu14.04 vpn client 拨号设置(通过终端命令来实现)
2015-10-09 13:58 268#首先安装PPTP-VPN拨号客户端 sudo apt- ... -
ubuntu14.04 vpn连接设置
2015-09-29 11:01 148ubuntu 14.04vpn连接设置,要选择 有状态的 点对 ... -
Ubuntu DNS解析不了,上不了网
2015-09-07 23:03 1028dns设置 要加入 本地的网关ip,否则还是解析不了域名,上不 ... -
ubuntu 下安装virtualbox虚拟机
2015-08-24 15:59 1005#ubuntu virtualbox install sud ... -
两步搞定chrome在ubuntu下的安装
2015-08-24 15:45 1513下载 安装包:google-chrome-stable_cur ... -
Ubuntu 10.10更新源的问题
2014-06-18 17:54 1164老版本的ubtutu更新源的问题, 执行更新时遇到 忽略 或 ... -
64位ubuntu下安装32位jdk注意事项
2013-02-21 10:58 1968【64位ubuntu下安装32位jdk注意事项】 使用tar包 ... -
删除hdfs文件报 permission denied的处理
2012-08-02 17:11 4111删除hdfs文件报 permission denied的处理, ... -
HBase启动不了的一个原因处理
2012-07-31 08:53 16556几天没有启动hbase,今天重新启动,却发现 HRegionS ... -
Ubuntu 定时备份oracle数据库实现
2012-07-30 15:12 1570最近开发需要在ubuntu里面定时备份oracle数据库的需要 ... -
Oracle10g在Ubuntu10.10(64位)系统里面的安装
2012-05-15 09:43 1324安装软件下载地址 http://www.oracle.com/ ... -
Ubuntu 执行apt-get install时,必须先配置dns.
2012-05-14 17:05 11649更新时的注意事项: 错误 http://cn.archiv ... -
Ubuntu所有版本下载地址
2012-05-11 19:33 1352想下载以前的版本,找半天,现在记下来 http://mirro ... -
Hadoop1.0.0 eclipse 插件编译包
2012-04-23 00:51 3586hadoop1.0.0没有eclipse 插件包,今晚自己编译 ... -
Hadoop必须知道的几个问题
2012-04-12 09:02 11121,master slaves文件只有 namenode se ... -
Linux tomcat apr的下载和安装
2012-04-10 09:56 4589在linux环境里面运行tomcat都要安装apr,否则会报: ...
相关推荐
4. 性能调优:通过调整Hadoop的配置参数,如副本数、Block大小、内存分配等,提升系统性能。 六、安全与监控 1. Hadoop安全:可以启用Hadoop的安全特性,如Kerberos认证,保护数据安全。 2. 监控工具:利用Hadoop...
性能调优通常涉及调整HDFS和MapReduce的参数,例如副本数量、内存分配和槽位数量等。 总的来说,"hadoop-1.0.2-bin.tar.gz"为开发者提供了一个稳定且兼容的Hadoop环境,便于他们在Eclipse中进行大数据处理的应用...
HDFS上,一个文件物理上以一个或多个block存储,一个block对应一个Linux文件,block的大小由dfs.block.size配置决定,默认为64MB。 文档还提供了查看云梯(HDFS)文件block大小和block数量的方法。通过命令行工具...
2.10.1可能提供了更多的配置参数和指导,帮助用户根据具体环境调整Hadoop以达到最佳性能。 10. **社区支持和文档**:随着版本的更新,官方文档和社区支持也会随之增强,帮助用户更快地理解和使用新特性。 通过下载...
Spark是Apache软件基金会下的一个开源大数据处理框架,它以其高效的计算性能、易用性和灵活性而闻名。...在Linux环境下,正确配置和使用Spark需要对Hadoop有一定了解,并熟练掌握Spark的各种特性和调优方法。
Spark-1.6.0-bin-hadoop2.6.tgz 是针对Linux系统的Spark安装包,包含了Spark 1.6.0版本以及与Hadoop 2.6版本兼容的构建。这个安装包为在Linux环境中搭建Spark集群提供了必要的组件和库。 **1. Spark基础知识** ...
12. 在Windows环境下安装Hadoop,需要先安装Cygwin,因为它提供了一个类似Linux的环境,使得Hadoop可以在Windows上运行。 13. HBase是一个基于Key-Value型的列式数据库,适用于实时读取大数据场景。 14. 在Hadoop...
2. 性能调优:根据实际需求调整HDFS和MapReduce的参数,提升系统性能。 3. 安全性保障:启用Hadoop的安全模式,如Kerberos认证,保护数据安全。 总之,Hadoop 2.7.2在Linux环境下的应用,不仅为我们提供了高效的...
- 通过对Hadoop配置参数的调整来提高系统性能。 - 应用高级优化技术,如动态资源分配、智能调度等。 - **安全配置** - 配置Kerberos、SASL等安全机制来保护Hadoop集群的安全性。 - 实现用户权限管理,防止非法...
4. 参数调优:根据系统资源和负载调整`wiredTiger.cacheSizeGB`、`journalCompressor`等参数。 安全性: 1. 认证:MongoDB支持多种认证机制,包括SCRAM-SHA-1、X.509和MONGODB-CR。 2. 权限控制:用户角色和权限...
【基于VMware-Workstation8的双节点Hadoop配置】 在搭建基于VMware-Workstation8的双节点Hadoop集群时,首先...在实际应用中,可能还需要根据具体需求对Hadoop的性能进行调优,例如调整内存分配、设置合适的块大小等。
Hadoop 2.7.7是Hadoop发展中的一个重要版本,提供了许多改进和修复,以增强系统的稳定性和性能。在这个版本中,我们关注的是其在Linux环境下的运行情况。 在Linux上安装和配置Hadoop 2.7.7,首先需要确保系统满足...
同时,掌握Linux也意味着你将能够更好地理解和维护大数据生态系统中的其他组件,如HDFS(Hadoop分布式文件系统)、YARN(资源调度器)等。因此,无论你是初学者还是希望提升现有技能的IT从业者,这份资料都将是你...
- 调整MapReduce任务的参数,如内存分配、线程数等。 - 优化数据格式,例如使用Parquet或ORC等列式存储格式。 ### 结语 通过以上介绍可以看出,《Hadoop入门指南》不仅涵盖了Hadoop的基础概念、安装配置流程,还...
- **Hadoop**:Hadoop是一个基于Java开发的大数据处理框架,包括HDFS(分布式文件系统)和MapReduce(计算框架)两大部分。HDFS用于存储海量数据,而MapReduce则负责数据的并行处理。 - **Apache Spark**:相较于...
4. **性能调优**:根据业务需求和负载情况,可能需要对Hadoop集群进行性能调优,例如调整内存大小、线程数等参数。 #### 总结 通过以上步骤,我们可以成功搭建一个Hadoop HA高可用性的完全分布式集群。这种集群...
- **环境搭建**:使用VMware安装CentOS操作系统,创建一个包含一主两从的Hadoop集群。其中,master节点的IP地址为192.168.75.142,两个slave节点的IP地址分别为192.168.75.142和192.168.75.143。 **2. 安装步骤...