nlslzf
- 浏览: 1048701 次
- 性别:
- 来自: 北京
-
文章分类
- 全部博客 (538)
- 奇文共赏 (36)
- spring (13)
- hibernate (10)
- AOP/Aspectj (9)
- spring security (7)
- lucence (5)
- compass (3)
- jbmp (2)
- jboss rule(drools) (0)
- birt (1)
- jasper (1)
- cxf (3)
- flex (98)
- webgis (6)
- 设计模式 (1)
- 代码重构 (2)
- log4j (1)
- tomcat (9)
- 神品音乐 (1)
- 工作计划 (2)
- appfuse (1)
- svn (4)
- 寻章摘句 (3)
- eclipse (10)
- arcgis api for flex (1)
- 算法 (5)
- opengis-cs (1)
- bug心得 (13)
- 图标 (1)
- software&key (14)
- java (17)
- 搞笑视频 (13)
- sqlserver (9)
- postgresql (1)
- postgis (0)
- geoserver (5)
- 日子 (50)
- 水晶报表 (1)
- 绝对电影 (3)
- Alternativa3D (1)
- 酷站大全 (10)
- c++ (5)
- oracle (17)
- oracle spatial (25)
- flashbuilder4 (3)
- TweenLite (1)
- DailyBuild (6)
- 华山论贱 (5)
- 系统性能 (5)
- 经典古文 (6)
- SOA/SCA/OSGI (6)
- jira (2)
- Hadoop生态圈(hadoop/hbase/pig/hive/zookeeper) (37)
- 风水 (1)
- linux操作基础 (17)
- 经济 (4)
- 茶 (3)
- JUnit (1)
- C# dotNet (1)
- netbeans (1)
- Java2D (1)
- QT4 (1)
- google Test/Mock/AutoTest (3)
- maven (1)
- 3d/OSG (1)
- Eclipse RCP (3)
- CUDA (1)
- Access control (0)
- http://linux.chinaunix.net/techdoc/beginner/2008/01/29/977725.shtml (1)
- redis (1)
最新评论
-
dove19900520：
朋友，你确定你的标题跟文章内容对应？？？
tomcat控制浏览器不缓存 -
wussrc：
我只想说牛逼,就我接触过的那点云计算的东西，仔细想想还真是这么 ...
别样解释云计算，太TM天才跨界了 -
hw_imxy：
endpoint="/Hello/messagebr ...
flex+java代码分两个工程 -
gaohejie：
rsrsdgrfdh坎坎坷坷
Flex 与 Spring 集成 -
李涤尘：
谢谢。不过说得有点太罗嗦了。
Oracle数据库数据的导入及导出(转)
文件上传的时候，使用下面的命令即可
hadoop fs -D fs.local.block.size=134217728 -put local_name remote_location参考http://stackoverflow.com/questions/2669800/changing-the-block-size-of-a-dfs-file-in-hadoop经过验证，上述命令在0.21版本上不行，需要改为
hadoop dfs -D dfs.blocksize=134217728 -copyFromLocal local_name remote_location
分享到：
发表评论
-
一网打尽当下NoSQL类型、适用场景及使用公司
2014-12-28 20:56 968一网打尽当下NoSQL类型、适用场景及使用公司 http:// ... -
别样解释云计算，太TM天才跨界了
2014-02-25 09:41 2440http://mp.weixin.qq.com/s?__bi ... -
Build, Install, Configure and Run Apache Hadoop 2.2.0 in Microsoft Windows OS
2013-12-09 11:17 2539http://www.srccodes.com/p/arti ... -
hadoop的超时设置
2013-06-23 11:47 2429from http://blog.163.com/zheng ... -
hadoop与panasas
2012-12-26 09:53 882在应用的场景中，hadoop当然希望使用全部的本地硬盘，但是对 ... -
程序开过多线程，导致hadoop作业无法运行成功
2012-10-23 16:14 7065Exception in thread "Threa ... -
mount盘异常，导致hadoop作业无法发送
2012-10-23 16:12 956异常信息 2012-10-23 21:10:42,18 ... -
HDFS quota 設定
2012-08-02 16:22 5525http://fenriswolf.me/2012/04/04 ... -
hadoop常用的指令
2011-10-09 16:50 1703hadoop job -kill jobid 可以整个的杀掉 ... -
Hadoop基准测试
2011-08-08 10:04 1277http://www.michael-noll.com/ ... -
Hadoop Job Scheduler作业调度器
2011-05-21 11:02 2526http://hi.baidu.com/zhengxiang3 ... -
Hadoop Job Tuning
2011-02-28 15:53 819http://www.searchtb.com/2010/12 ... -
如何在不重启整个hadoop集群的情况下，增加新的节点
2011-02-25 10:12 14051.在namenode 的conf/slaves文件中增加新的 ... -
对hadoop task进行profiling的几种方法整理
2011-02-10 21:57 1654对hadoop task进行profiling的几种方法整 ... -
如何对hadoop作业的某个task进行debug单步跟踪
2011-02-10 21:56 2081http://blog.csdn.net/AE86_FC/ar ... -
hadoop 0.20 程式開發 eclipse plugin
2011-01-26 19:36 2258http://trac.nchc.org.tw/cloud/w ... -
hadoop-0.21.0-eclipse-plugin无法在eclipse中运行解决方案
2011-01-26 09:47 3601LINUX下将hadoop-0.21自带的hadoop ecl ... -
How to Benchmark a Hadoop Cluster
2011-01-19 22:15 2850How to Benchmark a Hadoop Clu ... -
json在线格式化
2010-12-21 16:23 2434http://jsonformatter.curiouscon ... -
Hadoop的mapred TaskTracker端源码概览
2010-11-14 11:24 1289http://jiwenke.iteye.com/blog/3 ...
相关推荐
然而，需要注意的是，Split Size不应小于Block Size，否则会导致不必要的数据复制和计算开销。 总的来说，Hadoop的Block Size和Split Size之间的关系是相互作用的，它们共同决定了数据处理的并行性和效率。理解这...
`dfs.replication`参数设定了文件的默认副本数，而`dfs.blocksize`则定义了HDFS中的默认数据块大小。 3. **mapred-site.xml**：它涉及到MapReduce框架的配置，如JobTracker的位置、任务分配策略等。`mapreduce....
核心配置文件core-site.xml涉及整个Hadoop环境的设置，而hdfs-site.xml和mapred-site.xml则针对Hadoop分布式文件系统(HDFS)和MapReduce计算框架进行局部配置。 core-site.xml作为全局配置文件，定义了Hadoop集群的...
HDFS相关的配置都在这里，如副本数(`dfs.replication`)、数据块大小(`dfs.blocksize`)、名称节点和数据节点的相关参数等。这些配置直接影响HDFS的性能和可靠性。 4. **yarn-site.xml** YARN是Hadoop的资源调度器...
在大数据处理领域，Hadoop是不可或缺的核心组件，它以其分布式计算框架著称，为企业和科研机构提供了海量数据处理的能力。本篇文章将深入探讨Hadoop集群的高可用性和性能优化策略，帮助你构建更加稳定、高效的Hadoop...
在Hadoop的分布式文件系统（HDFS）中，文件的读写是整个大数据处理的核心操作。HDFS的设计目标是提供高容错性、高吞吐量的数据访问，以支持大规模数据处理的应用。以下是对Hadoop文件读写及相关属性的详细说明。 ##...
在大数据处理领域，Hadoop是不可或缺的核心框架，它提供了分布式存储和计算的能力。Hadoop 2.6.0是该框架的一个稳定...通过定期检查配置文件、日志和性能指标，可以及时发现并解决问题，提升整个Hadoop集群的运行效率。
在分布式计算领域，Hadoop是一个不可或缺的关键框架，它为大数据处理提供了强大而灵活的解决方案。Hadoop的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce，它们各自都有自己的默认配置文件，这些...
在构建和管理Hadoop集群时，配置文件是至关重要的，它们定义了集群的行为、性能参数以及节点间的通信方式。以下是对这些配置文件的详细解析： 首先，`core-site.xml`是Hadoop的核心配置文件，它定义了基础的系统...
2. **dfs.blocksize**：HDFS的默认块大小，通常设置为128MB或256MB，影响数据读写效率。 3. **mapreduce.map.memory.mb**和`mapreduce.reduce.memory.mb`：分别设定Map和Reduce任务的内存大小，影响任务执行速度和...
这里你可以设置NameNode和DataNode的相关参数，比如副本数量(`dfs.replication`)，块大小(`dfs.blocksize`)，以及DataNode内存和磁盘空间的使用策略等。另外，对于高可用性(HA)的Hadoop集群，还需要在此配置NameNode...
- `dfs.blocksize`：设定数据块的大小，默认为128MB，可根据实际需求调整。 其次，`core-default.xml`包含了Hadoop核心组件的基础配置，比如文件系统、I/O流等。其中关键配置包括： - `io.file.buffer.size`：读写...
- **io.seqfile.compress.blocksize**: 块压缩的最小大小。测试结果显示，块压缩的设置会影响文件读写性能。 - **io.file.buffer.size**: 文件读写缓冲区的大小。调整此值可以影响I/O效率，测试中发现不同大小的...
`dfs.blocksize`定义了HDFS的基本存储单元大小，对存储效率和计算性能有直接影响。 然后，`mapred-default.xml`文件与MapReduce框架相关，它定义了任务调度、任务执行等核心参数。比如，`mapreduce.framework.name`...
2. 在 HDFS 中，NameNode 负责管理文件系统的命名空间，而 DataNode 负责存储数据块。 3. SecondaryNameNode 的作用是帮助 NameNode 合并编辑日志，减少 NameNode 启动时间。 MapReduce 知识点 1. JobTracker 是一...
而`hadoop.tmp.dir`属性则定义了Hadoop进程的临时目录，用于存放日志、元数据等临时文件。 在实际操作中，我们可能会遇到需要修改这些配置的情况。例如，当磁盘空间不足或需要优化I/O性能时，我们可能需要调整`...
2. **hdfs-site.xml**：此文件专门针对HDFS进行配置，如副本数量（`dfs.replication`）、块大小（`dfs.blocksize`）、名称节点和数据节点的内存分配等。 3. **mapred-site.xml**：此文件用于配置MapReduce框架，...
11. 要修改HDFS的block大小，需要在hdfs-site.xml配置文件中设置属性`dfs.blocksize`。 12. Namenode的RPC端口号为8021，用于接收客户端的连接，提供文件系统metadata信息。 13. MapReduce是Hadoop的并行计算框架...
HDFS（Hadoop Distributed File System）作为Hadoop生态系统中的分布式文件系统，其性能直接影响着整个集群的工作效率。在调整HDFS参数时，我们需要关注以下几个方面： - **Block Size**: HDFS默认的块大小为128MB...