- 浏览: 576915 次
- 性别:
- 来自: 广州杭州
-
文章分类
最新评论
-
bohc：
谢谢，搞了两天了，现在才算是找到问题所在，解决了。
文件在使用FileChannel.map后不能被删除(Windows上) -
zhang0000jun：
在jdk1.8中执行正好和楼主的结果相反，请指教
从Java视角理解CPU缓存(CPU Cache) -
在世界的中心呼喚愛：
forenroll 写道请问楼主的那个分析工具cachemis ...
从Java视角理解CPU缓存(CPU Cache) -
xgj1988：
我这里打出的结果是： 0 L1-dcache-load-mis ...
从Java视角理解CPU缓存(CPU Cache) -
thebye85：
请教下大神，为什么频繁的park会导致大量context sw ...
从Java视角理解CPU上下文切换(Context Switch)
先记一记,以后解释 :)
$hadoop jar tfile-0.00.1-dev.jar org.apache.hadoop.io.file.tfile.TestTFileSeqFileComparison -c gz -f seqfile -r /home/zhoumin/tmp -x rw -b 65536 -s 1024
=== SeqFile: Creation (KLEN: 50-100... VLEN: 100-200...MinBlkSize: 65536.00KB...Target Size: 1024.00MB...Compression: ...gz) ===
10/01/07 22:31:35 INFO util.NativeCodeLoader: Loaded the native-hadoop library
10/01/07 22:31:35 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
10/01/07 22:31:35 INFO compress.CodecPool: Got brand-new compressor
2010-01-07 22:31:35 Start writing: SeqFile.Performance...
2010-01-07 22:31:35 Started timing.
2010-01-07 22:34:19 Stopped timing.
2010-01-07 22:34:19 Duration: 164035ms...total size: 3078.62MB...raw thrpt: 18.77MB/s
2010-01-07 22:34:19 Compressed size: 1024.29MB...compressed thrpt: 6.24MB/s.
=== SeqFile: Reading (KLEN: 50-100... VLEN: 100-200...MinBlkSize: 65536.00KB...Target Size: 1024.00MB...Compression: ...gz) ===
10/01/07 22:34:19 INFO compress.CodecPool: Got brand-new decompressor
10/01/07 22:34:19 INFO compress.CodecPool: Got brand-new decompressor
10/01/07 22:34:19 INFO compress.CodecPool: Got brand-new decompressor
10/01/07 22:34:19 INFO compress.CodecPool: Got brand-new decompressor
2010-01-07 22:34:19 Start reading: SeqFile.Performance...
2010-01-07 22:34:19 Started timing.
2010-01-07 22:34:56 Stopped timing.
2010-01-07 22:34:56 Duration: 37222ms...total size: 3078.62MB...raw thrpt: 82.71MB/s
2010-01-07 22:34:56 Compressed size: 1024.29MB...compressed thrpt: 27.52MB/s.
$hadoop jar tfile-0.00.1-dev.jar org.apache.hadoop.io.file.tfile.TestTFileSeqFileComparison -c gz -f tfile -r /home/zhoumin/tmp -x rw -b 65536 -s 1024
=== TFile: Creation (KLEN: 50-100... VLEN: 100-200...MinBlkSize: 65536.00KB...Target Size: 1024.00MB...Compression: ...gz) ===
2010-01-07 22:28:13 Start writing: TFile.Performance...
2010-01-07 22:28:13 Started timing.
10/01/07 22:28:13 INFO util.NativeCodeLoader: Loaded the native-hadoop library
10/01/07 22:28:13 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
10/01/07 22:28:13 INFO compress.CodecPool: Got brand-new compressor
2010-01-07 22:30:50 Stopped timing.
2010-01-07 22:30:50 Duration: 157829ms...total size: 3484.39MB...raw thrpt: 22.08MB/s
2010-01-07 22:30:50 Compressed size: 1024.05MB...compressed thrpt: 6.49MB/s.
=== TFile: Reading (KLEN: 50-100... VLEN: 100-200...MinBlkSize: 65536.00KB...Target Size: 1024.00MB...Compression: ...gz) ===
10/01/07 22:30:50 INFO compress.CodecPool: Got brand-new decompressor
2010-01-07 22:30:50 Start reading: TFile.Performance...
2010-01-07 22:30:50 Started timing.
2010-01-07 22:31:22 Stopped timing.
2010-01-07 22:31:22 Duration: 31441ms...total size: 3484.39MB...raw thrpt: 110.82MB/s
2010-01-07 22:31:22 Compressed size: 1024.05MB...compressed thrpt: 32.57MB/s.
$hadoop jar tfile-0.00.1-dev.jar org.apache.hadoop.io.file.tfile.TestTFileSeqFileComparison -c lzo -f tfile -r /home/zhoumin/tmp -x rw -b 65536 -s 1024
=== TFile: Creation (KLEN: 50-100... VLEN: 100-200...MinBlkSize: 65536.00KB...Target Size: 1024.00MB...Compression: ...lzo) ===
2010-01-07 22:35:21 Start writing: TFile.Performance...
2010-01-07 22:35:21 Started timing.
10/01/07 22:35:21 INFO tfile.Compression: Trying to load Lzo codec class: org.apache.hadoop.io.compress.LzoCodec
10/01/07 22:35:21 INFO util.NativeCodeLoader: Loaded the native-hadoop library
10/01/07 22:35:21 INFO compress.LzoCodec: Successfully loaded & initialized native-lzo library
10/01/07 22:35:21 INFO compress.CodecPool: Got brand-new compressor
2010-01-07 22:36:13 Stopped timing.
2010-01-07 22:36:13 Duration: 52223ms...total size: 2108.38MB...raw thrpt: 40.37MB/s
2010-01-07 22:36:13 Compressed size: 1024.08MB...compressed thrpt: 19.61MB/s.
=== TFile: Reading (KLEN: 50-100... VLEN: 100-200...MinBlkSize: 65536.00KB...Target Size: 1024.00MB...Compression: ...lzo) ===
10/01/07 22:36:14 INFO compress.CodecPool: Got brand-new decompressor
2010-01-07 22:36:14 Start reading: TFile.Performance...
2010-01-07 22:36:14 Started timing.
2010-01-07 22:36:28 Stopped timing.
2010-01-07 22:36:28 Duration: 14685ms...total size: 2108.38MB...raw thrpt: 143.57MB/s
2010-01-07 22:36:28 Compressed size: 1024.08MB...compressed thrpt: 69.74MB/s.
hadoop jar tfile-0.00.1-dev.jar org.apache.hadoop.io.file.tfile.TestTFileSeqFileComparison -c gz -f seqfile -r /home/zhoumin/tmp -x rw -b 2048 -s 1024
=== SeqFile: Creation (KLEN: 50-100... VLEN: 100-200...MinBlkSize: 2048.00KB...Target Size: 1024.00MB...Compression: ...gz) ===
10/03/19 00:04:05 INFO util.NativeCodeLoader: Loaded the native-hadoop library
10/03/19 00:04:05 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
10/03/19 00:04:05 INFO compress.CodecPool: Got brand-new compressor
2010-03-19 00:04:05 Start writing: SeqFile.Performance...
2010-03-19 00:04:05 Started timing.
2010-03-19 00:06:53 Stopped timing.
2010-03-19 00:06:53 Duration: 168253ms...total size: 3080.42MB...raw thrpt: 18.31MB/s
2010-03-19 00:06:53 Compressed size: 1024.23MB...compressed thrpt: 6.09MB/s.
=== SeqFile: Reading (KLEN: 50-100... VLEN: 100-200...MinBlkSize: 2048.00KB...Target Size: 1024.00MB...Compression: ...gz) ===
10/03/19 00:06:53 INFO compress.CodecPool: Got brand-new decompressor
10/03/19 00:06:53 INFO compress.CodecPool: Got brand-new decompressor
10/03/19 00:06:53 INFO compress.CodecPool: Got brand-new decompressor
10/03/19 00:06:53 INFO compress.CodecPool: Got brand-new decompressor
2010-03-19 00:06:53 Start reading: SeqFile.Performance...
2010-03-19 00:06:53 Started timing.
2010-03-19 00:07:31 Stopped timing.
2010-03-19 00:07:31 Duration: 37375ms...total size: 3080.42MB...raw thrpt: 82.42MB/s
2010-03-19 00:07:31 Compressed size: 1024.23MB...compressed thrpt: 27.40MB/s.
hadoop jar tfile-0.00.1-dev.jar org.apache.hadoop.io.file.tfile.TestTFileSeek -c gz -f seqfile -r /home/zhoumin/tmp -x rw -b 1024 -s 2048
10/03/18 21:40:09 INFO tfile.Compression: Trying to load Lzo codec class: org.apache.hadoop.io.compress.LzoCodec
10/03/18 21:40:09 INFO util.NativeCodeLoader: Loaded the native-hadoop library
10/03/18 21:40:09 INFO compress.LzoCodec: Successfully loaded & initialized native-lzo library
10/03/18 21:40:09 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
10/03/18 21:40:09 INFO compress.CodecPool: Got brand-new compressor
time: 347.10s...uncompressed: 6430.03MB...raw thrpt: 19.42MB/s
time: 347.10s...file size: 2048.07MB...disk thrpt: 6.19MB/s
10/03/18 21:45:56 INFO compress.CodecPool: Got brand-new decompressor
time: 17.28s...avg seek: 17.28ms...1000 hit...0 miss...avg I/O size: 0.16KB
hadoop jar tfile-0.00.1-dev.jar org.apache.hadoop.io.file.tfile.TestTFileSeek -c gz -f seqfile -r /home/zhoumin/tmp -x rw -b 2048 -s 2048
10/03/18 21:32:09 INFO tfile.Compression: Trying to load Lzo codec class: org.apache.hadoop.io.compress.LzoCodec
10/03/18 21:32:09 INFO util.NativeCodeLoader: Loaded the native-hadoop library
10/03/18 21:32:09 INFO compress.LzoCodec: Successfully loaded & initialized native-lzo library
10/03/18 21:32:09 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
10/03/18 21:32:09 INFO compress.CodecPool: Got brand-new compressor
time: 352.27s...uncompressed: 6464.91MB...raw thrpt: 19.24MB/s
time: 352.27s...file size: 2048.09MB...disk thrpt: 6.10MB/s
10/03/18 21:38:02 INFO compress.CodecPool: Got brand-new decompressor
time: 33.07s...avg seek: 33.07ms...1000 hit...0 miss...avg I/O size: 0.16KB
发表评论
-
抛砖引玉, 淘宝统一离线数据分析平台设计
2011-11-03 22:58 8198把这个拿出来的目的, 是想得到更多的反馈意见, 请邮件至zho ... -
NameNode优化笔记 (二)
2011-01-13 15:03 0事情发生在11月初至11月中旬, 云梯用户不断反映作业运行得慢 ... -
NameNode优化笔记 (一)
2011-01-12 10:32 6190很久没有发博客了, 最 ... -
我在Hadoop云计算会议的演讲
2010-10-26 14:59 9091点击下载演讲稿 由中科院计算所主办的“Hadoop ... -
分布式online与offline设计 slides
2010-08-25 00:24 4198花了两个小时简单了做了一个ppt,给兄弟公司相关人员讲解off ... -
演讲: Hadoop与数据分析
2010-05-29 20:35 7445前些天受金山软件公司西山居朋友的邀请, 去了趟珠海与金山的朋友 ... -
Hadoop的Mapper是怎么从HDFS上读取TextInputFormat数据的
2010-05-29 11:46 7972LineRecordReader.next(LongWri ... -
Anthill: 一种基于MapReduce的分布式DBMS
2010-05-11 22:47 3767MapReduce is a parallel computi ... -
HDFS的追加/刷新/读设计
2010-01-26 00:26 3272hdfs将在0.21版(尚未发布),把DFSOutputStr ... -
hive权限控制
2009-09-07 14:35 5095对hive的元数据表结构要作以下调整： hive用户不与表 ... -
avro编译
2009-07-04 00:36 3764avro是doug cutting主持的rpc ... -
Hive的一些问题
2009-06-01 16:51 3836偏激了一点. 总体来说H ... -
hive的编译模块设计
2009-05-22 15:39 3741很少在博客里写翻译的东西, 这次例外. 原文在这儿 . 译文 ... -
HIVE问答, 某天的hadoop群聊天记录
2009-05-07 17:10 10897某天晚上在hadoop群里一时兴起, 回答了一些hive相关的 ... -
暨南大学并行计算实验室MapReduce研究现状
2009-05-04 21:20 51234月份在学校花了半小时做的一个ppt, 内容是我们在应用ha ... -
hadoop上最多到底能放多少个文件?
2009-02-11 18:25 4330这主要取决于NameNode的内存。因为DFS集群运行时，文件 ... -
hadoop改进方面的胡思乱想
2009-02-04 10:57 44331. 我做数据挖掘的时候, 经常需要只对key分组,不必排序。 ... -
hadoop源码分析之MapReduce(二)
2009-01-18 22:14 8600任务的申请、派发与执行 TaskTracker.run() ... -
hadoop源码分析
2008-12-26 15:37 4938blog挺难贴图的, 我已经建了一个开源的项目, 用来存放文 ... -
hadoop源码分析之MapReduce(一)
2008-12-16 13:08 19337hadoop的源码已 ...
相关推荐
本文将详细讲解使用C++Builder 6开发的zip压缩与解压工具的相关知识点。 C++Builder 6是一款由Embarcadero Technologies开发的集成开发环境（IDE），它基于C++语言，并提供了强大的VCL（Visual Component Library）...
在Java编程语言中，处理文件压缩是一个常见的任务，特别是在数据传输、存储优化或者备份场景下。本篇文章将深入探讨如何在Java中实现文件的压缩...通过理解和熟练运用这个库，开发者可以简化与压缩文件相关的复杂任务。
- **IOUtils.TFile**：Delphi的System.IOUtils单元提供了一些高级的文件操作函数，如TFile.Copy、TFile.Move和TFile.Delete等。 3. **文件压缩算法**： - ZIP格式：ZIP是最常见的压缩格式，使用了多种压缩算法，...
C++Builder提供了System.IOUtils单元，其中包含的TDirectory和TFile类可以帮助我们完成这些任务。 以下是实现批量压缩和旋转的步骤： 1. **读取文件列表**：使用TDirectory::GetFiles方法获取指定目录下的所有文件...
此外，使用Hadoop的TFile或SequenceFile格式，它们有内置的缓存机制。 12. **资源调度优化**：配置Hadoop的ResourceManager以优化内存和CPU分配，避免资源争抢。 13. **查询语句优化**：避免在WHERE子句中使用复杂...
1. 文件操作：Delphi提供了TFile和TFileStream类，可以方便地进行文件的读写和流操作，这是进行数据库文件压缩的基础。 2. 压缩算法：可能使用了常见的压缩库，如zlib或lz4，来实现数据的压缩和解压，这些库通常提供...
包含了文件和文件夹可能具有的所有属性，如faReadOnly（只读）、faHidden（隐藏）、faSystem（系统）、faNormal（正常）、faDirectory（目录）、faArchive（存档）、faVolumeID（卷标）、faCompressed（压缩）和...
在IT行业中，文件压缩是一种常见的数据处理方式，用于减少文件的存储空间，便于传输和管理。Zip格式是其中最广泛使用的压缩格式之一。本话题主要关注如何将一个Zip压缩文件转换为流式文件字节，以及这个过程在Delphi...
TrueZip是一个流行的Java库，它扩展了Java的内置文件系统，提供了对各种压缩格式的高级支持，包括ZIP、JAR、TAR、GZ等。 描述 "压缩JAR，解决部分文件压缩异常问题" 指出TrueZip可能被用来解决在处理JAR文件时遇到...
这个库使得开发者无需依赖外部的RAR解压缩软件，就能直接在Java程序中处理RAR文件。本文将深入讲解如何使用Java-unrar库来实现RAR文件的解压缩，并探讨相关的编程概念和技术。 首先，Java-unrar库基于RarFile类，...
5. **算法与逻辑**: 缘分测试的实现将涉及特定的计算算法，可能是根据用户输入的一些个人信息，如生日、星座、兴趣爱好等，进行匹配和评分。 6. **文件操作**: 程序可能需要读取和写入配置文件或用户数据，这就涉及...
在Delphi编程中，文件操作是至关重要的部分，它涵盖了读取、写入、创建、删除、移动等众多功能。本篇文章将详细讲解Delphi中用于文件操作的...通过熟练掌握这些函数，开发者能更好地控制应用程序与文件系统之间的交互。
《Delphi编程实例：瞬间记忆力测试》 在学习Delphi编程的过程中，开发一个瞬间记忆力测试程序是一个很好的实践项目。这个程序旨在帮助用户提高他们的短期记忆能力，通过一系列的数字或图像展示，然后让用户回忆并...
5. **文件移动与重命名**： `TFile.Move`方法允许移动或重命名文件，例如`TFile.Move('oldname.txt', 'newname.txt')`。 6. **文件复制**： `TFile.Copy`方法用于复制文件，可以指定是否覆盖已存在的目标文件。 ...
在Delphi中，我们可以使用`TFile`类的静态方法来操作文件时间。以下是一些关键的API： 1. `TFile.GetCreationTime`：用于获取文件的创建时间。 2. `TFile.SetCreationTime`：用于设置文件的创建时间。 3. `TFile....
在Java开发中，我们经常需要处理文件的压缩与解压缩操作，其中`ZipOutputStream`是Java标准库提供的一种用于创建ZIP格式压缩文件的流对象。然而，在处理中文文件名或内容时，`ZipOutputStream`可能会出现乱码的问题...
工具会快速地创建这些副本，同时保持与源文件内容的一致性。这在进行大数据量测试、数据库填充或者系统压力模拟等场景下非常有用。 在Delphi中实现这样的功能，开发者可能会利用到以下关键的技术点： 1. 文件操作：...
Delphi支持多种压缩库，如ZLib或BZip2，它们提供API来进行压缩和解压缩操作。 6. **错误处理**：在整个过程中，需要捕获并处理可能出现的异常，如文件不存在、权限问题等。 在实现文件捆绑功能时，还需要考虑如何在...
2. **文件操作**：在Delphi中，你可以使用TFile和TDirectory类（来自System.IOUtils单元）进行基本的文件和目录操作，如读取、写入和移动文件。 3. **ZIP档案结构**：理解ZIP文件格式是至关重要的，包括如何添加、...