文章列表
hadoop如果设置了结果压缩，他是每次map函数或者reducer函数执行完成之后把数据流交给压缩代码进行压缩，这就造成如果一个reducer中写的内容很少时压缩比很小。
我们原来以为kettle的share.xml只在编辑kjb和ktr时才起作用。但是经过今天报错测试，对该文件又有新的认知。
在ktr,kjb运行的时候share.xml也会被读取且起到关键作用，数据库的配置信息首先从该文件读取，如果该文件内不存在才会从执行的文件中读取数据库连接信息。
也就是说share.xml的数据库连接信息比你要执行的文件中的数据库连接信息更重要。
但是，如果不存在share.xml，那么kettle会只从要执行的文件中读取数据库连接信息。
应对：建议在部署服务器上删除share.xml文件。
正确做法:
select date(ADDDATE(curdate(), INTERVAL -1 DAY))*1;
典型错误做法:
select curdate()-1;
kettle清理数据库连接的方法
- 博客分类：
- 统计分析
1：清理shared.xml中的不用的数据库连接。（他的保存位置一般在用户主目录下边的.kettle目录中）
2：用文本编辑软件打开kjb，ktr文件删除用户到的connection项，保存。
在做数据抽取的时候如果是直接从dbinput读入数据写入dbouput中，从input中读取到的空字符串会在dboutput时转化为null.
在kettle中的kettle-core.jar中存在一个bug，导致kjb在spoon中执行同在kitchen执行和调用api的时候执行结果不一样，体现在变量替换中如果要替换的变量不存在的时候，在spoon中替换为空，在kitchen中则不替换。
具体bug所在位置为：org.pentaho.di.core.util.StringUtil中的53行。
原来为
int i = rest.indexOf(open);
while (i > -1)
{
int j = rest.indexOf(close, i + open.length());
if ...
打造实用的Fedora 10 （安装后使用设置说明）
本人使用的是Fedora 10 x86_64位版！所以X86＿64位版为例。
欢迎反馈!
我欢迎对这份文档的反馈信息，有什么问题请给我留言，谢谢！
一、安装第三方软件源：
Fedora 8, 9 or 10:
su -c 'rpm -Uvh http://download1.rpmfusion.org/free/fedora/rpmfusion-free-release-stable.noarch.rpm http://download1.rpmfusion.org/nonfree/f ...
- 2009-07-12 15:56
- 浏览 1713
- 评论(0)
workbench.bat 修改
rem put mondrian.properties on the classpath for it to be picked up
下面一行
set CP=./mondrian.properties;%CP%
去掉ROOT的部分。
修改java -Xms100m -Xmx500m -cp "%CP%" -Dlog4j.configuration=file:///*log4j.xml mondrian.gui.Workbench
log4j.xml地址为本地地址。
以上修改为了防止有多个版本workbench使用相同的配置文件。
...
- 2009-07-10 10:55
- 浏览 1174
- 评论(0)