zsg86
- 浏览: 37353 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
转载：http://blog.sina.com.cn/s/blog_c58d04bf0101lbka.html
在日常工作中，我们经常会遇到字符集的问题。Export 和 Import 是一对读写Oracle数据的工具。Export 将 Oracle 数据库中的数据输出到操作系统文件中, Import 把这些文件中的数据 ...
使用kettle将hive中的数据抽取到hdfs中，报 java.lang.OutOfMemoryError: Requested array size exceeds VM
原因是，hive中有两个字段定义的长度为21亿，超过了jvm数据长度，减小这两个字段长度即可。
场景：kettle数据抽取节点A、B，Postgresql集群数据管理节点C。A和B上同时跑着数据抽取任务，有两个任务运行过程中卡住。于是打算重启抽取任务，先truncate这两个表（一个任务对应一个表），问题出现了，有一个表truncate执行卡住，delete卡住，drop table也不行，但是可以insert和select。一定是表锁住了！
解决办法：
1.查询表中存在的锁
select a.locktype,a.database,a.pid,a.mode,a.relation,b.relname
from pg_locks a
join pg_class b on a.r ...
1.配置kettle支持的hadoop版本
修改data-integration\plugins\pentaho-big-data-plugin\plugin.properties中
active.hadoop.configuration=hdp23
支持的hadoop版本在data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations中列出
2.在kettle界面选择支持的hadoop版本
工具>Hadoop Distribution>
3.在Hadoop cluster配 ...
Java 应用性能调优实践
- 博客分类：
- Java
转自：http://www.cnblogs.com/duanxz/p/6092997.html
Java 应用性能优化是一个老生常谈的话题，笔者根据个人经验，将 Java 性能优化分为 4 个层级：应用层、数据库层、框架层、JVM 层。通过介绍 Java 性能诊断工具和思路，给出搜狗商业平台的性能优化案例以供参考。
Java 应用性能优化是一个老生常谈的话题，典型的性能问题如页面响应慢、接口超时，服务器负载高、并发数低，数据库频繁死锁等。尤其是在“糙快猛”的互联网开发模式大行其道的今天，随着系统访问量的日益增加和代码的臃肿，各种性能问题开始纷至沓来。Jav ...
设计模式；一个程序员对设计模式的理解:“不懂”为什么要把很简单的东西搞得那么复杂。后来随着软件开发经验的增加才开始明白我所看到的“复杂”恰恰就是设计模式的精髓所在，我所理解的“简单”就是一把钥匙开一把 ...
【转】Informatica 9.5.1 安装配置
- 博客分类：
- ETL
Informatica 结构
1个或多个资源库（Respository）
PowerCenter数据整合引擎是基于元数据驱动的，提供了基于数据驱动的元数据知识库（Repository），该元数据知识库可以在主流的关系型数据库中部署。该院数据库中存储所有的ETL元数据，包括：源、目标表的物理和逻辑元数据，ETL转换规则，知识库用户权限，ETL任务运行历史信息等元数据。
2个Server
Informatica Repository Server： 资料库的Server，管理ETL过程中产生的元数据，用来管理所有对资料库中元数据的请求和操作。
Informatica Se ...
转载：http://ywsm.iteye.com/blog/510670
http://58582786.blog.51cto.com/1550000/671487
目标：在Windows环境下，用netstat命令查看某个端口号是否占用，为哪个进程所占用.
操作：操作分为两步：（1）查看该端口被那个PID所占用;方法一：有针对性的查看端口，使用命令
Netstat –ano|findstr “<端口号>”,如图，最后一列为PID。图中的端口号为1068，所对应的PID为3840。
...
http://blog.csdn.net/zq9017197/article/details/7345352
kettle_manager
- 博客分类：
- ETL
kettle系列-我的开源kettle调度、管理平台[kettle-manager]介绍
http://www.cnblogs.com/majinju/p/5739820.html
kettle系列-kettle管理平台部署说明
http://www.cnblogs.com/majinju/p/5767001.html
问题汇总：
1.用kettle可以从hive2中将数据抽出来，但是在kettle manager启动会报错
我的理解：感觉像是hive2驱动的问题，但是将hive
Oracle 更改用户名
- 博客分类：
- Oracle
通过plsql客户端界面形式是不可改的。所以直接更改系统user$表中的用户名。查询要更改的用户名
SQL> select user#,name,password from user$ where name ='TICKETS';
USER# NAME PASSWORD---------- ------------------------------ ------------------------------ 78 TICKETS 21EDA78F89 ...
深入理解Java之线程池
- 博客分类：
- Java
原作者：海子
出处：http://www.cnblogs.com/dolphin0520/
本文归作者海子和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。
...
expdp和impdp使用
- 博客分类：
- Oracle
一、导出
1、在物理盘上先建相应的目录， 如“/home/oracle/dmp”
2、以有权限授权目录的写读用户登录，不要是要备份的用户（没权限给自己授权），给要备份的用户授权：如下：
SQL>create or replace directory dumpdir as '/home/oracle/clo_kettle';
3、授权给要导出数据的用户
SQL>grant read,write(all) on directory dumpdir to clo_user;
SQL>exit;
4、基本命令
expdp clo_user/clo_user table ...
exp和imp的用法
- 博客分类：
- Oracle
1.exp导出数据库
导出数据及表结构（全部）
exp clo_user/clo_user file=clo_user_partition20150610.dmp
导出某张表的数据及表结构
exp tnkpdev/tnkpdev tables=USER_MORE_INFO file=USER_MORE_INFO.dmp
2.imp导入数据库
1）给导入数据库的用户授予dba权限
SQL>grant dba to system;
2）imp导入
imp system/manager file=bible_db log=dible_db full=y ign ...
如何让MyEclipse在状态栏显示内存使用情况
- 博客分类：
- 开发工具
第一步:
在MyEclipse的安装根目录 也就是 D:/preTools/MyEclipse 5.5.1 GA/eclipse/
文件夹下创建一个文本文件,options.txt
编辑此文件 键入内容 :
org.eclipse.ui/perf/showHeapStatus=true
保存此文件并命名为options 这里注意这个文件重命名时是没有后缀的!
第二步:
在桌面上的MyEclipse的图标下面点右键－属性－目标：
可以看到如下的东西：(每个人安装路径都不一样 这里是我的安装路径)
"D:/preTools/MyEclipse 5.5.1 GA/eclip ...