tobyqiu
- 浏览: 40564 次
- 性别:
- 来自: 上海
-
最新评论
-
xjl456852：
你好,我在执行job时出错了,不知道什么原因,请问这是什么情况 ...
Sqoop 1.99.3 with hadoop-2.3.0 使用 2
文章列表
BO 4.0 报表 中文,打印 及 条形码
- 博客分类：
- BI
这几天有个3周code 的BO 项目. 要求打印条码.
是个国内的项目.. 但是server是win server 英文版的.
BO的wibi 打印主要用PDF 打印.
所以字体可以用 默认的 Simsun 一般的中国字都打得出来.
图片打印的问题.
BO url link 的图片打印都是不行的.. 所以 只能用背景图片的打印. 这意味着 不能动态的打印图片. 对于条形码来说也就是不可能的.
所以条形码就只能通过添加字体来做.
参考 http://powerblog.mauricets.nl/2012/07/add-barcode-font-to-bu ...
oracle 和 td的 temp table 不一样.
seesion 断了 , 表结构还在, 只是数据没了
oracle 分2中 session 级别 和 事务级别
seesion的 就是 会话断了 ,数据就没了
事务级别的. 就是 如果 用了 commit 或者 rollback, 数据也会没. 适合 在一个脚本中重复用到同一个临时表
但是需要清空数据的情况,
临时表可以并行,可以建索引,但不支持物化视图(物化视图建立的时候 不能有临时表作为源表).
当然不同session的数据是不可以访问的.
Oracle 分区,索引,测试 (2)
- 博客分类：
- Oracle
这次做 select 操作每张表都是1亿
三个表的索引都disable了
先测试压缩
--sales_data 有位图不适合
alter table sales_data1 compress;
---查看
SELECT table_name, partition_name, compression
FROM user_tab_partitions;
SELECT table_name, partition_name, compression
FROM user_tables;
---压缩
ALTER TABLE SALES_DATA1 MOVE PA ...
Oracle 分区,索引,测试 (1)
- 博客分类：
- Oracle
-----本次只做插入.看看怎么插入速度快
准备工作
--数据文件
alter system set db_create_file_dest='d:\toby\oracle\data';
--表空间
create tablespace ts_sales_200901 datafile size 5M autoextend on ;
create tablespace ts_sales_200902 datafile size 5M autoextend on ;
create tablespace ts_sales_200903 datafile size 5M ...
第一步 要开 HIVE server
//jdbc 端口
hive --service hiveserver
//web 端口
hive --service hwi
//如果后台运行 就应该加
nohup hive --service hiveserver
nohup hive --service hwi
//后台后 要kill的话 只能 用 kill
netstat -ap |grep 9999
netstat -nlp | grep 10000
kill -9 ***
然后就是 连JDBC了
package org.ap ...
使用域帐户登录 ,参考 https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/Tivoli%20Application%20Dependency%20Discovery%20Manager/page/Setting%20up%20a%20Cygwin%20OpenSSH%20Server%20for%20Windows%20Domains%20on%20a%20TADDM%20Gateway%20Server
$ mkpasswd -l > /etc/passwd
$ mkpassw ...
Hive 配置
- 博客分类：
- hadoop sqoop hive
下载hive 现在的版本是0.10, 打算是吧元数据存在mysql 里面的.
1.设置 hive_home 环境
2.在 /hive_home/conf 下 添加配置文件
<configuration>
<property>
<name>hive.metastore.local</name>
<value>true</value>
<description>controls whether to connect to remove ...
配好Eclipse 就去 http://hadoop.apache.org/docs/r1.0.4/mapred_tutorial.html
抄了段代码.
Example: WordCount v1.0
然后 Eclipse 跑一下.
在参数设置 input 和output
hdfs://10.221.62.68:9000/tmp/hadoop-oracli/input
hdfs://10.221.62.68:9000/tmp/hadoop-oracli/output
跑了下 出错了
ecurity.UserGroupInformation: PriviledgedA ...
hadoop 环境
- 博客分类：
- hadoop sqoop hive
1. 下载 hadoop 1.1.2 ...
2. 参考 http://hadoop.apache.org/docs/r1.1.2/single_node_setup.html 安装 伪分布节点.
遇到各种狗血问题.(服务器启动看 log)
1)端口被占了,没root 权限 不能看进程号,也不能kill ... 只有改端口.
hdfs-site.xml
<property>
<name>dfs.datanode.http.address</name>
<value>0.0.0.0:60075</val ...