参考 :http://blog.itpub.net/29254281/viewspace-1271742/
Kettle是一种开源的ETL工具
行转列并不陌生
http://blog.itpub.net/29254281/viewspace-775660/
Kettle在控件中拥有行列转换功能,但是行列转换貌似是弄反了。
一.行转列
1.数据库脚本
create TABLE StudentInfo ( studentno int, subject varchar(10), grade int );
insert into StudentInfo values(201105545,'语文',80); insert into StudentInfo values(201105545,'数学',82); insert into StudentInfo values(201105545,'英语',84); insert into StudentInfo values(201105543,'语文',70); insert into StudentInfo values(201105543,'数学',74); insert into StudentInfo values(201105543,'英语',76); insert into StudentInfo values(201105548,'语文',90); insert into StudentInfo values(201105548,'数学',93); insert into StudentInfo values(201105548,'英语',94); commit;
2.总体行转列示意图
2.1表输入配置
2.2列转行配置
2.3字段选择配置
2.4文本文件输出配置
输出到文件后查看内容
二.列转行
1.数据库脚本
CREATE TABLE StudentInfo_TMP(studentno INT,Chinese INT,Math INT,English int); INSERT INTO StudentInfo_TMP VALUES(201105543,70,74,76); INSERT INTO StudentInfo_TMP VALUES(201105545,80,82,84); INSERT INTO StudentInfo_TMP VALUES(201105548,90,93,94);
2.整体示意图
2.1表输入
2.2行转列
2.3字段选择
2.4文本文件输出
相关推荐
Kettle,全称为Pentaho Data Integration(PDI),是一款强大的ETL(Extract, Transform, Load)工具,用于数据抽取、转换和加载。在数据处理过程中,有时我们需要将数据从行格式转换为列格式,或者反之,这被称为...
行列互转、列拆分为多行、获取文件名(通配符获取多个路径下的文本文件输入到输出) 行列互转、列拆分为多行、获取文件名(通配符获取多个路径下的文本文件输入到输出) 行列互转、列拆分为多行、获取文件名...
此外,Kettle还具备高级特性,如值映射、分组、去重、字段拆分、行列转换、批量加载和分区表处理。 在作业(Job)方面,Kettle允许执行操作系统命令,如Ping、写日志、发送邮件等,甚至可以从POP服务器接收邮件,...
28. **行列转列(RowNormaliser)**:用于将行数据转换成列数据。 29. **拆分字符串(StringSplitter)**:用于将字符串拆分成多个部分。 通过以上详细介绍,我们可以看到Kettle作为一个强大的ETL工具,在数据集成...
Kettle提供了多种数据转换步骤,例如"转换字段"、"过滤行"、"计算器"等。这些步骤可以对读取到的Excel数据进行清洗、计算、筛选等操作,以满足特定需求。 3. 写入Excel数据 "Excel输出"步骤用于将处理后的数据写回...
通过kettle实现excel读取、行列转换、字段规整。实现关系型数据结构,便于其他程序使用。
Saiku是Pentaho中用于实现OLAP(在线分析处理)的工具,让用户能在预定义的数据集中自由探索,进行多维分析,如钻取和行列转换,以发现知识或验证假设。 4. 数据挖掘 数据挖掘是BI的高级应用,通过数据挖掘技术从...
OLAP 分析是指创建一种动态的报表展示结构,用户可以在一个 IT 预定义的数据集中自由选择自己感兴趣的特性和指标,运用钻取、行列转换等分析手段实现得到知识,或者验证假设的目的。在 Pentaho 产品线中,我们使用 ...
- 数据ETL:利用工具如Sqoop进行关系数据库连接,Flume进行日志采集,Kettle执行ETL(提取、转换、加载)任务,实现数据的整合与预处理。 - 数据计算:MPP(Shared Nothing)架构的分布式数据库用于处理结构化数据,...
ETL 工具主要包括 Sqoop、DataX、Kettle、DataStage、Informatica 等几个方面。 大数据生态全景图谱是一个复杂的系统,它包括了技术选型、大数据运维、数据仓库、数据模型、数据处理、数据分析和数据可视化几个方面...
- 数据ETL:通过工具如Sqoop、Flume和Kettle实现数据的获取、转换和加载,处理多种类型的数据源。 - 数据计算:结合MPP数据库和Hadoop,分别处理高价值密度的结构化数据和非结构化/半结构化数据。 - 数据服务:提供...
这通常通过编程语言实现,例如Python中的`pymysql`或`pyodbc`库,Java中的JDBC,或者使用ETL工具如Pentaho Data Integration(Kettle)。我们需要提供数据库的URL、用户名、密码和数据库名等信息来建立连接。 2. ...
2. **ETL Tool(提取、转换、加载工具)**:负责从不同源抽取数据,经过清洗、转换后加载到数据仓库。 3. **OLAP Server(在线分析处理服务器)**:提供多维数据分析能力,支持复杂的查询需求。 4. **Reporting Tool...