有时候用Datastage内置的函数无法满足实际需要,这时就需要自己编写parallel routine。这种routine可以用在transformer stage的Expression Editor里,和普通函数的使用完全相同,只不过这是自定义函数罢了。新建一个parallel routine并不困难,看帮助或者教程就能明白。一个parallel routine需要调用一编译成.o文件的包含有函数的c程序或者c++程序(注:这里选择了静态链接库文件而没有选择动态链接库文件,即设置parallel routine属性type为external function、属性object type 为object)。写个简单的c或c++程序也不是问题。估计对于大多人来说最大的问题就是编译问题了。我也是如此,费了半天劲才搞定。为了让我们程序员同志们们少走弯路,我就说一下我遇到的在两个不同unix操作系统下如何编译c程序。首先说下在aix的unix下吧。先写好头文件.h文件和源程序文件.c文件。然后在这两个文件所在的目录下执行xlC_r -+ -O -g –c “源程序文件名”.c这样就生成了“源程序文件名”.o文件,就可以在parallel routine里调用了。然后说下在HP-UX下是如何编译的。也是先准备好头文件和源程序文件,然后编译命令得去找一下。打开Datastage administrator->projects->properties->general->environment->compiler,找到compiler和compiler options记住,然后进入到这两个文件所在的目录,输入编译命令和编译选项以及源程序文件名就可以了。我的环境是aCC +DD64 –O –c –ext –z +Z “源程序名”.c(注意区分大小写)。也不知道是不是都一样,有问题email我。
分享到:
相关推荐
安装datastage11.5版本,linux需要的补丁包。
安装datastage11.5版本,linux需要的补丁包。
安装datastage11.5版本,linux需要的补丁包。
安装datastage11.5版本,linux需要的补丁包。
安装datastage11.5版本,linux需要的补丁包。
《Datastage Routine实战:提取JOB错误信息入库》 在数据处理和ETL(Extract, Transform, Load)领域,Datastage是一款强大的工具,用于从不同源系统抽取数据、转换数据并加载到目标数据库。然而,数据处理过程中...
在DataStage中,平行作业(Parallel Jobs)支持多种函数,以增强数据处理和转换能力。这些函数被分类为日期与时间、逻辑、数学、空值处理、数字、原始类型、字符串、类型转换、类型铸造以及实用函数等。下面将详细...
《DataStage并行例行程序详解》 DataStage是一款强大的ETL(提取、转换、加载)工具,内置了众多阶段和例行程序,能够处理大部分数据处理需求。然而,对于DataStage企业版无法完成的功能,我们可以利用并行例行程序...
在IT领域,尤其是在数据处理与集成技术中,DataStage作为一款强大的企业级数据整合平台,由IBM开发,被广泛应用于各种大数据处理场景。其并行作业设计是DataStage的一个核心特性,能够显著提升数据处理效率,尤其...
自己开发的软件,用于读取DataStage导出的.DSX文件。 应用场景:比如,获取使用到某个表或字段的JOB,直接搜索即可。 一直都是项目组内部使用,没分下载资源,来换点分数。
苦于datastage定时任务的运行监控,基本上运行中出现的错误都能及时的发现,但只是发现不能解决问题。
《DataStage8+官方培训文档》是一份针对初学者的宝贵资源,主要涵盖了WebSphere DataStage Parallel Job的使用教程。该文档旨在引导用户逐步了解和掌握如何在DataStage环境中设计、运行和管理数据处理作业。 第1章...
《InfoSphere DataStage 8.5 开发系列教程 - 定制操作程序参考大全》是IBM提供的一份详细文档,旨在帮助用户深入了解如何利用DataStage 8.5平台开发自定义操作程序,以满足特定的数据处理需求。DataStage是IBM的一款...
安装datastage11.5版本,linux需要的补丁包。
### IBM DataStage 8.1 平行作业开发指南核心知识点解析 #### 一、IBM DataStage 8.1 平行作业概览 IBM DataStage 8.1 是一个强大的数据集成平台,专为处理大规模数据转换和加载任务而设计。在8.1版本中,特别强调...
《DataStage 8.5 补丁安装指南》 在数据处理和数据分析领域,IBM DataStage 是一个强大的ETL(Extract, Transform, Load)工具,用于整合来自不同数据源的数据。确保其稳定性和安全性至关重要,这就涉及到定期更新...
3. 数据装载:转换后的数据被加载到大数据存储系统中,如Hadoop Distributed File System (HDFS) 或其他分布式文件系统。这些系统设计用于处理海量的结构化和非结构化数据,提供高可用性和可扩展性。 4. 数据预处理...
Datastage官方培训资料 英文 Module 1: Introduction to DataStage ............................ 1-01 Module 2: Installing DataStage ..................................... 2-01 Module 3: ...