关于使用 Talend Data

    前段时间，在做ETL的工作，接触了一段时间的Talend，这个专门进行ETL的过程的软件。

    ETL的有几个不同的功能的版本，几个功能的版本分别有不同的功能。

    Talend本身有几个版本是根据Eclipse开发的。

    这里我主要使用的Data Quality 和 Big Data。Data Quality 本身使用没什么大问题， 到时 Big Data使用的使用会出现卡住，闪退的现象。如果有固态硬盘的条件的，尽量吧Big Data 放在固态硬盘来跑。

    Data Quality 功能简单，上手很快，简单说明一下：看名字就大概知道是什么意思的，简单的对表的数据一种解析，比如我们平时要看到表中有什么异常的数据的时候，会吧表里的数据一条条先过一遍，这样的遍历能提高对异常数据的过滤的时候的准确度，少量数据还能接受，但是一段出现了大量的数据，这样一条条遍历的方式就很不靠谱了，时间成本太高，毕竟人的精力有限。Data Quality的作用就是很快的让我们大概的看到这个表中大概有哪些数据。

    当然，不能指望一个软件一次性的全部吧有问题的数据全部搞告诉你，它只能大概的分辨，有哪些字段，大概出现了哪些值。主要的原理还是靠着SQL与语句，简单点说就是吧平时我们需要自己洗的SQL语句分装好给你使用，这样，我们使用特定的SQL语句使用，可以不用自己写，而通过点击几个按钮就可以使用功能。ETL前期的应该是一个迭代的过程，大概先出现了一次，看到结果是否还存在异常数据，让后继续迭代更改ETL的条件。