kettle(开源的ETL工具)-1

    技术2022-05-20  37

    kettle介绍:

         是一款国外开源的etl工具,纯java编写,绿色无需安装,数据抽取高效稳定。Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,作业则完成整个工作流的控制。job则完成整个工作流的控制。

    kettle在项目中的应用:

        一,种是通过纯设计器来设计ETL转换任务,然后保存成某种格式,比如xml或者在数据库中都可以,然后自己调用程序解析这个格式,执行这种转换,是比较抽象的一种执行方式,ETL里面转换了什么东西我们并不关心,只关心它有没有正常执行;

        二,通过完全编程的方式来实现,详细的控制每一个步骤,需要知道转换执行的成功与否,这种方式可能需要更多的理解kettle的API 以便更好的跟你的应用程序紧密结合,不过难度也比较大,可以很好的定制你的应用程序,代价自然是入门门槛比较高。可以参考开源智能框架pentaho.

    kettle开发步骤:

        1,建立转换文件(.ktr文件);

        2,建立作业文件(.kjb文件);

    入门例子:把数据库中sales表导出到excel文件中

        1,先建一个数据库连接;

        2,新建一个转换,在转换中拖入一个"表输入"和"excel output",在按住shift键从"表输入"拖一条线到"excel output";

    在"表输入"中设置数据源,在"excel output"中设置导出文件地址,这样就可以测试了,保存s.ktr;

        3,新建作业,在作业中拖入start,transformation,success并连线,双击transformation选择s.tr文件为转换,测试。保存为s.kjb

    这样叫作业就建好了。

        

     

     


    最新回复(0)