Kettle数据抽取---增量抽取

    技术2024-10-06  62

    使用KETTLE实现数据的增量抽取的方法大致如下:

     

    从目标表中读取最大的时间戳或者增量字段ID,作为条件,然后把源表中所有大于这个增量字段的数据读出来,插入到目标表当中去;

     

    1.打开Kettle工具,打开新建的全量抽取流;

     

    2.选择INPUT,再拖出来一个“表输入”控件

    3.打开表输入2,配置相关参数,

     

    在这里,选择数据库连接,连接目标表,然后通过select max 从目标表中找到最大的时间戳或者增量字段;传到表输入

     

     

    4.源表输入配置

     

    打开“表输入”,需要关注的就是划圈的几个地方,从表输入2中插入一个值,然后SQL条件中的?就是用这个替代的;确定就OK.

     

     

     

     

      Zftang

                                         

    最新回复(0)