麦粉社区
>
帖子详情

自助ETL如何实现数据删除

数据准备 发表于 2024-8-5 16:56
发表于 2024-8-5 16:56:02

源表存在物理删除的操作,比如某个id的数据被物理删除了。自助ETL如何保证目标表和源表数据一致

来自手机
发表于 2024-8-5 19:14:14
目标节点用覆盖试试
回复

使用道具 举报

发表于 2024-8-5 21:30:21
那就是目标节点用覆盖式,但是这样的话你这个ETL必须是处理全量数据才行,不可以是增量数据
  •   禾呈工
    这种底层实现应该是先删除再插入,这种覆盖的情况性能怎么样呢。比如说100W数据
    2024-8-6 16:00| 回复
  •   小明
     回复 禾呈工
    这个回退模式满足?https://wiki.smartbi.com.cn/pages/viewpage.action?smt_poid=43&pageId=114997016#id-自助ETL关系目标源-回退模式
    2024-8-6 16:04| 回复
  •   我的小宝贝
     回复 小明
    回退是删除目标数据源中指定的数据,一般更适用于增量的场景。他这个场景是要删除原数据中不存在但是目标数据源中存在的数据,比较难查出来。
    2024-8-6 19:00| 回复
  •   我的小宝贝
     回复 禾呈工
    ETL这块应该是批处理的,性能应该还是可以的,另外也依赖是什么数据库。我建议你可以尝试执行一次看看。覆盖的话耗时主要在插入数据,因为删除目标数据源的数据应该是直接turncate的。
    2024-8-6 19:00| 回复
  •   小明
     回复 我的小宝贝
    好的,明白
    2024-8-7 11:52| 回复

回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

7回帖数 0关注人数 280浏览人数
最后回复于:2024-8-5 21:30
快速回复 返回顶部 返回列表