七月下旬更新速递丨 任务中心上线,福利加倍!技术干货持续放送

更新焦点: 重磅推出「任务中心」! 完成多样化任务,轻松赚取麦豆!技术分享、AI学习、实用素材持续上新,点击标题立即探索!

任务版块全新登场!多个任务等你完成,麦豆轻松拿,福利享不停!

>> 立即前往任务中心,开启你的成长之旅! <<

二、实战技巧分享

报表合计不用愁!全场景报表合计一键搞定指南》→从几个场景出发,带大家全方位了解如何在各类报表中实现合计。

数据轻松入库,高效分析即刻开启!》→详细介绍在 Smartbi 中将数据导入数据库的几种主要途径。

三、开发技能突破

第三方系统集成Smartbi资源→演示一些入门的前端集成示例,帮助快速了解如何进行前端集成。

AI每日一学

什么是训练集?什么是验证集?什么是测试集?》→ 讲解如何用三大数据集为AI打造"训练-调试-终测"的全流程闭环

Manus与其他AI智能体产品有什么区别?》→ AI界真·“实干家”Manus上线!告别“嘴炮”AI,围观智能体如何“动手”逆天改命!速戳

五、资源更新

浅色系质感背景图》→百搭质感背景,看见即呼吸,质感如微风。

六、直播上线

如何制作性能最佳的报表解锁性能最佳报表的实践技巧

麦粉社区
>
帖子详情

自助ETL如何实现数据删除

数据准备 发表于 2024-8-5 16:56
发表于 2024-8-5 16:56:02

源表存在物理删除的操作,比如某个id的数据被物理删除了。自助ETL如何保证目标表和源表数据一致

发表于 2024-8-5 16:56:03
那就是目标节点用覆盖式,但是这样的话你这个ETL必须是处理全量数据才行,不可以是增量数据
  •   禾呈工
    这种底层实现应该是先删除再插入,这种覆盖的情况性能怎么样呢。比如说100W数据
    2024-8-6 16:00| 回复
  •   小明
     回复 禾呈工
    这个回退模式满足?https://wiki.smartbi.com.cn/pages/viewpage.action?smt_poid=43&pageId=114997016#id-自助ETL关系目标源-回退模式
    2024-8-6 16:04| 回复
  •   我的小宝贝
     回复 小明
    回退是删除目标数据源中指定的数据,一般更适用于增量的场景。他这个场景是要删除原数据中不存在但是目标数据源中存在的数据,比较难查出来。
    2024-8-6 19:00| 回复
  •   我的小宝贝
     回复 禾呈工
    ETL这块应该是批处理的,性能应该还是可以的,另外也依赖是什么数据库。我建议你可以尝试执行一次看看。覆盖的话耗时主要在插入数据,因为删除目标数据源的数据应该是直接turncate的。
    2024-8-6 19:00| 回复
  •   小明
     回复 我的小宝贝
    好的,明白
    2024-8-7 11:52| 回复
  • 还有1条回复,点击查看

回复

使用道具 举报

来自手机
发表于 2024-8-5 19:14:14
目标节点用覆盖试试
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

8回帖数 0关注人数 864浏览人数
最后回复于:2024-8-5 21:30
快速回复 返回顶部 返回列表