六月下旬全新资源上线!丨 解锁高效能实战方案

更新亮点:本次新增5大专题9项资源,点击标题5分钟极速了解!参与互动赢取麦豆,解锁更多内容)

一、实战技巧分享

即席/透视的逆袭之路:从卡顿到秒出→ 性能优化实战,实现报表秒级响应!

体验中心焕新一“夏”,全新导览页及新DEMO上线!→ 抢先体验夏季更新DEMO!

速看!明细/汇总/交叉表的实现秘籍→ 高效构建复杂报表指南

二、开发技能突破

视频课《仪表盘图片鼠标提示几行代码,让你的仪表盘“会说话”!

视频课《仪表盘宏开发技巧→ 解锁宏开发技巧和注意事项

三、直播上线

直播《交互式仪表盘最佳实践解锁可视化大屏最佳实践技巧

四、AI每日一学

人工智能三驾马车:算法、算力与数据→ 深度解析AI核心支柱

通俗的讲一下神经网络模型的基本组成、工作原理、工作类型和生活应用场景→ 从基础到场景实战

五、资源上新

插件《安全检测→ 一键加固系统安全防护

麦粉社区
>
帖子详情

自助ETL如何实现数据删除

数据准备 发表于 2024-8-5 16:56
发表于 2024-8-5 16:56:02

源表存在物理删除的操作,比如某个id的数据被物理删除了。自助ETL如何保证目标表和源表数据一致

发表于 2024-8-5 16:56:03
那就是目标节点用覆盖式,但是这样的话你这个ETL必须是处理全量数据才行,不可以是增量数据
  •   禾呈工
    这种底层实现应该是先删除再插入,这种覆盖的情况性能怎么样呢。比如说100W数据
    2024-8-6 16:00| 回复
  •   小明
     回复 禾呈工
    这个回退模式满足?https://wiki.smartbi.com.cn/pages/viewpage.action?smt_poid=43&pageId=114997016#id-自助ETL关系目标源-回退模式
    2024-8-6 16:04| 回复
  •   我的小宝贝
     回复 小明
    回退是删除目标数据源中指定的数据,一般更适用于增量的场景。他这个场景是要删除原数据中不存在但是目标数据源中存在的数据,比较难查出来。
    2024-8-6 19:00| 回复
  •   我的小宝贝
     回复 禾呈工
    ETL这块应该是批处理的,性能应该还是可以的,另外也依赖是什么数据库。我建议你可以尝试执行一次看看。覆盖的话耗时主要在插入数据,因为删除目标数据源的数据应该是直接turncate的。
    2024-8-6 19:00| 回复
  •   小明
     回复 我的小宝贝
    好的,明白
    2024-8-7 11:52| 回复
  • 还有1条回复,点击查看

回复

使用道具 举报

来自手机
发表于 2024-8-5 19:14:14
目标节点用覆盖试试
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

8回帖数 0关注人数 786浏览人数
最后回复于:2024-8-5 21:30
快速回复 返回顶部 返回列表