十月下旬更新速递丨 直播实战启航、场景深耕与开发进阶

金秋收官,实战加码!十月下旬更新聚焦直播实战、AI场景应用、分层数据实战与开发进阶,带你从理论走向实践,从工具使用走向能力内化!

一、 AIChat资源上线

AIChat直播



AI每日一学



场景应用



二、技术经验分享



三、二次开发视频


  • 扩展包开发前端改造→ 系统阐述Smartbi前端框架的整体架构与核心组成,介绍在扩展包开发中常用的前端组件及其应用场景。


、任务持续上线



资源上线


  • “水印”白名单》→ 将大屏终端 显示的报表ID 纳入白名单,相关的报表就自动跳过水印处理,其他场景则强制加水印。


为进一步提升认证服务的质量与体验,我们对认证业务进行全面优化升级。更多详情请看Smartbi认证考试优化升级公告

麦粉社区
>
帖子详情

自助ETL如何实现数据删除

数据准备 发表于 2024-8-5 16:56
发表于 2024-8-5 16:56:02

源表存在物理删除的操作,比如某个id的数据被物理删除了。自助ETL如何保证目标表和源表数据一致

发表于 2024-8-5 16:56:03
那就是目标节点用覆盖式,但是这样的话你这个ETL必须是处理全量数据才行,不可以是增量数据
  •   禾呈工
    这种底层实现应该是先删除再插入,这种覆盖的情况性能怎么样呢。比如说100W数据
    2024-8-6 16:00| 回复
  •   小明
     回复 禾呈工
    这个回退模式满足?https://wiki.smartbi.com.cn/pages/viewpage.action?smt_poid=43&pageId=114997016#id-自助ETL关系目标源-回退模式
    2024-8-6 16:04| 回复
  •   我的小宝贝
     回复 小明
    回退是删除目标数据源中指定的数据,一般更适用于增量的场景。他这个场景是要删除原数据中不存在但是目标数据源中存在的数据,比较难查出来。
    2024-8-6 19:00| 回复
  •   我的小宝贝
     回复 禾呈工
    ETL这块应该是批处理的,性能应该还是可以的,另外也依赖是什么数据库。我建议你可以尝试执行一次看看。覆盖的话耗时主要在插入数据,因为删除目标数据源的数据应该是直接turncate的。
    2024-8-6 19:00| 回复
  •   小明
     回复 我的小宝贝
    好的,明白
    2024-8-7 11:52| 回复
  • 还有1条回复,点击查看

回复

使用道具 举报

来自手机
发表于 2024-8-5 19:14:14
目标节点用覆盖试试
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

8回帖数 0关注人数 1092浏览人数
最后回复于:2024-8-5 21:30
快速回复 返回顶部 返回列表