麦粉社区
>
帖子详情

自助ETL的增量抽取,推荐用"时间戳"还是"水位线"方式?

其它 发表于 1 小时前
发表于 1 小时前

有一个订单表,数据量每天新增约20万行,需要每日同步到SmartBI的数据集市中。


目前打算用增量抽取方式,但不确定该用哪种策略:




  • 方案A:时间戳增量:基于 update_time 字段,每天抽取前一天的数据




  • 方案B:水位线增量:基于自增ID,记录上次抽取的最大ID,只拉新数据




业务场景中有"订单状态更新"的情况(已发货→已签收),会修改历史订单的 update_time,但又希望这些变更能同步到数据集市。


问题:




  1. 自助ETL中这两种方式分别怎么配置?




  2. 如果要同步"状态变更"的历史数据,推荐用哪种方式?




  3. 有没有"拉取变更数据"的通用最佳实践?




求ETL大神指点!????

发表于 21 分钟前
这个得看你业务需求选择吧
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

1回帖数 0关注人数 37浏览人数
最后回复于:21 分钟前

社区

指南

AI

搜索

快速回复 返回顶部 返回列表