提问题
提建议
有一个订单表,数据量每天新增约20万行,需要每日同步到SmartBI的数据集市中。
目前打算用增量抽取方式,但不确定该用哪种策略:
方案A:时间戳增量:基于 update_time 字段,每天抽取前一天的数据
update_time
方案B:水位线增量:基于自增ID,记录上次抽取的最大ID,只拉新数据
业务场景中有"订单状态更新"的情况(已发货→已签收),会修改历史订单的 update_time,但又希望这些变更能同步到数据集市。
问题:
自助ETL中这两种方式分别怎么配置?
如果要同步"状态变更"的历史数据,推荐用哪种方式?
有没有"拉取变更数据"的通用最佳实践?
求ETL大神指点!????
使用道具 赞 举报
发表回复 回帖后跳转到最后一页
SmartBI进阶任务奖励500麦豆
SmartBI新手任务奖励288麦豆
免费
麦豆兑换
社区
指南
AI
搜索