麦粉社区
>
帖子详情

自助ETL中,如何对多列组合做去重?

其它 发表于 半小时前
发表于 半小时前

有一张订单明细表,因为业务系统原因会有重复记录(同一个订单ID可能会重复出现多次),但重复的判断依据需要基于“订单ID + 商品编码 + 下单日期”三列组合来判断,单靠订单ID不行(同一订单有多个商品)。


在自助ETL中找到了“去重行”节点,但好像只能指定一个字段作为去重依据。


想问一下:




  1. “去重行”节点支持多列组合去重吗?如果不支持,有其他节点可以实现吗?




  2. 如果有重复记录,去重时是保留第一行还是最后一行?这个可以控制吗?




  3. 有没有办法在去重前先按某个字段排序,确保保留的是最新的一条记录?



高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

0回帖数 0关注人数 17浏览人数
最后回复于:半小时前

社区

指南

AI

搜索

快速回复 返回顶部 返回列表