麦粉社区
>
帖子详情

自助ETL数据清洗

数据准备 发表于 2025-11-6 17:53
发表于 2025-11-6 17:53:38

自助ETL过程中如何将数据通过“转换规则”将内显值转为外显值,或者有没有其他的办法,最后清洗好的数据输出写入覆盖到关系表中

发表于 2025-11-6 19:31:20
额不太懂什么是内显值还是外显值
  •   李白
    系统实际存储在数据库里的编码或ID转为用户界面展示的文字或名称
    2025-11-7 10:37| 回复

回复

使用道具 举报

发表于 2025-11-7 09:14:03
在ETL加个节点派生列,然后写个判断转换一下就好了吧
回复

使用道具 举报

发表于 2025-11-7 09:20:20
56804690d492857afc.png

类似怎样。先查出你的数据,然后搞一个查询节点,用你的转换规则哪个功能里的sql查出来数据。然后两个数据节点json之后,再去挑选列然后覆盖原数据。
  •   李白
    该方案由于数据库字段太多,这样配置效率不高。我们这边的需求是要把数据库里的编码或ID转成界面显示的名称,清洗完后写入并覆盖目标关系表,让业务人员在建模时能直接使用。或者请问有其他的解决方案吗?
    2025-11-7 15:35| 回复
  •   数据号~
     回复 李白
    这个没有的。其实不管怎么去想,你都避不开用另一个SQL查出来,然后进行匹配的过程。
    2025-11-10 09:40| 回复

回复

使用道具 举报

发表于 2025-11-7 15:13:18
etl里目前不能直接应用系统中配置的“转换规则。
他们已经提供了两个好办法
  •   李白
    上面提的临时方案由于数据库字段太多,这样配置效率不高。我们这边的需求是要把数据库里的编码或ID转成界面显示的名称,清洗完后写入并覆盖目标关系表,让业务人员在建模时能直接使用。或者请问有其他的解决方案吗?
    2025-11-7 15:34| 回复

回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

8回帖数 0关注人数 1625浏览人数
最后回复于:2025-11-7 15:13

社区

指南

AI

搜索

快速回复 返回顶部 返回列表