麦粉社区
>
帖子详情

重生之如何找SQL看数据不对问题(下)

干货分享 发表于 2025-2-8 10:52
发表于 2025-2-8 10:52:17

数据模型篇


 


重生之如何找SQL看数据不对问题(上)书接上篇,提到数据模型,可能很多朋友就要开始头疼了,怎么SQL监控出来的那一堆玩意看起来看不懂,到底是个啥东西呢?


 


这就要先说下我们模型取数的逻辑了:


 


模型是依赖OLAP运行,OLAP是个多维服务,也就是这玩意执行的是MDX语句,一听是不是被唬住了,它大概逻辑就是,根据你前端展示的字段,生成MDX、SQL,然后跟上篇一样,通过jdbc驱动跟数据库交互,把SQL送到业务库执行,返回到Smartbi,只不过这个时候,返回数据到OLAP那边,OLAP再进行处理,处理好之后,再展示到前端。大概流程可以看下面这个图。


 


image.png


 


说那么多,不是搞的比旧数据集还复杂吗,那为啥要用模型啊,这就不得不说mdx那强大的计算功能了,像那些时间计算,同期值、同比值等等,你SQL写的出来吗?不太能行吧,人家mdx就厉害在这,他只要一条语句就搞定了,当然肯定不单单只有这些好处,具体啊,咱就不多说了,大家可以看看我们官方文档:


为什么需要数据模型


 


言归正传,当出现数据不对的情况,我该怎么去拿SQL来排查?


 


当模型走SQL引擎的时候,这个时候是不会有mdx的,我们可以按上面旧数据集的方式进行排查,具体什么时候回走SQL引擎呢,请看下图,如果是想要SQL引擎更详细的介绍,可以看我们的wiki:SQL引擎介绍


 


image.png


 


当走OLAP,这个时候要获取执行SQL就略微复杂了,你会发现下面这一堆东西,看不懂啊,这个时候我们就要切换另一个工具去辅助看SQL了,即:OLAP监控页面


 


image.png


 


OLAP监控默认是没有配置的,下面来告诉大家怎么去配置OLAP监控,配过的话,那也可以再复习下。


 


首先去系统监控中,点击左上角的设置,接着点击添加服务器,会新增一条记录,再根据实际配置改改ip端口就好了。配置好之后可以点击右侧测试链接,删除隔壁那个就是测试按钮,如果没问题会提示链接成功。


 


image.png


 


而这个地址呢,他在哪儿呢?看图说话,要注意那个地址,别复制多了啊:


 


image.png


 


配置完之后就可以看到这里多了个服务,点击打开就进到了OLAP监控了。什么,密码是多少?这咱也不知道啊。别急别急,现场如果是自己第一次访问OLAP页面配置的,他会提示你没配置,给个链接你点击跳转过去配置。忘记了啊,那要么重置下吧,删除下面图中那行记录,保存,重新访问下OLAP的这个地址,http://ip:18081/smartbiOLAP/manager/index.jsp(ip和端口记得修改为实际的哦),他会让你重新配置的。


 


image.png


 


配完了点开之后我们就能进到OLAP的监控界面了:


 


image.png


 


右侧资源树有三个我们要特别注意的,分别是SQL监控、MDX查询监控、MDX运行示例。怎么会有这么多?这就要说道说道了。


 


首先如前所说,这是先经过了OLAP引擎,会有MDX生成,所以是先进到MDX查询监控,因为也是能看到全局的,为了避免眼花缭乱,还是记得先选当前会话:


 


image.png


 


选好了之后,可能还是很多,那可以先点击右上角的清空,接着回去清空缓存,重新刷新一下报表啊,预览下数据啥的,再切回来,就能看到对应的mdx了,看不到就点下刷新,等等他就来了,然后复制这个红框的编号,带着它去到SQL监控:


 


image.png


 



粘贴在SQL监控里的MDX查询ID上即可,或者没有的话,可以粘贴完了回个车啊,或者点个刷新啊,这里也就出来了:


 


image.png


 


是不是好多条,都是干嘛用的?我实际也没这么多条SQL啊!别急别急,容我解释下。我们先看描述。


 


描述里,SQLTupleReader.readTuples开头的,比如我们在即席查询里勾选了【产品类别】和【产品名称】,那么这里就是表示是按照我们勾选的【产品类别】和【产品名称】维度进行聚合,获取的是【产品类别】和【产品名称】两个维度的组合,这样多维引擎,也就是OLAP,就构造了一个包含【产品类别】和【产品名称】两个维度的立方体,就从这个立方体里取数。通常这里的很少用到这里的,可先忽略不计。


 


另一个描述,Segment.load,则是我们需要关注的SQL,那么多条,是因为要分页取数,行数不太一样是因为要查询的条件不一样,这里我们可以先取SQLTupleReader.readTuples最近的一条,复制了之后去数据模型那边的SQL查询选下数据源执行,或者是去JDBC方式连接的数据库工具里跑跑看看数据对不对啊啥的,数据库工具就比如是,DBeaver,DBvisualizer等等:


 


image.png


 


那,MDX运行示例是用来干啥的?这个是检查MDX的,可以从MDX查询监控那里点击测试MDX直接跳转,就会带着监控里对应的MDX跳转过来了,有显示生成的MDX和对应的运行结果,至于里面的MDX怎么看,就涉及到MDX语法啥的啦,想要了解的朋友可以移步我们官方支持的文档,或者去看看微软官方的关于多维查询的介绍,这里就不长篇大论了:


 


image.png


 


来个例子


 


长篇大论这么多,估计还是很懵逼,到底怎么查。来个例子套一套公式你就知道了。小帅在做透视分析,发现怎么只有华北的数据,但是数据库也不止华北啊,报表我也没有参数条件,到底是谁偷了其他数据。


 


image.pngimage.png


 


然后我们按上面方式监控,SQL监控是下面这种情况,也就是,现在走的是多维模型,那就得去OLAP监控那边看了,那就转战OLAP监控。


 


image.png


 


首先我们看到了MDX查询监控中,找到对应查询的语句,然后获取到那个编号,再切换到SQL监控中。


 


image.png


 


接着我们把那个查询编号,去SQL监控中,查询出来对应编号的SQL,现在是有两条,其中下面那个就是上面说到查询维度的,我们可以先不看,我们看上面那条,这里我们发现,模型实际上是有个条件,过滤了华北的,这个时候我们再倒回模型去看。


 


image.png


 


首先我们打开模型看到,是一个SQL查询来的,那问题估计就是出现在SQL查询里面了,我们打开看看。


 


image.png


 


打开SQL查询后,欸,怎么有个华北的值,执行出来这里那就是只有华北的数据了,问题就在这了。


 


image.png


 


这里就衍生出另一个问题,为啥我这里配置了参数,报表层面没得让我勾选呢?这就要说说我们的参数定义了,我们的参数定义啊,你可以理解为,里面的子查询,也就是SQL查询、可视化SQL查询这些,里面得先占个参数的坑。占好之后,得要有个正主来用,那就要到模型那里参数设置,映射出来,就是模型工具栏的设置参数。


 


image.png


 


进去之后那就简单了,有个一键映射的按钮,点击之后,会自动把里面子查询的参数映射出来,那这个时候该修改控件类型就修改控件类型,该改备选值就改备选值。


 


image.png


 


映射好保存好,报表层面资源树那里就可以去勾选参数了,勾选了用户就能自己去切换了。


 


image.png


 


怎么样,结合例子来看其实没这么复杂了,上面的例子只是简单的入个门,如果想要了解更多的排查例子,可以移步我们官网wiki里深入学习。


 


我们后续会带来更多的分享,各位可以多多关注~新的一年祝大家生活顺心如意,事业步步高升!感谢一路相伴,愿未来更加精彩!

发表于 2025-2-8 11:22:54
芜湖!看到个惊喜!起飞~
  •   麦本麦
    哈哈,这种心情我懂,就像突然中奖一样,整个人都飘了嘿嘿~
    2025-2-12 09:10| 回复

回复

使用道具 举报

发表于 2025-2-8 11:24:58
有点东西

回复

使用道具 举报

发表于 2025-2-8 11:26:27
手动点赞

回复

使用道具 举报

发表于 2025-2-8 14:02:20
收藏一个

回复

使用道具 举报

发表于 2025-2-8 15:07:49
一键收藏,下次一定看

回复

使用道具 举报

发表于 2025-2-8 15:10:49
学习学习~

回复

使用道具 举报

发表于 2025-2-8 15:11:32
会了会了会了,有用,多写,爱看!

回复

使用道具 举报

发表于 2025-2-8 15:20:12
眼睛说我会了,脑子说现在强得可怕,手在旁边啪啪打脸

回复

使用道具 举报

发表于 2025-2-8 16:59:28
终于等到你,还好我没放弃~~~~~
这次的需要实操一下,涉及到MDX,看着还是有点头晕晕。

回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

26回帖数 1关注人数 709浏览人数
最后回复于:7 天前
快速回复 返回顶部 返回列表