六月下旬全新资源上线!丨 解锁高效能实战方案

更新亮点:本次新增6大专题10项资源,更有王炸课程重磅登场,点击标题了解!(参与互动赢取麦豆,解锁更多内容)

王炸专区:场景化数据分析实战

一站式贯通数据驱动全流程,从需求洞察→数仓开发→模型构建→可视化呈现,手把手带你构建决策引擎,助你秒变企业决策智多星!

二、实战技巧分享

即席/透视的逆袭之路:从卡顿到秒出→ 性能优化实战,实现报表秒级响应!

体验中心焕新一“夏”,全新导览页及新DEMO上线!→ 抢先体验夏季更新DEMO!

速看!明细/汇总/交叉表的实现秘籍→ 高效构建复杂报表指南

三、开发技能突破

视频课《仪表盘图片鼠标提示几行代码,让你的仪表盘“会说话”!

视频课《仪表盘宏开发技巧→ 解锁宏开发技巧和注意事项

四、直播上线

直播《交互式仪表盘最佳实践解锁可视化大屏最佳实践技巧

五、AI每日一学

人工智能三驾马车:算法、算力与数据→ 深度解析AI核心支柱

通俗的讲一下神经网络模型的基本组成、工作原理、工作类型和生活应用场景→ 从基础到场景实战

六、资源上新

插件《安全检测→ 一键加固系统安全防护

麦粉社区
>
帖子详情

集成

干货分享 发表于 7 小时前
发表于 7 小时前

【内部】高效处理资源集成难题


在进行多系统集成的时候,是不是经常会被各种集成问题给难道,集成很多细节点没有注意导致集成失败,引发了一系列的疑问:



  1. 为什么openresource集成请求参数传递失败?

  2. 为什么令牌token令牌解析失败?

  3. 为什么令牌token登录之后参数传递失败

  4. ......


下面我们就从基础出发,深入探究基础的秘密。


一、openresource集成问题


注意本节介绍的内容只是单独使用openresource时的注意事项,默认均是已完成单点登录的集成。


1、选择正确的传参字符串json


在资源集成的时候,openresource请求的paramsInfo、paramsInfoBase64两个参数是用来传递参数,传递的参数信息需要一个json格式的字符串。在不同的资源里其传递的字符串格式是不一样的,所以需要根据不同的资源选择正确的参数json串,选择正确的传参字符串参数传递的问题可以解决很多参数传递失败的问题。


http://localhost:18080/smartbi/vision/openresource.jsp?resid=I402881e5019608c408c4fb7801960e2ec9b42d3d¶msInfo=


各资源参数选择如下


电子表格、旧即席查询、旧透视分析

单参数: [{"name":"发货区域", "value":"华北","displayValue":"华北"}]


多参数: [{"name":"发货区域", "value":"华北","displayValue":"华北"},{"name":"订单年份", "value":"2020","displayValue":"2020"} ]


多选参数:[{"name":"订单年份", "value":"2020,2021","displayValue":"2020,2021"}]


仪表盘、新即席查询、新透视分析

单参数: {"订单年份":{"values":["2020"]}}


多参数: {"订单年份":{"values":["2020"]}, {"订单月份":{"values":["2020-01"]} }


多选参数:{"订单年份":{"values":"2020,2021" }} 或 {"订单年份":{"values":["2020","2021"]}} 或 [{"name":"订单年份", "value":["2020","2021"],"displayValue":["2020","2021"] }]


注意:仪表盘除去以上格式之外也支持使用电子表格的参数传递方式


多选参数注意事项


  1. 由于电子表格里参数是通过英文逗号进行分割多个参数,所以在多个参数传递的时候只能写成"value":"2020,2021" ,若业务数据中不规范有逗号,则会解析为两个参数,由于电子表格的架构实际目前无法解决该问题。

  2. 仪表盘上的参数逻辑不同于电子表格,不仅可以写成"values":"2020,2021"和电子表格的逻辑一致,还额外提供了数组的写法"values":["2020","2021"]。此时需要注意,如果使用数组的写法,数组中的每一项表示一个参数,如写为"values":["2020,2021"]则表示传递的参数是2020,2021的整体,而不是拆分成两个参数,可解决业务数据中有英文逗号的问题。


2、url转码


在选择正确的参数之后,拼接得到最终访问资源的请求,具体可以参考如下示例。那么如下链接如果直接访问会有哪些问题呢?


http://localhost:18080/smartbi/vision/openresource.jsp?resid=I402881e5019608c408c4fb7801960e2ec9b42d3d¶msInfo=[{"name":"发货区域", "value":"华北","displayValue":"华北"}]


HTTP状态 400 - 错误的请求


在参数的链接中我们可以发现其存在中文数据,同时也存在特殊字符,访问时就很可能会出现如下Tomcat报错"HTTP状态 400 - 错误的请求"的报错,在报错的描述信息中可以看到原本paramsInfo后面加的参数变成了一堆编码,其错误描述中大致的意思是请求信息中有无效的字符导致的。


IMG_256


出现这个问题是因为tomcat高版本严格按照RFC 3986规范解析地址。该规范只允许包含a-zA-Z 0-9 - _ . ~ 以及所有保留字符 ! * ’ ( ) ; : @ & = + $ , / ? # [ ]    通常情况下参数中使用的保留字符并不会识别为参数的内容,而是识别为请求相关的内容


所以当请求中有除去上述的特殊字符或中文的时候会被Tomcat的限制,会识别不到请求所以抛出400的错误状态码。那实际遇到这种问题的时候又该如何解决呢?


方案一:使用 encodeURIComponent 函数进行url转码

url转码是浏览器请求时面对不合法的请求时进行转化的重要手段,实现的原理是将需要转码的字符,按指定编码方式(默认使用UTF-8编码)转化为字节流,然后每个字节按16进制表示,最后添加%组成一个percent编码,最终就会变成%+16进制+16进制的格式


例如:你好



  • UTF-8字节流打印为:-28 -67 -96 -27 -91 -67

  • 对应的16进制表示为:E4 BD A0 E5 A5 BD

  • URLEncode编译后为:%E4%BD%A0%E5%A5%BD


此时转码之后的字符就可以被浏览器识别,所以只需要将paramsInfo后面的参数内容全部进行url转码之后拼接到请求中就可以被Tomcat识别。如下这里我们直接在浏览器控制台中使用encodeURIComponent,得到的结果拼接成完整的url请求具体如下。此时就可以正常访问并且传参成功,在实际开发场景中只需要将拼接之后参数json进行字符串格式化之后再拼接到请求中即可完成参数传递。


IMG_257


http://localhost:18080/smartbi/vision/openresource.jsp?resid=I402881e5019608c408c4fb7801960e2ec9b42d3d¶msInfo=%5B%7B%22name%22%3A%22%E5%8F%91%E8%B4%A7%E5%8C%BA%E5%9F%9F%22%2C%22value%22%3A%22%E5%8D%8E%E5%8C%97%22%2C%22displayValue%22%3A%22%E5%8D%8E%E5%8C%97%22%7D%5D


方案二:修改tomcat的server.xml配置文件

在Tomcat/conf/server.xml文件中,可以在请求端口的配置中添加relaxedPathChars="|{}[],%"relaxedQueryChars="|{}[],%" 两个参数同样也可解决该问题,特殊情况下还需要多添加一个URIEncoding="UTF-8" 的参数,避免因为字符集导致的转码异常。


IMG_258


注意:若为window一键安装部署Tomcat,默认情况下这些参数是已经添加过的。


测试html文件:open.html (测试资源仅提供测试验证以及参考,实际的集成时请以实际场景为准)


下载后双击打开html文件,输入需要集成资源的openresource地址之后,选择不加密,然后在下方添加需要传递的参数以及参数值,最后点击拼接url之后即可得到完整的集成链接,访问拼接的地址可验证参数是否正常传递成功。


IMG_259


3、base64加密


在实际生产的过程中使用openresource.jsp集成资源的时候,除去会遇到Tomcat无法识别字符的问题之外,还可能或有参数过多请求头过长请求被拦截、请求中大量的特殊字符被网络安全策略拦截等各式各样的场景,那是否还有其他办法规避掉这些问题?


base64加密流程

(1)配置好需要加密的参数,这里以发回区域参数为例,如:[{"name":"发货区域", "value":"华北","displayValue":"华北"}]


(2)用加密算法进行加密,加密要点如下:



  1. 使用base64加密是需要以UTF-8的字符集来进行加密

  2. 建议使用sun.misc.BASE64Encoder类来加密处理,也可以使用js代码来处理,但是不作为首要推荐,因为加密不一致时解密可能会异常。

  3. 加密完成后需要对加密后的字符串进行转码


(3)使用encodeURLComponent对加密后的字符串进行转码。



  • 加密之后的base64串是可能包含除字母之后的一些特殊字符的,所以一定需要进行url转码,否则Smartbi在加解密的时候就会报错,前端页面显示500,如下图


IMG_260IMG_261


base64参考示例

java代码实现参考:


// 对格式化的json字符串sourceString使用UTF-8字符集进行加密


String targetTempString = new sun.misc.BASE64Encoder().encode(sourceString.getBytes(StandardCharsets.UTF_8));


// 对加密后的字符串进行url转码


String targetString = java.net.URLEncoder.encode(targetTempString);


js代码实现参考:


// 1、对参数进行字符串转换,json格式化


let jsonString = JSON.stringify(params);


// 2、对字符串的数据转为二进制


let utf8Bytes = new TextEncoder().encode(jsonString);


// 3、用二进制的数据转为utf-8之后进行base64编码


let base64Encoded = btoa(String.fromCharCode(...utf8Bytes));


// 4、对base64编码进行url转义


return encodeURIComponent(base64Encoded)


最终访问地址拼接示例如下:


http://localhost:18080/smartbi/vision/openresource.jsp?resid=I402881e5019608c408c4fb7801960e2ec9b42d3d&W3sibmFtZSI6IuS6p%2BWTgeWQjeensCIsICJ2YWx1ZSI6IuWNjuWMlyIsImRpc3BsYXlWYWx1ZSI6IuWNjuWMlyJ9XQ%3D%3D


测试html文件:open.html (测试资源仅提供测试验证以及参考,实际的集成时请以实际场景为准)


下载后双击打开html文件,输入需要集成资源的openresource地址之后,选择不加密,然后在下方添加需要传递的参数以及参数值,最后点击拼接url之后即可得到完整的集成链接,访问拼接的地址可验证参数是否正常传递成功。


IMG_262


4、post请求提交


前面介绍的集成方式都是通过get请求来进行集成的,集成的时候有发现存在各种浏览器的限制问题,有没有什么方式能直接绕开这些限制的传参方式呢?


在Smartbi中支持通过form表单的形式来提交post请求来进行集成,使用post请求来进行集成时基本上可以规避很多get请求时会出现的问题,实现的方式可以参考下面的简单示例。



post集成示例拆解


示例总共有四个部分组成,下面我们来逐步拆解


(1)设置提供表单的响应区域

在实际的集成场景中,比较常见的就是点击了某些类似资源树上的节点之后再在页面上展示集成资源的结果,这里我们需要使用

标签的target参数来指定显示的位置,可以修改target的参数值为不同的值来得到不同的响应效果,如:


target="_blank": 在新窗口或新选项卡中显示响应。



  • target="_self":在当前页面上响应(默认)

  • target="iframeName":在指定名字的ifarme标签中响应,如下name="myFrame"的ifarme标签中展示,则写为target="myFrame"