Gartner魔力象限的解读与增强分析实践

近日，Gartner 发布了最新一期的《数据分析和商业智能平台魔力象限》报告。报告指出，如今商业智能（BI）平台关键的差异化因素是在单一平台上增强分析，并支持Mode 1模式（作为Gartner定义的一种分析模式，Mode 1侧重于传统BI的功能，客户需求范围是预先可确定的，以固定报表、参数化仪表盘、基于语义层的多维分析为主，这有别于Mode 2 侧重的探索式分析。）

BI发展趋势

1、gartner简介

Gartner Group，成立于 1979 年，全球最专业权威的 IT 研究咨询公司，研究的范围覆盖全部 IT 产业。在全球范围内差不多有 1000 多名 10-15 年 IT 技术工作背景的分析员，大多都有 CIO 背景，自身都有很强的专业技术能力，对 IT 行业的研究和解读也很具专业性。

Gartner 每年都会发布各个 IT 细分领域的分析报告，比如今年的 Magic Quadrant for Analytics and Business Intelligence Platforms （ ABI ），分析与商业智能 BI 平台魔力象限。在这里强调的是从业务角度的分析 Analytics 和工具角度的 BI 平台，共同组成了 ABI 的概念。

◆ Magic Quadrant 魔力象限

魔力象限会以二维模型来阐述各个厂商、供应商的实力与差异，基于两个分析指标方向：

横轴，前瞻性（ Completeness of Vision ）— 包括厂商或供应商提供的产品底层技术基础的能力、市场领导能力、创新能力和外部投资等等。

纵轴，执行能力（ Ability to Execute ）— 包括产品的使用难度、市场服务的完善程度和技术支持能力、管理团队的经验和能力等。

◆ 关键功能区域

那么这个象限图又是如何诞生的呢？实际Gartner 列出了有 15 项关键功能，并根据各家产品的情况，分别打分综合得出。

这15 项关键功能如下图：

2、新的玩家

今年最新发布的象限图如下：

如果我们对比2019的象限图，会发现两个新的厂家进入了。他们分别是国内厂家阿里云 Quick BI和一家加拿大厂家Dundas，他们都在象限图的左下角，利基者区域 （小众区域）。

◆ Quick BI

Quick BI是阿里云旗下产品，是一个基于云计算致力于大数据高效分析与展现的轻量级自助BI工具服务平台。通过对数据源的连接和数据集的创建，对数据进行即时的分析与查询；通过电子表格或仪表板功能，以拖拽的方式进行数据的可视化呈现。

依托于阿里云的基础设施与庞大的阿里系用户群体，Quick BI在国内市场有相当的竞争力，当然由于推出时间还是较短，产品成熟度与传统厂家相比还是有一定差距。而对于国内用户而言更大的考虑点在于数据是否上云以及是否完全使用阿里的体系产品。作为第一家进入魔力象限图的国内厂家，是国产软件的榜样，我们祝贺阿里。

◆ Dundas

Dundas则是一家从做图形组件起步的BI厂家，Dundas BI平台使用户能够可视化数据，构建和共享仪表盘，创建像素完美的报告以及嵌入和自定义分析内容。

因此Dundas与一般的BI厂家不同，它主要销售给大型企业，专门从事嵌入式BI，其收入的70％来自OEM，这些OEM将Dundas BI扩展，集成，自定义并将其嵌入到他们的应用程序中。其目前对国内市场影响很小。

3、新的趋势

那么除了厂家的变化外，Gartner今年的报告还带来了什么？它指出了两个BI方面重要的趋势。

◆ 可视化不再是亮点

这个趋势主要基于两个事实：

1. 可视化功能已经属于各个厂家的标配，且功能趋同性日益加强。在以往的一段时间里，我们往往可以一眼分辨出A产品与B产品的区别，因为在图表外观上就有明显的差异。但在最近一两年，如果不是业内人士，可能需要仔细才能看出来，图表的样式甚至默认配色都越来越像了。这规律与手机的发展是一样的。

2. 客户逐渐成熟，逐步由看热闹转为看门道。当大家第一次实践BI项目时，可能很容易被图表的美观所吸引，然后才会逐渐认识到性能，权限管理等重要性。BI本质是用来分析问题的而不是只是看或者打印的。一个3D的柱图通常不会比一个2D的柱图能带来更多的分析能力，更不要提3D粒子组件这样的内容了。

◆ 增强分析日益凸显

在Gartner对于未来一段时间预测中，增强分析占据的绝对的地位。报告是这样描述的：

到2022年，增强分析技术将无处不在，但只有10％的分析师将充分发挥其潜力。

到2022年，40%的机器学习模型开发和评分将在没有机器学习作为主要目标的产品中完成。

到2023年，全球500强公司中有90％将把分析治理融合到更广泛的数据和分析治理计划中。

到2025年，80%包含电子产品的消费品或工业产品将纳入设备分析。

到2025，数据故事将成为最广泛的分析消费方式，75%的故事将自动生成使用增强分析技术。

什么是增强分析

对于如此重要的增强分析，到底包含什么？在gartner定义里，增强分析主要包含以下几项内容：增强数据准备，自动化高级分析，自然语言查询，自然语言生成。

其技术本质是将BI领域中的，数据处理、自助化分析，数据展现等部分与最新的AI /ML 技术相结合，使得数据分析的广度、精确度以及便利性都得到极大的增强。

◆ 增强数据准备

只要是使用过数据分析的群体，必然使用过各种数据准备的功能。这通常有格式转化，数据去重，行列合并等。而增强数据处理则指将应用ML技术扩大数据准备的能力，加入数据降维、Onehot编码等手段使数据能用于后续的高级分析。并且进一步自动为最终用户生成洞察力的能力（例如，自动识别数据集中最重要的属性或者自动构建数据模型）。

◆ 自动化高级分析

高级分析功能则指ABI平台应该具有 ML / AI等一系列高级数据算法，一般上来说起码具备解决分类、聚类、回归问题的能力，进一步应该要有支持深度学习，如神经网络等功能。 这些功能既可以包含在ABI平台本身中，也可以通过导入和集成外部的模型来使用。

同时，Gartner还强调高级分析功能的自动化。高级分析起码应该是能拖拉拽完成的，甚至是能尽可能的减少人工参与的，使得非专业人员也能使用。

◆ 自然语言查询 （NLQ）

自然语言查询使用户可以使用在搜索框中键入或说出的业务术语来查询数据。Gartner预测到2020年，50%的分析查询将通过搜索、自然语言处理或语音生成，或者自动生成。

这将带来起码3个方面的变化：

1. 任何用户均可以文本或语音的形式提问，会使问题和回答变得日益复杂化。

2. 自然语言处理被当作查询接口使用，甚至会成为ABI系统的主要用户交互方式。

3. 极大的扩展 ABI系统的适用人群，原来不会使用系统人员，或者低权限用户也能使用系统。

◆ 自然语言生成 (NLG)

自然语言生成这个词可能一下有点不好理解，如果我们把ABI系统比作一个虚拟人，那么NLG就是这个人在向我们"说话"。如春节时电脑自动写春联（输入开头进行对联自动生成）就是一个NLG的应用。

那么在ABI系统中NLG则指自动创建对数据中发现的见解的丰富语言描述。在分析环境中，随着用户与数据交互，叙述会动态更改以解释关键发现或图表或仪表盘的含义。

◆ 增强分析对于企业的作用

对于企业而言，以前采购一套数据分析平台基本由IT人员进行，而现在则更多地面向业务人员，包括产品人员和销售管理人员，但是高级分析功能则还是由IT主导。而增强分析的出现则可以改变这个现状，不单是说所有人都能从基础数据分析中获益，而是所有人都能掌握更高级、更便于理解的数据分析，并从中获益。

增强型分析能帮助用户实现数据的快速准备，推荐可能有用的数据和算法。通过自动建立模型，增强型分析可以帮助用户将模型放置到场景中，进行管理模型和分享模型，最后可以通过自动的业务发现能力，为用户带来以自然语言或自动可视化的形式展现或者直接解释分析结果。

从业务流程的角度来看，在连接数据、分析数据或者建模都需IT技术人员来操作的情况下，业务人员会不断向IT人员提出需求，且这些需求反复多样、需要的数据也各不相同，因而中间的审批流程会非常影响效率。而及时业务人员获取了分析结果，在现有的复杂数据场景下，解读结果也会有难度。

从实际业务角度来看，业务人员需要将需求传递给IT人员，传递的过程中经常会出现偏差，因此最终得到的数据和分析结果可能跟实际需求相距甚远。如果业务人员也能使用上述增强分析的种种功能，直接获取数据并用数据做分析的话，上述流程问题和业务需求传递的问题也就将不复存在，甚至包括分析结果的解读困难都不复存在。

Smartbi V9 的增强分析

思迈特作为一直深耕国内BI市场的企业，致力于将最先进的业界理念落实到产品中。在19年发布的Smartbi V9中，已经具备了gartner定义的在增强数据分析、自动化高级处理、自然语言查询方面的基本功能，分别对应到ETL、机器学习、语音助手这些模块中。因此，我们的客户是可以通过V9 进行增强分析的实践。

◆ ETL

Smartbi ETL能够与BI无缝连接，允许将数据准备的结果，以数据表方式直接提供给BI使用。更值得注意的是，Smartbi ETL功能采用分布式计算架构，同时单节点情况下支持多线程，这极大地提高了数据处理的性能，亿级的数据量处理时间可以达到分钟级。自助ETL具备以下四个特点：

一体化：集成在Smartbi中，无需独立部署就可以使用。

可视化：完全界面化直接操作，业务人员都能参与。

高性能：分布式计性能强悍，采用业界先进架构，能够处理海量数量，最大规模可以达到PB级，数据量处理的性能是同类型传统工具的10倍。

强功能：大量组件兼顾一般数据处理，与高级数据处理。

◆ 机器学习

思迈特机器学习平台Smartbi Mining提供一站式的数据挖掘服务，涵盖数据预处理、机器学习算法应用、模型训练、评估、部署、服务发布全生命周期。它汇集50+种数据挖掘算法组件，能灵活建立业务模型流程，包含基本的数据特征处理、分类、聚类、关联、回归、深度学习算法，以及支持Java和Python算法扩展。

◆ 语音助手

语音助手小麦基于人工智能技术，它使用户可通过对系统发出语音指令，解放双手完成打开报表、切换参数、探索分析等等，进一步提升了数据分析的智能性和易用性，降低了数据分析的使用门槛。

展望未来，思迈特软件将持续跟进全球BI发展趋势，致力于将最先进的理念融入到研发实践中，打造出即符合国内市场需求，又具有技术领先性的产品。