曾几何时,EXCEL在数据界可谓是独树一帜,引领风骚,在职场中无人不知,无人不晓。但是随着大数据的出现,EXCEL便风光不再,江河日下,一度被其他大数据工具挤到了后面,逐渐被边缘化了。而我是一个EXCEL忠实用户,从最开始的EXCEL2003用到了最新的EXCEL2016,每一次更新换代都感觉EXCEL的功能一次比一次强大,也更加地人性化。但是面对大数据的来势汹汹,EXCEL毕竟只是轻量级的工具,始终不是对手,因此要另辟蹊径对EXCEL的性能进行提升。
为了解决EXCEL的性能问题,我去向很多数据行业的朋友进行了请教,大部分人都劝我说,EXCEL已经不能适应这个时代的发展,要做大数据根不是不可能的事,你还是花时间去研究一下数据库或者python之类的工具吧。我听完后不以为然,并相信肯定有解决的办法。后来,我终于从一位高人口中知道了一个非常厉害的解决办法,一下子便打消了我的疑惑。
这个方法是什么呢?原来是用EXCEL连接上数据库,把数据字段从数据库界面中直接拉拽到EXCEL中进行分析,这个方法非常好用,一下子就解决了EXCEL的性能问题,处理大数据变得更加游刃有余。EXCEL支持的数据库端口还是蛮多的,市面上常用的数据库基本都支持,只要通过一定的操作便可以成功连接。具体的连接方法可以自行在网上自行搜索。
除了直接连接数据库的方法之外,还有一个更厉害的方法可以处理大数据,那就是利用插件的形式去连接数据库。以下面的智分析插件为例,先安装好这个插件,然后在EXCEL的界面中选择数据导入,就可以把本地的EXCEL或者CSV文件导进去了,这个文件会保存在本地的数据库里,这个方法适用于要经常处理大容量EXCEL文件的小伙伴们。
上传完数据后,可以在数据集面板里对数据字段进行拉拽,首先用鼠标选好需要分析的字段,然后从右到左把字段拉拽到EXCEL里,最后点击工具栏里的刷新,便可以把数据库中的数据刷新出来。一般来说,EXCEL文件只要是超过百万行便会非常卡,但是这个方法不会受到限制,从此你再也不需要打开庞大的数据源了,通过EXCEL便可以提取数据库中的数据了,即使是千万行的数据文件也能轻松完成分析。
当然,上面的方法只适合处理一些比较固定的数据源,如果要对一些特别的数据进行清洗和查询,必须要用到数据库软件,因此必须要具备一定基础的数据库语句知识,例如select、case when这些语句还是要经常用到的。但是很多用EXCEL的小伙伴们对数据库不熟悉,如果叫他们去用数据库语句去查询数据,无疑是一件非常头疼的事。
但是不用担心,这个问题也有解决的办法。我们还是要用到上面那个智分析EXCEL插件,只要在EXCEL里点击管理,便可以从EXCEL里直接进入这个插件的云端里。
进入到了云端之后,这里首先要使用的功能是即席查询。即席查询就类似数据库查询的功能,只不过即席查询使用鼠标代替了数据库语句。如果写数据库语句去查询数据的话,必然要花很多时间,但是即席查询不需要,你只要拖动鼠标,选取相应的字段后,便可以快速对需要分析的数据字段进行定位。除了字段的查询之外,表与表之间也能实现内外连接这些功能,简直就是一个可视化的数据库平台。例如下图里是一份9800万行数据量的表格,用即席查询便可以快速查询出需要分析的字段。
完成即席查询的操作后,接下来便可以开始使用一个更厉害的功能,这个功能便是透视分析了。透视分析类似EXCEL的透视表,只要通过拖拽便可以得出想要的分析的结果,但是EXCEL可以透视的数据量非常小,超过了一定数据量便没办法透视了,非常不方便。透视分析不一样,还是以上面那个9800万行数据量的表格为案例,我用透视分析便可以轻轻松松刷新出来了,而且这个操作不用在EXCEL上操作,非常给力。
说完了上面这些厉害的方法之外,这里再延伸讲一下数据可视化的概念,很多小伙伴们都非常喜欢酷炫的报表,用来呈现数据是最好不过的了。一般来说EXCEL很难做出类似下图这样的大屏效果,只能用一些昂贵的BI软件去做,但是小编在这里告诉大家一个方法,在上面所介绍的那个智分析插件的网页端,你可以利用里面的仪表盘功能去设计很多好看的图表,样式酷炫,图表新颖,非常适合用来做企业报表平台的数据可视化。
以上就是对EXCEL进行性能扩展的一些方法,通过以上案例可以得出结论,只要解决了EXCEL的缺点,EXCEL便可以成功逆袭大数据,赶上大数据时代的“末班车”。如果你是经常用EXCEL的人,又有EXCEL性能上的困扰,那么以上的方法赶紧收藏吧。
|