七月上旬更新速递丨 聚焦集成、安全与AI深度进化

更新亮点: 本次重点强化系统集成能力与AI认知升级,新增4大核心模块9项资源,优化4项资源,点击标题了解(持续互动赢麦豆,解锁高阶技能)

重点推荐:《场景化数据分析实战》课程操作手册

配套六月王炸课程的全套落地指南,手把手教你复现实战场景!

二、实战技巧分享

高效处理资源集成难题》→ 从基础出发,深入探究集成的秘密

三、开发技能突破

第三方系统调用Smartbi接口》→讲解系统集成时的jar包获取,以及集成时代码调用的基本流程。

集成接口介绍》→梳理Smartbi目前提供的接口,以及不同接口的调用流程。

AI每日一学

DeepSeek-R1-0528模型升级:推理与生态的双重升级》→ 解析模型性能提升40%的关键技术 (技术前沿)

简单总结一下机器学习中的几种常见的学习方式与区别》→ 监督/无监督/强化学习差异与应用场景图解 (基础重构)

五、资源更新

CAS单点登录 V2版》上线→ 接入到 CAS 平台中,并实现单点登录

组织/用户/角色信息管理API接口》上线→ 一套 HTTP API的组织、用户、角色信息管理接口

竹云统一身份认证平台组织用户同步对接》上线→ Smartbi封装对应的服务接口,给竹云的统一身份认证平台实时调用,完成组织、用户和角色信息的实时同步。

交互式仪表盘支持自定义字体》优化→ 修复了文本组件编辑状态不生效的问题

只允许外网某种移动端APP访问》优化→ 针对V11版本,增加了钉钉、企业微信访问限制功能

AD域(LDAP/LDAPS)登录验证》优化→ 修复了“更新白名单状态之前没有判断判断用户是否存”的问题

元数据分析落地到知识库》优化→ 增加获取资源创建者的逻辑判断,对空值空对象等情况做优化

麦粉社区
>
帖子详情

大数据源-Smartbi通过JDBC方式连接SparkSQL

数据连接 发表于 2019-11-21 14:07
发表于 2019-11-21 14:07:53
Hive是支持JDBC方式连接的,因为它自带了一个Thrift Server。
这个Thrift Server是FaceBook开发的一个接口,可以让程序通过ODBC、JDBC的方式连接。
同样的,SparkSQL也自带了这个Thrift Server,所以SparkSQL也可以通过JDBC的方式连接,用来访问Hive里面建好的表的数据。
操作步骤如下:
第一步:启动SparkSQL中自带的Thrifter Server
1、从hive的安装目录下,找到conf/hive-site.xml文件,拷贝到Spark所有节点的安装目录下conf文件夹;
2、如果hive的元数据存储是用mysql的话,那么还需要把mysql的jdbc包放到Spark所有节点的安装目录下的jars目录(低版本的是lib目录);
3、启动Thrift server,在spark安装目录下执行:
内网连接:
sbin/start-thriftserver.sh --master spark://10.9.2.100:7077  --driver-class-path /usr/local/hive-1.2.1/lib/mysql-connector-java-5.1.31-bin.jar
   
外网连接:
sbin/start-thriftserver.sh   --hiveconf hive.server2.thrift.port=10000  --hiveconf hive.server2.thrift.bind.host=hadoop-master     --master spark://10.9.2.100:7077  --driver-class-path /usr/local/hive-1.2.1/lib/mysql-connector-java-5.1.31-bin.jar

        采用spark on yarn的方式
        sbin/start-thriftserver.sh  --hiveconf hive.server2.thrift.port=10000 --driver-class-path /usr/local/hive-1.2.1/lib/mysql-connector-java-5.1.31-bin.jar --master yarn --driver-cores 2 --driver-memory 2G --executor-cores 2 --executor-memory 2G --num-executors 8

其中:
spark://10.9.2.100:7077:是Spark的master地址,根据需要修改
/usr/local/hive-1.2.1/lib/mysql-connector-java-5.1.31-bin.jar:是mysql的jdbc的jar包的路径,根据需要修改
--hiveconf hive.server2.thrift.port=10000:端口是10000,如果跟hive的端口冲突了,可以根据需要修改
4、启动完成后,用jps命令,可以看到一个SparkSubmit的进程
5、用beeline连接测试一下是否OK,用法如下(IP地址和端口根据需要修改):
cd spark的安装目录/bin
[hadoop@node1 bin]$ ./beeline -u [url=]jdbc:hive2://192.168.1.26:10000/default -n hadoop[/url]
0: [url=]jdbc:hive2://192.168.1.26:10000/default[/url]> show databases;
0: [url=]jdbc:hive2://192.168.1.26:10000/default[/url]> show tables;
0: [url=]jdbc:hive2://192.168.1.26:10000/default[/url]> !quit

第二步:用Smartbi连接SparkSQL
1、把Thrift Server相关的jar包放到smartbi的lib目录下,从spark安装目录下的jars目录找到需要以下jar包:
hive-beeline-1.2.1.spark2.jar
hive-cli-1.2.1.spark2.jar
hive-exec-1.2.1.spark2.jar
hive-jdbc-1.2.1.spark2.jar
hive-metastore-1.2.1.spark2.jar
spark-hive_2.11-2.1.0.jar
spark-hive-thriftserver_2.11-2.1.0.jar
spark-network-common_2.11-2.1.0.jar
libfb303-0.9.2.jar
libthrift-0.9.2.jar
httpclient-4.5.2.jar
httpcore-4.4.4.jar
hadoop-common-2.7.3.jar

同时删除smartbi自带的httpclient-4.2.5.jar、httpcore-4.2.5.jar

2、重启Smartbi
3、新建数据源时,填写以下信息:
数据源类型:hadoop_hive
Driver:org.apache.hive.jdbc.HiveDriver
URL:[url=]jdbc:hive2://122.23.368.32:10000/default[/url]
用户:hadoop
密码:一般默认是空

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

0回帖数 0关注人数 6123浏览人数
最后回复于:2019-11-21 14:07
快速回复 返回顶部 返回列表