提问题
提建议
七月上旬更新速递丨 聚焦集成、安全与AI深度进化
更新亮点： 本次重点强化系统集成能力与AI认知升级，新增4大核心模块9项资源，优化4项资源，点击标题了解！(持续互动赢麦豆，解锁高阶技能)
重点推荐：《场景化数据分析实战》课程操作手册
配套六月王炸课程的全套落地指南，手把手教你复现实战场景！
二、实战技巧分享
《高效处理资源集成难题》→ 从基础出发，深入探究集成的秘密
三、开发技能突破
《第三方系统调用Smartbi接口》→讲解系统集成时的jar包获取，以及集成时代码调用的基本流程。
《集成接口介绍》→梳理Smartbi目前提供的接口，以及不同接口的调用流程。
四、AI每日一学
《DeepSeek-R1-0528模型升级：推理与生态的双重升级》→ 解析模型性能提升40%的关键技术 (技术前沿)
《简单总结一下机器学习中的几种常见的学习方式与区别》→ 监督/无监督/强化学习差异与应用场景图解 (基础重构)
五、资源更新
《CAS单点登录 V2版》上线→ 接入到 CAS 平台中，并实现单点登录
《组织/用户/角色信息管理API接口》上线→ 一套 HTTP API的组织、用户、角色信息管理接口
《竹云统一身份认证平台组织用户同步对接》上线→ Smartbi封装对应的服务接口，给竹云的统一身份认证平台实时调用，完成组织、用户和角色信息的实时同步。
《交互式仪表盘支持自定义字体》优化→ 修复了文本组件编辑状态不生效的问题
《只允许外网某种移动端APP访问》优化→ 针对V11版本，增加了钉钉、企业微信访问限制功能
《AD域（LDAP/LDAPS）登录验证》优化→ 修复了“更新白名单状态之前没有判断判断用户是否存”的问题
《元数据分析落地到知识库》优化→ 增加获取资源创建者的逻辑判断，对空值空对象等情况做优化
关系数据源doris，一共90w数据，目标数据源mysql，在执行插入或更新的时候，运行了10小时，有没有优化方法
我们需要同步甲方doris的数据库，甲方只允许通过这个平台同步，目前我使用关系数据源读取doris数据库，如何用插入更新节点同步到mysql，配置参数doris读取是5000条每次，mysql插入也是5000条插入更新一次
doris的数据库没法直接访问？这种有数据量限制的一般是wsdl接口，但是这种的又会有日期筛选，通常只同步昨天或者今天的，日增90w条数据？这种量级 限制5000条就有问题了；同时这种量级 也不是mysql能承接的。一共90w 那就是项目进行到 历史数据导入的阶段了，这个阶段没办法 要么让甲方提供历史数据文档、或者提供全量数据接口、要么慢慢同步。如果只允许这个平台同步 一般是内部有安全机制，这类首重安全 慢又不是这个平台的问题。另外，场景我还是不太明白。。。。
好的，感谢大佬。我上一个回复打错字了“然后”打成了“如何”。我们场景是mysql是我们的DI报表系统的数据库，甲方的数据源都配在了smartbi上面，他们只允许从这个平台同步。我目前配置是：doris读取是5000条每次，mysql插入也是5000条插入更新一次，如果按照默认配置运行过程中会报错，但是用现在的配置运行时间太长了。我的疑惑是：我觉得90w数据也不是很大，不应该那么久，我怀疑是我哪里配置错了。
我的理解，这次的同步不是一个定时任务，而是一个单次历史数据的同步，这样不要用插入更新，用覆盖或者追加； 后续配置一个定时的同步ETL 用来同步更改的数据（依据时间戳过滤），这个用插入或更新
好的，感谢大佬!!!!
使用道具 赞 举报
我想在系统层面进行优化，通过修改参数之类的，具体内存是客户私有化部署的，我这边不清楚，但是我感觉跟内存关系不是很大
本版积分规则 发表回复 回帖后跳转到最后一页
抢险体验AIChat反馈建议赢取上百麦豆
Smartbi进阶任务奖励500麦豆
赢取100麦豆，解锁数据分析新技能！
学习心得分享——数据分析学习之旅
原创案例分享大赛正式启动，至高800麦豆等你来领取！
Smartbi新手任务奖励288麦豆
免费
