提问题
提建议
春意正浓，学习升温！四月上旬更新聚焦技术拓展、图表新解、AI热点与实战任务，助你在数据探索之路上步步为营，智取未来！
《【热力图】数据的“温度计”与分布探测器》→热力图在业务分布与浓度识别中的实战应用。《【数析课堂】排序法：业务人员的“数据理线器”》→排序法助力业务数据梳理，提升分析效率。《【关系图】解锁数据背后的“隐形网络”与关联密码》→关系图在复杂关联分析中的深度应用。《【数析课堂】让数据开口说话：职场人的“图形法”生存指南》→图形法职场实战指南，轻松驾驭数据表达。
《降维打击！Smartbi仪表盘隐藏ECharts玩法大揭秘》→解锁仪表盘高阶玩法，用ECharts实现可视化降维创新。《“数”转乾坤：数据转换规则变形记》→深入数据转换规则，掌握数据变形与流转的核心技巧。
《【AI每日一学】简要介绍一下最近AI圈很火的“养龙虾”话题》→每日一学，快速理解AI圈热门话题“养龙虾”。《【AI每日一学】讲一下最近AI圈很火的“养龙虾”话题中一直被提及的skill》→深度解析“养龙虾”中的关键技能概念，紧跟AI前沿。
《指标元素动态图（二）》→新增指标动态图素材，丰富仪表盘视觉表现力。
《【AI知识巩固】简要介绍一下最近AI圈很火的“养龙虾”话题》→追踪AI圈最新热词，轻松入门“养龙虾”现象。《【图表应用】热力图：数据的“温度计”与分布探测器》→学习热力图制作，让数据热度一目了然。《【BI知识闯关】降维打击！Smartbi仪表盘隐藏ECharts玩法大揭秘》→实战闯关，巩固仪表盘隐藏技能。《【数析课堂】排序法知识巩固》→掌握排序分析法，梳理数据层级关系。《【图表应用】关系图：挖掘数据背后的“隐形关系网”》→学习关系图绘制，发现数据间的隐秘关联。《【BI知识闯关】重生之如何找SQL看数据不对问题（上）》→SQL排错实战，提升数据校验能力。《【BI知识闯关】“数”转乾坤：数据转换规则变形记》→闯关巩固数据转换规则应用。《【AI知识巩固】讲一下最近AI圈很火的“养龙虾”话题中一直被提及的skill》→深入“养龙虾”背后的技能概念，拓展AI认知。《【数析课堂】图形法知识巩固》→强化图形化分析方法，让数据表达更直观。
关系数据源doris，一共90w数据，目标数据源mysql，在执行插入或更新的时候，运行了10小时，有没有优化方法
我们需要同步甲方doris的数据库，甲方只允许通过这个平台同步，目前我使用关系数据源读取doris数据库，如何用插入更新节点同步到mysql，配置参数doris读取是5000条每次，mysql插入也是5000条插入更新一次
doris的数据库没法直接访问？这种有数据量限制的一般是wsdl接口，但是这种的又会有日期筛选，通常只同步昨天或者今天的，日增90w条数据？这种量级 限制5000条就有问题了；同时这种量级 也不是mysql能承接的。一共90w 那就是项目进行到 历史数据导入的阶段了，这个阶段没办法 要么让甲方提供历史数据文档、或者提供全量数据接口、要么慢慢同步。如果只允许这个平台同步 一般是内部有安全机制，这类首重安全 慢又不是这个平台的问题。另外，场景我还是不太明白。。。。
好的，感谢大佬。我上一个回复打错字了“然后”打成了“如何”。我们场景是mysql是我们的DI报表系统的数据库，甲方的数据源都配在了smartbi上面，他们只允许从这个平台同步。我目前配置是：doris读取是5000条每次，mysql插入也是5000条插入更新一次，如果按照默认配置运行过程中会报错，但是用现在的配置运行时间太长了。我的疑惑是：我觉得90w数据也不是很大，不应该那么久，我怀疑是我哪里配置错了。
我的理解，这次的同步不是一个定时任务，而是一个单次历史数据的同步，这样不要用插入更新，用覆盖或者追加； 后续配置一个定时的同步ETL 用来同步更改的数据（依据时间戳过滤），这个用插入或更新
好的，感谢大佬!!!!
使用道具 赞 举报
我想在系统层面进行优化，通过修改参数之类的，具体内存是客户私有化部署的，我这边不清楚，但是我感觉跟内存关系不是很大
发表回复 回帖后跳转到最后一页
SmartBI进阶任务奖励500麦豆
SmartBI新手任务奖励288麦豆
免费
麦豆兑换
社区
指南
AI
搜索
