提问题
提建议
春风送暖，学习相伴！三月上旬更新聚焦数据可视化选图、内存管理技巧、频率分析与桑基图应用，助你轻松驾驭数据分析新场景！
《【数析课堂】频率分析：用“数数”快速定位业务痛点》→通过频率统计，快速发现高频问题，精准定位业务改进点。《【桑基图】流动的“资金河流”，一眼看透业务流向》→学习桑基图绘制，追踪资金流动路径，洞察业务流转全貌。
《不止选类型，更要找对入口：数据分析选图全攻略》→深入讲解图表选择的核心逻辑，助你告别“图表选择困难症”。《内存溢出别慌张：教你如何看懂BI的“胃”，并管住它的“嘴”》→揭秘BI内存机制，掌握优化技巧，让分析更流畅。
《2026年「月更日志」社区更新合集 2.1 - 2.28》→汇总二月社区更新动态，记录成长每一步。
《【BI知识闯关】不止选类型，更要找对入口：数据分析选图全攻略》→通过闯关巩固选图知识，提升实战应用能力。《【数析课堂】频率分析知识巩固》→配套练习，加深频率分析理解，强化业务洞察。《【图表应用】桑基图追踪资金流向，发现业务奥秘》→动手实践桑基图，探索资金流向中的业务规律。《【BI知识闯关】内存溢出别慌张：教你如何看懂BI的“胃”，并管住它的“嘴”》→挑战内存管理知识，成为BI优化高手。
阳春三月，学习正当时，快来社区参与挑战，一起探索数据新视界！
关系数据源doris，一共90w数据，目标数据源mysql，在执行插入或更新的时候，运行了10小时，有没有优化方法
我们需要同步甲方doris的数据库，甲方只允许通过这个平台同步，目前我使用关系数据源读取doris数据库，如何用插入更新节点同步到mysql，配置参数doris读取是5000条每次，mysql插入也是5000条插入更新一次
doris的数据库没法直接访问？这种有数据量限制的一般是wsdl接口，但是这种的又会有日期筛选，通常只同步昨天或者今天的，日增90w条数据？这种量级 限制5000条就有问题了；同时这种量级 也不是mysql能承接的。一共90w 那就是项目进行到 历史数据导入的阶段了，这个阶段没办法 要么让甲方提供历史数据文档、或者提供全量数据接口、要么慢慢同步。如果只允许这个平台同步 一般是内部有安全机制，这类首重安全 慢又不是这个平台的问题。另外，场景我还是不太明白。。。。
好的，感谢大佬。我上一个回复打错字了“然后”打成了“如何”。我们场景是mysql是我们的DI报表系统的数据库，甲方的数据源都配在了smartbi上面，他们只允许从这个平台同步。我目前配置是：doris读取是5000条每次，mysql插入也是5000条插入更新一次，如果按照默认配置运行过程中会报错，但是用现在的配置运行时间太长了。我的疑惑是：我觉得90w数据也不是很大，不应该那么久，我怀疑是我哪里配置错了。
我的理解，这次的同步不是一个定时任务，而是一个单次历史数据的同步，这样不要用插入更新，用覆盖或者追加； 后续配置一个定时的同步ETL 用来同步更改的数据（依据时间戳过滤），这个用插入或更新
好的，感谢大佬!!!!
使用道具 赞 举报
我想在系统层面进行优化，通过修改参数之类的，具体内存是客户私有化部署的，我这边不清楚，但是我感觉跟内存关系不是很大
发表回复 回帖后跳转到最后一页
Smartbi新手任务奖励288麦豆
Smartbi进阶任务奖励500麦豆
免费
麦豆兑换
社区
指南
AI
搜索
