提问题
提建议
新春二月，学习正酣！二月更新聚焦磁盘清理、图表进阶、场景深化与AI探索，助你在数据智能的道路上驰骋前行！
《酱油的数字化呼吸：当千年技艺遇上数据分析》→探索传统工艺与数据分析结合，领略数字化赋能案例。《【联合图】你的业务“双视角侦察机”使用指南》→学习联合图实战应用，提升业务分析效率。
《【瀑布图】财务的“瀑布流水账”，一眼看穿数字背后的故事》——用瀑布图拆解财务数据流转，洞悉每一笔增减的来龙去脉。
《【函数】Exclude函数：你的数据分析“一键清屏”神器！》——掌握Exclude函数用法，轻松排除干扰数据，聚焦关键信息。
《（5-2）扩展包开发知识点——知识库升级以及查询对象》→深入学习扩展包开发，掌握知识库升级与查询对象技术。
《Smartbi磁盘空间告急？这篇清理指南让你轻松腾出几十GB！》→学习磁盘空间清理方法，释放存储资源，优化系统性能。
《【AI每日一学】讲一下MCP的三个场景及优势与局限性》→每日一学AI知识，快速掌握MCP的核心要点。
《新年第③弹 | 新春祝福驰骋:马上送祝福，立马领麦豆！》→参与新春祝福活动，赢取麦豆奖励，开启新年好运。
《【BI知识闯关】Smartbi磁盘空间告急？这篇清理指南让你轻松腾出几十GB！》→通过知识闯关巩固磁盘清理技巧，提升运维能力。《【行业场景】制曲环节合格率诊断实战》→深入制曲生产场景，学习合格率诊断分析方法，助力质量提升。《【图表应用】驾驭“联合图”，成为业务的双视角指挥官》→掌握联合图使用技巧，实现业务数据的多维度洞察。《【AI知识巩固】讲一下MCP的三个场景及优势与局限性》→巩固AI知识，了解MCP的典型场景及其优缺点。
《【图表应用】瀑布图一眼看穿数字背后的故事》——实战演练瀑布图，让财务、库存等流水数据一目了然。《【函数】Exclude函数实战任务》——通过任务实战，熟练运用Exclude函数进行数据筛选与分析。
磁盘清理释放空间，联合图表洞察双维，Exclude函数精准筛选，AI探索拓展认知——二月合辑，与数据共赴新春新征程！
关系数据源doris，一共90w数据，目标数据源mysql，在执行插入或更新的时候，运行了10小时，有没有优化方法
我们需要同步甲方doris的数据库，甲方只允许通过这个平台同步，目前我使用关系数据源读取doris数据库，如何用插入更新节点同步到mysql，配置参数doris读取是5000条每次，mysql插入也是5000条插入更新一次
doris的数据库没法直接访问？这种有数据量限制的一般是wsdl接口，但是这种的又会有日期筛选，通常只同步昨天或者今天的，日增90w条数据？这种量级 限制5000条就有问题了；同时这种量级 也不是mysql能承接的。一共90w 那就是项目进行到 历史数据导入的阶段了，这个阶段没办法 要么让甲方提供历史数据文档、或者提供全量数据接口、要么慢慢同步。如果只允许这个平台同步 一般是内部有安全机制，这类首重安全 慢又不是这个平台的问题。另外，场景我还是不太明白。。。。
好的，感谢大佬。我上一个回复打错字了“然后”打成了“如何”。我们场景是mysql是我们的DI报表系统的数据库，甲方的数据源都配在了smartbi上面，他们只允许从这个平台同步。我目前配置是：doris读取是5000条每次，mysql插入也是5000条插入更新一次，如果按照默认配置运行过程中会报错，但是用现在的配置运行时间太长了。我的疑惑是：我觉得90w数据也不是很大，不应该那么久，我怀疑是我哪里配置错了。
我的理解，这次的同步不是一个定时任务，而是一个单次历史数据的同步，这样不要用插入更新，用覆盖或者追加； 后续配置一个定时的同步ETL 用来同步更改的数据（依据时间戳过滤），这个用插入或更新
好的，感谢大佬!!!!
使用道具 赞 举报
我想在系统层面进行优化，通过修改参数之类的，具体内存是客户私有化部署的，我这边不清楚，但是我感觉跟内存关系不是很大
发表回复 回帖后跳转到最后一页
Smartbi新手任务奖励288麦豆
Smartbi进阶任务奖励500麦豆
免费
麦豆兑换
社区
指南
