提问题
提建议
秋意正浓时，智能征程不止步！十一月上旬欢度14周年，聚焦数据与AI领域的知识深化、场景化应用落地、技术开发进阶，从理论到实战的全链路能力提升！
《14周年·探索乐章 | 寻藏宝图，挖掘社区金矿（已更新1-9关卡）》→开启一场知识寻宝探险之旅，重温与思迈特并肩成长的温暖时光！
《14周年·温情乐章｜写下专属祝福，传递温暖情谊》→为思迈特14周年注入一份温度，也为这份同行之谊添上一抹亮色！
《14周年·荣誉乐章 | 星光致敬，表彰贡献榜样》→回馈大家对社区生态的倾心建设，感谢每一位共建者的热忱与坚守！
《构建“战略-业务-数据”三层指标体系（体系篇）》→“战略-业务-数据”三层指标体系是AIChat听懂的坚实的底层支撑。
《【专家分享】用Smartbi快速搞定数据刷新，老板看了都说好！》→掌握了数据刷新“提速”秘籍：告别滞后，让数据“实时在线”！
《【专家分享】数据排序的“权力游戏”：优先级规则决定谁先谁后》→提供了数据排序指南：破解多指令冲突，明确 “谁先生效”！
四、二次开发视频
《扩展包开发前端改造》→了解前端改造的基本方法与实现流程、如何在Smartbi扩展包中修改CSS样式、扩展JS组件。
《【场景实战】数据驱动决策全流程实战：dws层数据处理》→深入数据决策，提升数据整合与维度设计能力，挑战成功即可获得麦豆奖励！
《【AIChat入门闯关计划】-随机掉落小测试》→快速检验AIChat知识漏洞，巩固核心概念。接受挑战即可获得麦豆奖励。
关系数据源doris，一共90w数据，目标数据源mysql，在执行插入或更新的时候，运行了10小时，有没有优化方法
我们需要同步甲方doris的数据库，甲方只允许通过这个平台同步，目前我使用关系数据源读取doris数据库，如何用插入更新节点同步到mysql，配置参数doris读取是5000条每次，mysql插入也是5000条插入更新一次
doris的数据库没法直接访问？这种有数据量限制的一般是wsdl接口，但是这种的又会有日期筛选，通常只同步昨天或者今天的，日增90w条数据？这种量级 限制5000条就有问题了；同时这种量级 也不是mysql能承接的。一共90w 那就是项目进行到 历史数据导入的阶段了，这个阶段没办法 要么让甲方提供历史数据文档、或者提供全量数据接口、要么慢慢同步。如果只允许这个平台同步 一般是内部有安全机制，这类首重安全 慢又不是这个平台的问题。另外，场景我还是不太明白。。。。
好的，感谢大佬。我上一个回复打错字了“然后”打成了“如何”。我们场景是mysql是我们的DI报表系统的数据库，甲方的数据源都配在了smartbi上面，他们只允许从这个平台同步。我目前配置是：doris读取是5000条每次，mysql插入也是5000条插入更新一次，如果按照默认配置运行过程中会报错，但是用现在的配置运行时间太长了。我的疑惑是：我觉得90w数据也不是很大，不应该那么久，我怀疑是我哪里配置错了。
我的理解，这次的同步不是一个定时任务，而是一个单次历史数据的同步，这样不要用插入更新，用覆盖或者追加； 后续配置一个定时的同步ETL 用来同步更改的数据（依据时间戳过滤），这个用插入或更新
好的，感谢大佬!!!!
使用道具 赞 举报
我想在系统层面进行优化，通过修改参数之类的，具体内存是客户私有化部署的，我这边不清楚，但是我感觉跟内存关系不是很大
本版积分规则 发表回复 回帖后跳转到最后一页
场景实战任务 闯关赢278麦豆
完成AIChat入门闯关任务
Smartbi新手任务奖励288麦豆
原创案例分享大赛正式启动，至高800麦豆等你来领取！
Smartbi进阶任务奖励500麦豆
免费
