提问题
提建议
年终冲刺，进步不停！十二月下旬新内容聚焦技能实战、智慧提效、场景解析与开发拓展，助你在数据与智能的浪潮中更进一步！
《驱动增长：汽车制造营销分析主题课程》→聚焦汽车行业营销场景，学习如何利用数据驱动业务增长。
《价值引擎：汽车制造财务分析主题课程》→深入财务数据分析，助力企业价值挖掘与决策支持。
《【漏斗图】漏斗洞察：三分钟，看透流程的每一步》→ 快速掌握漏斗分析，优化业务流程效率。
《模型篇：如何构建支撑AlChat的证券数据模型》→ 解析证券行业数据模型构建，赋能AI助手智能基础。
《【地图】先导篇：一眼看透数据在空间中的故事》→ 入门地图可视化，发现数据背后的地理逻辑。
《【地图】区域地图：直观对比，掌控全局》→ 学习区域地图制作，实现跨区域数据对比分析。
《乱码大作战：从“乱码地狱”到“数据天堂”的爆“效”指南》→ 攻克数据乱码难题，带你高效实现数据质量的跃升。
《扩展包开发知识点——知识库升级以及查询对象》→ 深化扩展包开发能力，学习知识库升级与查询对象优化。
《【图表应用】绘制漏斗图，诊断转化瓶颈》→ 学习漏斗图绘制，精准定位业务流程中的转化短板。
《AlChat入门闯关计划 - 第二关》→ 继续AI助手探索之旅，掌握更智能的对话交互技能。
《【图表应用】测测你是否真的“看懂”地图？》→ 检验地图图表理解能力，提升空间数据解读水平。
《【场景实战系列】即席查询，赢取278麦豆！》→ 实战演练即席查询，灵活获取所需数据。
《【场景实战系列】透视分析，赢取278麦豆！》→ 掌握数据透视技巧，实现多维度业务洞察。
《【图表应用】区域地图在手，业绩分布一目了然》→ 借助区域地图，直观掌握业务区域表现。
《【BI知识闯关】乱码大作战：从“乱码地狱”到“数据天堂”的爆“效”指南》→ 通过闯关巩固乱码处理知识，学以致用。
《【调研】社区内容调研，1分钟即可得100麦豆！》→为了未来能为您提供更精彩的内容和活动，我们想聆听您的真实心声
《HTTP API接口测试工具》→ 提供便捷的接口测试支持，助力开发调试更高效。
《2025年售后服务问卷调研有奖活动》→ 参与调研反馈，助力产品优化，更有机会赢取好礼。
关系数据源doris，一共90w数据，目标数据源mysql，在执行插入或更新的时候，运行了10小时，有没有优化方法
我们需要同步甲方doris的数据库，甲方只允许通过这个平台同步，目前我使用关系数据源读取doris数据库，如何用插入更新节点同步到mysql，配置参数doris读取是5000条每次，mysql插入也是5000条插入更新一次
doris的数据库没法直接访问？这种有数据量限制的一般是wsdl接口，但是这种的又会有日期筛选，通常只同步昨天或者今天的，日增90w条数据？这种量级 限制5000条就有问题了；同时这种量级 也不是mysql能承接的。一共90w 那就是项目进行到 历史数据导入的阶段了，这个阶段没办法 要么让甲方提供历史数据文档、或者提供全量数据接口、要么慢慢同步。如果只允许这个平台同步 一般是内部有安全机制，这类首重安全 慢又不是这个平台的问题。另外，场景我还是不太明白。。。。
好的，感谢大佬。我上一个回复打错字了“然后”打成了“如何”。我们场景是mysql是我们的DI报表系统的数据库，甲方的数据源都配在了smartbi上面，他们只允许从这个平台同步。我目前配置是：doris读取是5000条每次，mysql插入也是5000条插入更新一次，如果按照默认配置运行过程中会报错，但是用现在的配置运行时间太长了。我的疑惑是：我觉得90w数据也不是很大，不应该那么久，我怀疑是我哪里配置错了。
我的理解，这次的同步不是一个定时任务，而是一个单次历史数据的同步，这样不要用插入更新，用覆盖或者追加； 后续配置一个定时的同步ETL 用来同步更改的数据（依据时间戳过滤），这个用插入或更新
好的，感谢大佬!!!!
使用道具 赞 举报
我想在系统层面进行优化，通过修改参数之类的，具体内存是客户私有化部署的，我这边不清楚，但是我感觉跟内存关系不是很大
发表回复 回帖后跳转到最后一页
场景实战任务 闯关赢278麦豆
完成AIChat入门闯关任务
Smartbi新手任务奖励288麦豆
Smartbi进阶任务奖励500麦豆
免费
麦豆兑换
