提问题
提建议
年末将至，智慧不停！一月下旬更新聚焦地理智能、函数实战、二次开发与新春趣味活动，助你在数据探索中持续突破！
《【地图】GIS地图：告别平面报表，激活你的业务“地理智能”》→学习GIS地图应用，实现业务数据与地理信息的深度融合。《【散点图】商业世界的“关系侦探”》→掌握散点图在商业分析中的实战应用，洞察变量间的隐藏关系。
《Excel导入模板扩展数据处理类》→如何让导入的“1”和“0”自动变成“是”和“否”
《【函数课堂】Fixed ：数据计算中的“定海神针”》→系统讲解Fixed函数的使用场景与技巧，助你掌握数据计算的稳定性关键。
《离线导出功能集成阿里云OSS》→新增离线导出至阿里云OSS功能，提升数据导出安全性与存储灵活性。
《新年第②弹｜新春知识擂台：智慧解码，喜迎新年！》→新春特别活动，智慧解码挑战，喜迎新年好运！
《【图表应用】GIS地图诊断市场盈亏，制定精准策略》→掌握GIS地图分析技能，精准诊断市场表现，助力策略制定。《【函数】Fixed函数实战任务》→深入Fixed函数实战应用，提升数据计算稳定性和精准度。《【图表应用】散点图：你的“广告效果侦查局”已上线！》→运用散点图分析广告效果，成为数据驱动的“侦查高手”。《【新年活动】智慧解码擂台：挑战你的数据脑力！》→参与数据解码挑战，激活你的逻辑思维与分析能力。
地理智能赋能业务，函数实战夯实基础，新春活动智趣相融——一月下旬，与数据共赴新年新征程！
关系数据源doris，一共90w数据，目标数据源mysql，在执行插入或更新的时候，运行了10小时，有没有优化方法
我们需要同步甲方doris的数据库，甲方只允许通过这个平台同步，目前我使用关系数据源读取doris数据库，如何用插入更新节点同步到mysql，配置参数doris读取是5000条每次，mysql插入也是5000条插入更新一次
doris的数据库没法直接访问？这种有数据量限制的一般是wsdl接口，但是这种的又会有日期筛选，通常只同步昨天或者今天的，日增90w条数据？这种量级 限制5000条就有问题了；同时这种量级 也不是mysql能承接的。一共90w 那就是项目进行到 历史数据导入的阶段了，这个阶段没办法 要么让甲方提供历史数据文档、或者提供全量数据接口、要么慢慢同步。如果只允许这个平台同步 一般是内部有安全机制，这类首重安全 慢又不是这个平台的问题。另外，场景我还是不太明白。。。。
好的，感谢大佬。我上一个回复打错字了“然后”打成了“如何”。我们场景是mysql是我们的DI报表系统的数据库，甲方的数据源都配在了smartbi上面，他们只允许从这个平台同步。我目前配置是：doris读取是5000条每次，mysql插入也是5000条插入更新一次，如果按照默认配置运行过程中会报错，但是用现在的配置运行时间太长了。我的疑惑是：我觉得90w数据也不是很大，不应该那么久，我怀疑是我哪里配置错了。
我的理解，这次的同步不是一个定时任务，而是一个单次历史数据的同步，这样不要用插入更新，用覆盖或者追加； 后续配置一个定时的同步ETL 用来同步更改的数据（依据时间戳过滤），这个用插入或更新
好的，感谢大佬!!!!
使用道具 赞 举报
我想在系统层面进行优化，通过修改参数之类的，具体内存是客户私有化部署的，我这边不清楚，但是我感觉跟内存关系不是很大
发表回复 回帖后跳转到最后一页
场景实战任务 闯关赢278麦豆
完成AIChat入门闯关任务
Smartbi新手任务奖励288麦豆
Smartbi进阶任务奖励500麦豆
免费
麦豆兑换
社区
指南
地理智能赋能业务，函数实战夯实基础，新春活动智趣相融——一月下旬，与数据共赴新年新征程！
