提问题
提建议
七月下旬更新速递丨 任务中心上线，福利加倍！技术干货持续放送
更新焦点： 重磅推出「任务中心」！ 完成多样化任务，轻松赚取麦豆！技术分享、AI学习、实用素材持续上新，点击标题立即探索！
任务版块全新登场！多个任务等你完成，麦豆轻松拿，福利享不停！
>> 立即前往任务中心，开启你的成长之旅！ <<
二、实战技巧分享
《报表合计不用愁！全场景报表合计一键搞定指南》→从几个场景出发，带大家全方位了解如何在各类报表中实现合计。
《数据轻松入库，高效分析即刻开启！》→详细介绍在 Smartbi 中将数据导入数据库的几种主要途径。
三、开发技能突破
《第三方系统集成Smartbi资源》→演示一些入门的前端集成示例，帮助快速了解如何进行前端集成。
四、AI每日一学
《什么是训练集？什么是验证集？什么是测试集？》→ 讲解如何用三大数据集为AI打造"训练-调试-终测"的全流程闭环
《Manus与其他AI智能体产品有什么区别？》→ AI界真·“实干家”Manus上线！告别“嘴炮”AI，围观智能体如何“动手”逆天改命！速戳
五、资源更新
《浅色系质感背景图》→百搭质感背景，看见即呼吸，质感如微风。
六、直播上线
《如何制作性能最佳的报表》→解锁性能最佳报表的实践技巧
关系数据源doris，一共90w数据，目标数据源mysql，在执行插入或更新的时候，运行了10小时，有没有优化方法
我们需要同步甲方doris的数据库，甲方只允许通过这个平台同步，目前我使用关系数据源读取doris数据库，如何用插入更新节点同步到mysql，配置参数doris读取是5000条每次，mysql插入也是5000条插入更新一次
doris的数据库没法直接访问？这种有数据量限制的一般是wsdl接口，但是这种的又会有日期筛选，通常只同步昨天或者今天的，日增90w条数据？这种量级 限制5000条就有问题了；同时这种量级 也不是mysql能承接的。一共90w 那就是项目进行到 历史数据导入的阶段了，这个阶段没办法 要么让甲方提供历史数据文档、或者提供全量数据接口、要么慢慢同步。如果只允许这个平台同步 一般是内部有安全机制，这类首重安全 慢又不是这个平台的问题。另外，场景我还是不太明白。。。。
好的，感谢大佬。我上一个回复打错字了“然后”打成了“如何”。我们场景是mysql是我们的DI报表系统的数据库，甲方的数据源都配在了smartbi上面，他们只允许从这个平台同步。我目前配置是：doris读取是5000条每次，mysql插入也是5000条插入更新一次，如果按照默认配置运行过程中会报错，但是用现在的配置运行时间太长了。我的疑惑是：我觉得90w数据也不是很大，不应该那么久，我怀疑是我哪里配置错了。
我的理解，这次的同步不是一个定时任务，而是一个单次历史数据的同步，这样不要用插入更新，用覆盖或者追加； 后续配置一个定时的同步ETL 用来同步更改的数据（依据时间戳过滤），这个用插入或更新
好的，感谢大佬!!!!
使用道具 赞 举报
我想在系统层面进行优化，通过修改参数之类的，具体内存是客户私有化部署的，我这边不清楚，但是我感觉跟内存关系不是很大
本版积分规则 发表回复 回帖后跳转到最后一页
Smartbi新手任务奖励288麦豆
学习心得分享——数据分析学习之旅
原创案例分享大赛正式启动，至高800麦豆等你来领取！
赢取100麦豆，解锁数据分析新技能！
Smartbi进阶任务奖励500麦豆
免费
