提问题
提建议
初冬来临，一波热气腾腾的更新也准时抵达！我们聚焦实战技巧、集成增强与开发进阶，一系列新功能与新教程，助你在数据分析与系统开发的效率上再进一步。
《雷达图：多维度数据的“透视镜”，3步读懂数据真相》→ 聚焦雷达图核心应用场景，快速掌握多对象、多维度数据的可视化分析方法。
《用图表解锁你的生活“数据密码”！》→ 探索图表在日常场景中的应用，让数据解读更直观、更具操作性。
《2025新特性实战解读（上）数据分析效率倍增秘籍》→ 解析2025新特性落地路径，助力实现数据分析效率成倍提升。
《【专家分享】数据排序的“权力游戏”：优先级规则决定谁先谁后》→解读高级排序的业务配置逻辑，让关键数据始终处于优先展示位置。
《扩展包开发知识点——前端改造》→从需求分析入手到最终实现的全流程讲解，帮助您快速入门上手Smartbi前端改造。
《【初级任务】解锁生活“数据密码”，可视化创意实践任务》→发起可视化创意任务，推动数据表达更生动、更具趣味性。
《【初级任务】玩转雷达图解数据，200麦豆等你拿！》→推出雷达图实战任务，以激励方式提升多维数据分析技能。
《AD域（LDAP/LDAPS）登录验证V2》→扩展域账号登录支持，实现与企业Windows认证体系无缝对接。
《数据模型：对接RestfulAPI接口》→打通数据模型与RestfulAPI对接通道，提升系统集成与数据获取效率。
《计划任务：定时清空用户属性缓存》→引入缓存自动清理机制，确保权限变更实时生效、业务数据及时更新。
《用户同步：BI系统自定义用户所属组》→优化用户组同步逻辑，实现自定义组信息自动识别与补全。
《审核流程：可以调用自助ETL》→增强审核流程集成能力，支持在用户任务节点直接调用自助ETL过程。
关系数据源doris，一共90w数据，目标数据源mysql，在执行插入或更新的时候，运行了10小时，有没有优化方法
我们需要同步甲方doris的数据库，甲方只允许通过这个平台同步，目前我使用关系数据源读取doris数据库，如何用插入更新节点同步到mysql，配置参数doris读取是5000条每次，mysql插入也是5000条插入更新一次
doris的数据库没法直接访问？这种有数据量限制的一般是wsdl接口，但是这种的又会有日期筛选，通常只同步昨天或者今天的，日增90w条数据？这种量级 限制5000条就有问题了；同时这种量级 也不是mysql能承接的。一共90w 那就是项目进行到 历史数据导入的阶段了，这个阶段没办法 要么让甲方提供历史数据文档、或者提供全量数据接口、要么慢慢同步。如果只允许这个平台同步 一般是内部有安全机制，这类首重安全 慢又不是这个平台的问题。另外，场景我还是不太明白。。。。
好的，感谢大佬。我上一个回复打错字了“然后”打成了“如何”。我们场景是mysql是我们的DI报表系统的数据库，甲方的数据源都配在了smartbi上面，他们只允许从这个平台同步。我目前配置是：doris读取是5000条每次，mysql插入也是5000条插入更新一次，如果按照默认配置运行过程中会报错，但是用现在的配置运行时间太长了。我的疑惑是：我觉得90w数据也不是很大，不应该那么久，我怀疑是我哪里配置错了。
我的理解，这次的同步不是一个定时任务，而是一个单次历史数据的同步，这样不要用插入更新，用覆盖或者追加； 后续配置一个定时的同步ETL 用来同步更改的数据（依据时间戳过滤），这个用插入或更新
好的，感谢大佬!!!!
使用道具 赞 举报
我想在系统层面进行优化，通过修改参数之类的，具体内存是客户私有化部署的，我这边不清楚，但是我感觉跟内存关系不是很大
发表回复 回帖后跳转到最后一页
场景实战任务 闯关赢278麦豆
完成AIChat入门闯关任务
Smartbi新手任务奖励288麦豆
原创案例分享大赛正式启动，至高800麦豆等你来领取！
Smartbi进阶任务奖励500麦豆
免费
