提问题
提建议
金秋收官,实战加码!十月下旬更新聚焦直播实战、AI场景应用、分层数据实战与开发进阶,带你从理论走向实践,从工具使用走向能力内化!
为进一步提升认证服务的质量与体验,我们对认证业务进行全面优化升级。更多详情请看→Smartbi认证考试优化升级公告。
关系数据源doris,一共90w数据,目标数据源mysql,在执行插入或更新的时候,运行了10小时,有没有优化方法
我们需要同步甲方doris的数据库,甲方只允许通过这个平台同步,目前我使用关系数据源读取doris数据库,如何用插入更新节点同步到mysql,配置参数doris读取是5000条每次,mysql插入也是5000条插入更新一次
doris的数据库没法直接访问?这种有数据量限制的一般是wsdl接口,但是这种的又会有日期筛选,通常只同步昨天或者今天的,日增90w条数据?这种量级 限制5000条就有问题了;同时这种量级 也不是mysql能承接的。一共90w 那就是项目进行到 历史数据导入的阶段了,这个阶段没办法 要么让甲方提供历史数据文档、或者提供全量数据接口、要么慢慢同步。如果只允许这个平台同步 一般是内部有安全机制,这类首重安全 慢又不是这个平台的问题。另外,场景我还是不太明白。。。。
好的,感谢大佬。我上一个回复打错字了“然后”打成了“如何”。我们场景是mysql是我们的DI报表系统的数据库,甲方的数据源都配在了smartbi上面,他们只允许从这个平台同步。我目前配置是:doris读取是5000条每次,mysql插入也是5000条插入更新一次,如果按照默认配置运行过程中会报错,但是用现在的配置运行时间太长了。我的疑惑是:我觉得90w数据也不是很大,不应该那么久,我怀疑是我哪里配置错了。
我的理解,这次的同步不是一个定时任务,而是一个单次历史数据的同步,这样不要用插入更新,用覆盖或者追加; 后续配置一个定时的同步ETL 用来同步更改的数据(依据时间戳过滤),这个用插入或更新
好的,感谢大佬!!!!
使用道具 赞 举报
我想在系统层面进行优化,通过修改参数之类的,具体内存是客户私有化部署的,我这边不清楚,但是我感觉跟内存关系不是很大
本版积分规则 发表回复 回帖后跳转到最后一页
场景实战任务 闯关赢278麦豆
完成AIChat入门闯关任务
Smartbi新手任务奖励288麦豆
原创案例分享大赛正式启动,至高800麦豆等你来领取!
Smartbi进阶任务奖励500麦豆
免费