九月下旬更新速递丨 AI赋能、技术实战与智能探索

金秋九月,下旬更新携AI发布会回放、丰富实战案例与进阶开发资源强势登场!助您深化技术理解,加速智能应用落地!

重点推荐Smartbi AIChat V4发布会圆满落幕!发布会精彩内容已完整上架,随点随看,深度回顾!共同步入智能新纪元!点击观看Smartbi AIChat V4发布会全程回放

麦学堂同步上架,加速学习

【Smartbi AIChat全新升级发布会根据不同篇章提炼上架,方便您按需定位,快速直达重点环节,高效吸收核心内容!

十分钟完整体验AIchat→ 只要10分钟时间,即可使用自己的本地数据快速体验AIChat所有功能。

一、任务持续上线

场景实战系列任务:数据处理,赢取278麦豆!通过实战任务巩固技能,真正掌握数据驱动的企业决策全流程

【BI知识闯关】数据回写填报太头疼?方案请收好!》→破解填报难题,提升数据处理效率。

【AI每日一学知识巩固】为什么Python 是目前人工智能领域最常用的编程语言》→深入解析Python在AI领域的优势,巩固编程基础。

二、实战技巧分享

数据回写填报太头疼?方案请收好!》→聚焦六大常见回写场景,拆解每类场景的实现思路,带您清晰掌握 Smartbi 数据回写的实操逻辑。

、开发技能突破

自定义计划任务案例 进一步了解自定义计划任务,从而提升自定义任务的开发效率和能力。

四、AI每日一学

【AI每日一学】为什么Python 是目前人工智能领域最常用的编程语言》→探讨Python为何能成为人工智能领域最常用的编程语言。

【AI每日一学】简单总结一下AI Agent的五个发展阶段从简单的指令响应到复杂的多智能体协作,AI Agent正逐步向着更拟人、更通用的方向演进。

五、全新素材上线

科技指标卡底座(二)→科技感视觉主题,深色科技风跃动,光线流动引爆焦点!

按需管控:业务人员导出最大行数设置在“导出规则”中,“导出动作”增加“部分导出”的选项

屏蔽“我的工作区”根据角色控制,屏蔽产品中“我的工作区”目录的功能,同时,对于该模块下的资源进行“保存”或者“另存为”,以及“移动到”时,对应的弹出框都不会显示“我的工作区”目录。

数据预警:异常数据可以落地到知识库在“预警推送”中,“推送渠道”增加“数据库”的选项,可以把异常数据存储到“知识库”的表中。

同一账号不能同时登录同一账号不能同时登录,后登录踢出先登录。


六、行业方案上线

汽车制造-财务数字化分析决策平台方案“核账型财务”向“经营型财务”升级

汽车制造-媒介平台ROI实时分析需求解决方案在激烈的市场竞争中,汽车行业对广告投放精准性要求极高,打破决策延时,敏捷响应时长,解决资源浪费,提升广告投放ROI!

为进一步提升认证服务的质量与体验,我们对认证业务进行全面优化升级。更多详情请看→Smartbi认证考试优化升级公告


麦粉社区
>
帖子详情

自助ETL,同步数据很慢,如何优化

数据准备 发表于 2025-3-14 11:41
发表于 2025-3-14 11:41:12

关系数据源doris,一共90w数据,目标数据源mysql,在执行插入或更新的时候,运行了10小时,有没有优化方法

发表于 2025-3-14 11:41:13
全量改增量;
加内存、加带宽;
直连doris,我记得它本身就是应对实时分析的数据库,为啥要把数据拿到mysql中去。

不清楚业务场景,提供一下或许有更好的解决方法
  •   dsadjsajdsakjsad
    我们需要同步甲方doris的数据库,甲方只允许通过这个平台同步,目前我使用关系数据源读取doris数据库,如何用插入更新节点同步到mysql,配置参数doris读取是5000条每次,mysql插入也是5000条插入更新一次
    2025-3-14 14:11| 回复
  •   君茗
     回复 dsadjsajdsakjsad
    doris的数据库没法直接访问?这种有数据量限制的一般是wsdl接口,但是这种的又会有日期筛选,通常只同步昨天或者今天的,日增90w条数据?这种量级 限制5000条就有问题了;同时这种量级 也不是mysql能承接的。一共90w 那就是项目进行到 历史数据导入的阶段了,这个阶段没办法 要么让甲方提供历史数据文档、或者提供全量数据接口、要么慢慢同步。如果只允许这个平台同步 一般是内部有安全机制,这类首重安全 慢又不是这个平台的问题。另外,场景我还是不太明白。。。。
    2025-3-14 14:33| 回复
  •   dsadjsajdsakjsad
     回复 君茗
    好的,感谢大佬。我上一个回复打错字了“然后”打成了“如何”。我们场景是mysql是我们的DI报表系统的数据库,甲方的数据源都配在了smartbi上面,他们只允许从这个平台同步。我目前配置是:doris读取是5000条每次,mysql插入也是5000条插入更新一次,如果按照默认配置运行过程中会报错,但是用现在的配置运行时间太长了。我的疑惑是:我觉得90w数据也不是很大,不应该那么久,我怀疑是我哪里配置错了。
    2025-3-14 14:59| 回复
  •   君茗
     回复 dsadjsajdsakjsad
    我的理解,这次的同步不是一个定时任务,而是一个单次历史数据的同步,这样不要用插入更新,用覆盖或者追加;
    后续配置一个定时的同步ETL 用来同步更改的数据(依据时间戳过滤),这个用插入或更新
    2025-3-14 15:06| 回复
  •   dsadjsajdsakjsad
     回复 君茗
    好的,感谢大佬!!!!
    2025-3-14 15:24| 回复

回复

使用道具 举报

发表于 2025-3-14 13:33:18
你内存分配了多少
  •   dsadjsajdsakjsad
    我想在系统层面进行优化,通过修改参数之类的,具体内存是客户私有化部署的,我这边不清楚,但是我感觉跟内存关系不是很大
    2025-3-14 13:55| 回复

回复

使用道具 举报

发表于 2025-3-14 13:50:16
可能是锁表了。你看看mysql那边表的使用情况
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

9回帖数 0关注人数 979浏览人数
最后回复于:2025-3-14 13:50
快速回复 返回顶部 返回列表