八月上旬更新速递丨 实战赋能、技术深耕与AI探索

数据浪潮奔涌,八月更新携实战培训、集成攻略与AI新知强势来袭!助您攻克难题,解锁高阶技能!

重点推荐案例库重磅上线!

汽车制造两大数字化方案领衔登场,实战培训+集成攻略+AI新知火力全开,助您破局数据难题!


一、任务持续上线

【AI每日一学知识问答】什么是业务数据化,什么又是数据业务化?检验一下你对“业务数据化”与“数据业务化”这对数字化转型双引擎的理解吧


二、demo动态更新

DEMO动态】体验中心行业案例&移动端上新!速来!》→全新的行业案例DEMO和全新移动端DEMO上线,带您领略不一样的数据体验!


三、实战技巧分享


四、开发技能突破


AI每日一学


、小麦训练营

小麦训练营(深圳站):实战演练企业级数据仓库赋能一场专为企业级数据仓库实战赋能的盛宴

麦粉社区
>
帖子详情

【AI每日一学】LLM 中的 Token 和 Embedding 到底是啥?

AIChat 发表于 昨天 11:20

麦粉集合!AI实战落地系列第二十三弹扬帆起航!


        在上一弹中,我们深入探讨了AI对话中的关键工具—prompt(提示词),掌握了如何通过精准的指令引导AI生成高质量内容,真正实现“人机协同”。Prompt不仅是沟通的桥梁,更是释放AI潜能的钥匙。学会了它,你就掌握了与AI高效对话的“魔法”!


        而今天,我们将回归技术底层,解析LLM(大语言模型)中两个最基础却又至关重要的概念——Token与Embedding。它们就像是AI理解语言的“字母”和“词典”,搞懂它们,你才能真正明白AI是如何“读懂”人类语言的!


AI知识问答(知识巩固)


        在深入新领域之前,先来一场有趣的“知识热身赛”吧!温故而知新,这可是进步的秘诀哦~ 快来检验一下你对Prompt的理解程度吧!规则依旧,最快答对的前十名麦粉将赢得20麦豆!这可是拼手速和知识储备的绝佳时刻,你准备好了吗?——>【AI每日一学知识巩固】在AI语境里,介绍一下Prompt


 


掌握了Prompt的设计精髓后,我们将进一步揭开AI理解语言的神秘面纱——Token与Embedding,它们是LLM处理文本的基石。你准备好了吗?让我们继续探索!


LLM中的Token和Embedding到底是啥?(今日学习)


在LLM(大语言模型)中,Token和Embedding是两个基础且关键的概念,解释如下:


Token


        Token可以理解为将文本分割成的一个个“小单元”。比如句子“我爱自然语言处理”,可能被分割成“我”“爱”“自然”“语言”“处理”等Token。模型处理文本时,需先将其转化为Token序列,这是因为计算机只能处理数字,而Token化就是将文本转换为模型能理解的数字序列的第一步。不同模型的Token分割方式可能不同,有的按单词分割,有的按子词分割,还有的按字符分割。


 


Embedding


        Embedding是将Token转化为向量的过程。每个Token经过Embed ding后,会变成一个稠密的数值向量(如长度为768的向量)。这些向量不是随机生成的,而是包含了Token的语义信息,比如意思相近的Token,它们的Embedding向量在空间中的距离会比较近。Embedding就像是给Token赋予了“数字身份”,让模型能通过向量运算来理解文本的语义和关系。


 


关键区别:



  • Token是“形式”,Embedding是“内涵”。

  • Token解决“怎么让AI认识文字”,把中文拆成数字ID,像给每个字/词发一个“身份证号”;Embedding解决“怎么让AI懂意思”,用数字向量记录语义特征,像给每个ID写上“性格特点”,让AI能根据“标签”判断谁和谁更像。


         Token就像把中文书撕成小纸片(每个纸片是一个字或词),Embedding就是在每个纸片上写备注(比如“这是水果类的词”)。AI拿着这些带备注的纸片,就能知道哪些纸片讲的是同类东西。简单来说,Token是对文本的分割,让模型能处理文本;Embedding是给Token赋予语义信息,让模型能理解文本的含义。两者共同构成了LLM处理自然语言的基础。


 


本次的学习就到这里结束了,理论需要实践验证,技术渴望真实触感!我们为您准备了:


AIChat体验环境!


在这里,你可以尽情体验Smartbi 白泽 AIChat产品的强大功能,感受智能交互带来的便捷与乐趣。


体验中心入口:


AIChat体验环境(点击即可开启奇妙之旅)


帮助中心入口:


AIChat帮助中心遇到问题随时查阅)


相关学习视频:



欢迎大家前来体验~


 

发表于 6 小时前
学习了
回复

使用道具 举报

发表于 1 小时前
学习了
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

2回帖数 0关注人数 101浏览人数
最后回复于:1 小时前
快速回复 返回顶部 返回列表