文本向量化

一、文本向量化的主要挑战

• 语义鸿沟：同义词(大巴vs公交车)， 多义词（苹果）
• 维度灾难：词汇量巨大， 向量维度高， 稀疏性问题
• 上下文依赖： 词句的含义受其上下文影响
• 语言复杂性： 语法、语序、搭配等
• 新词的出现： 例如 YYDS

Transformer是解决上述问题的关键方法!

二、文本向量化的完整流程

附图：流程示意

下面两张图为本节的可视化补充（放于文档底部以便阅读）：

• 文本向量化流程.svg：完整的文本向量化详细流程（从采集到输出与实践建议）。

• 示例_我是学习Transformer流程.svg：以输入文本 “我是学习Transformer” 为例的逐步示意（分词 → Token ID → Embedding → Transformer 解码器 → 解码/后处理）。

  

说明：若在本地浏览器或 Markdown 渲染器中无法直接显示 SVG，请尝试用支持 SVG 的浏览器打开，或将 SVG 导出为 PNG 后插入。