4
向量与嵌入
- 词元 ID
- 独热向量
- 学习得到的嵌入
区分 ID、和学习得到的嵌入。
看看语言模型的内部，再用 Python 亲手打造
学完初级第1～3阶段，就从这里开始吧。
先看初级第1～3阶段你走到9个阶段中的哪一步了？
- 初级 使用 AI 并核实答案
- 中级 了解语言模型内部
- 高级 用 Python 构建与评估
怎样学习这门课程
- 点击台阶上的一个阶段，就会打开对应的 课程章节。先读目标，再读正文。
- 用下表中为这个阶段标出的练习工具动手试一试。亲手做比只读记得久得多。
- 能用自己的话讲清楚这一章后，就去参加 AI知识考试中编号相同的那一级。
每个阶段在哪里动手练习
| 阶段 | AI 实验室 | 亲手打造 | 代码实验室 |
|---|---|---|---|
| 4. 向量与嵌入 | 是 | 否 | 否 |
| 5. 训练、推理与检索 | 否 | 是 | 否 |
| 6. 指令、采样与验证 | 否 | 是 | 否 |
| 7. Python：运行、观察与修改 | 否 | 否 | 是 |
| 8. 数值、预测与激活函数 | 否 | 否 | 是 |
| 9. 训练并评估小模型 | 否 | 否 | 是 |