3级
在给定限制之内,写出一份真能落地的设计书。
报考条件
年满18周岁可报考。
必修编程语言
从5级到1级,所有等级的共同必修。
Shell Scripting
操作那些构建和运行人工智能的计算机的基础语言。
这个资格证考的是从零开始做出,而这件事是在上完成的。获取数据、运行、搬运结果、把放上,都从开始。不管模型用什么语言写成,运行它、把各部分接起来、让工作自动化的,都是 。所以从5级到1级,每个等级都要求 Shell 脚本。(只是在或应用里使用人工智能,不需要终端;要做出一个,就需要。)
去学 Shell 编程各级通用的同一道题
你要完全从零开始亲手做一个人工智能。请设计出你打算怎么做。
从5级到1级都是这道题。变化的是答案所要求的深度,以及题目附加的限制条件。
学什么
- 在给定的平台与语言限制内设计结构。
- 把训练过程与过程分开讲清楚。
- 主动说明自己设计的局限与风险。
如何评分
- 是否守住了给定的限制
- 所写的结构是否真能跑起来
- 是否如实写出局限而没有回避
考试构成
第一场是考场笔试,第二场是面试加实操。两场用的是同一道题。
在指定考场进行,答案要手写在试卷上。考查你能否把设计用文字讲清楚。
先由考官就你的设计进行面试,然后现场真正动手做出。考查纸上的方案能否在手里跑起来。
预测题
正式考试只出上面那一道各级通用的题。下面的 20 道题是预测题,用来检查你在写那份设计之前要先知道的词语、名字和事实。每道题都是只有一个正确答案的简答题:先读说明、写下答案,再展开正确答案对一对。它们不是官方题目。
训练的原理
-
1
像神经网络的权重和偏置这样,模型在训练中一边看数据一边自己调整的值,统称为什么?
查看答案
正确答案 参数(Parameter)
“70B 模型”里的 B 是 billion(十亿),意思是这个模型有700亿个参数。
-
2
像学习率、层数这样,不是由训练自己决定,而是由人在训练前定好的设置值叫什么?
查看答案
正确答案 超参数(Hyperparameter)
参数由训练决定,超参数由人决定。人会用验证数据比较后再挑选。
-
3
朝着损失变小的方向(梯度的反方向)一点一点修改权重的优化方法叫什么?
查看答案
正确答案 梯度下降(Gradient Descent)
就像蒙着眼睛下山时,每一步都朝脚下更低的地方迈。
-
4
把神经网络输出产生的误差,从后面的层往前面的层反向传回去,算出每个权重的梯度。这种方法叫什么?
查看答案
正确答案 反向传播(Backpropagation)
用反向传播求出梯度,再用梯度下降按这些梯度修改权重。
-
5
在梯度下降中,决定每次把权重改多大的超参数叫什么?
查看答案
正确答案 学习率(Learning Rate)
太大的话,损失会上下乱跳;太小的话,训练会非常慢。
语言模型的结构
-
6
在 Transformer 里,为句子中的每个词元计算它应该关注其他哪些词元、关注多少的核心机制叫什么?
查看答案
正确答案 注意力机制(Attention,自注意力)
最早发表 Transformer 的论文题目就是《Attention Is All You Need》。
-
7
语言模型一次能读进并记住的最大词元长度叫什么?
查看答案
正确答案 上下文窗口(Context Window)
超过这个长度的前面部分,模型就看不到了。如果设计要处理长文档,首先就要考虑这一点。
-
8
选下一个词元时,值低就总是选最可能的那个,值高就会选得更多样。这个生成设置叫什么?
查看答案
正确答案 温度(Temperature)
回答事实问题时常设得低一些,想点子时常设得高一些。
-
9
把已经用大量数据训练好的模型,再用少量针对特定用途的数据继续训练,让它更合用。这叫什么?
查看答案
正确答案 微调(Fine-tuning)
比从头开始训练所需的数据和计算量少得多。
-
10
让模型在回答前先找出相关文档,把文档内容放进提示词里再回答。请用三个英文字母的缩写写出这种方法。
查看答案
正确答案 RAG(Retrieval-Augmented Generation,检索增强生成)
不用重新训练模型,也能让它根据最新资料或公司内部资料来回答。
平台与限制
-
11
不经过互联网服务器,直接在手机、笔记本电脑这样的设备里运行模型的方式叫什么?
查看答案
正确答案 端侧 AI(On-device AI)
数据不会离开设备,没有网络也能运行,但模型必须小到适合设备的内存和计算能力。
-
12
把模型里的数字(权重)用更少的位数来表示,比如用8位、4位代替32位,从而减小模型大小和内存占用。这种方法叫什么?
查看答案
正确答案 量化(Quantization)
准确率可能会稍微下降,但换来的是小设备也能运行大模型。
-
13
能让用 C、Rust 等语言写的程序在网页浏览器里快速运行的二进制格式叫什么?请写出名字。本站的 Python 练习也靠它运行。
查看答案
正确答案 WebAssembly(Wasm)
如果平台限制是“浏览器”,就可以考虑用 WebAssembly 在浏览器里运行 Python 和模型的设计。
-
14
有一种芯片原本是为图形处理而做的,却能同时处理大量神经网络训练中的巨大矩阵运算。请用三个英文字母的缩写写出它。
查看答案
正确答案 GPU(Graphics Processing Unit)
它能同时开动成千上万个小计算器,很适合反复做同样计算的深度学习。
-
15
一个程序开放出来、让别的程序按约定好的规则(请求和响应的格式)调用其功能的窗口,用三个英文字母的缩写叫什么?在自己的应用里调用语言模型时就会用到它。
查看答案
正确答案 API(Application Programming Interface)
通过 API 借用别人的模型很方便,但也要同时考虑费用、速度和数据泄露。
局限与风险
-
16
训练数据偏向一边,导致模型对某些群体给出不公平结果的问题叫什么?
查看答案
正确答案 偏见(Bias,数据偏差)
例如:某个群体的照片放得少,人脸识别模型就会更常认错这个群体。
-
17
在提示词或模型读取的文档里偷偷藏进指令,让语言模型违背原本的指示。这种攻击叫什么?
查看答案
正确答案 提示词注入(Prompt Injection)
如果设计中要读取外部文档,就必须防止模型把文档里的指示当作命令来执行。
-
18
模仿真人的脸或声音、做得像真的一样的假视频或假音频,用深度学习(deep learning)和假(fake)合成的词叫什么?
查看答案
正确答案 深度伪造(Deepfake)
同样的技术,用途不同就可能成为犯罪。不要在没有得到同意的情况下使用别人的脸或声音。
-
19
研究如何用人能理解的方式解释模型为什么给出某个答案的领域,用三个英文字母的缩写叫什么?
查看答案
正确答案 XAI(Explainable AI,可解释人工智能)
在医疗、金融这类判断理由很重要的领域,尤其需要它。
-
20
2024年8月生效、按风险等级对人工智能分类监管的世界上第一部综合性人工智能法律,是由哪里制定的?
查看答案
正确答案 欧盟(EU)
它叫作欧盟《人工智能法》(AI Act)。用途风险越高,要遵守的义务就越重,条款分阶段适用。