6. 手算一遍注意力
用 3 个字、2 维的小例子，把四步注意力从头到尾算了一遍。
阅读
技术文章与学习笔记
推荐阅读
优先展示推荐文章与带封面的内容。
分类
标签
推荐阅读
优先展示推荐文章与带封面的内容。
用 3 个字、2 维的小例子，把四步注意力从头到尾算了一遍。
Q/K/V、打分、掩码、softmax、融合。整个 Transformer 的灵魂所在。
自监督学习——文本本身往后错一位就是答案。get_batch 发牌器的工作方式。
多维数组。batch(16段) × time(32字) × channel(128维) 打了一个木箱比喻。
Tokenization、字符映射、encode/decode——模型处理的全是数字。
大语言模型到底是什么？一个「接龙机器」的诞生。