当前正在查看筛选结果

#Transformer

共 2 篇匹配内容。

分类
标签

标签：Transformer

拆解一个 200 万参数的小型 Transformer：每一行参数都在学什么？
AI/深度学习

拆解一个 200 万参数的小型 Transformer：每一行参数都在学什么？

用一张直观的表格和分层拆解，带你数清楚一个 200 万参数的语言模型里，词嵌入、注意力、前馈网络和输出头各自占了多少参数，以及它们分别学会了什么。

阅读
5. 注意力机制：让字看懂上下文
AI

5. 注意力机制：让字看懂上下文

Q/K/V、打分、掩码、softmax、融合。整个 Transformer 的灵魂所在。

阅读