技术文章与学习笔记

2. 文字如何变成数字

Tokenization、字符映射、encode/decode——模型处理的全是数字。