GPT图解：大模型是怎样构建的 (黄佳)

从初代GPT到ChatGPT，再到GPT-4的进化史
第1课  高楼万丈平地起：语言模型的雏形N-Gram和简单文本表示Bag-of-Words
    1.1   N-Gram模型
    1.2   “词”是什么，如何“分词”
    1.3   创建一个Bigram字符预测模型
    1.4   词袋模型
    1.5   用词袋模型计算文本相似度
小结
思考
第2课  问君文本何所似：词的向量表示Word2Vec和Embedding
    2.1   词向量≈词嵌入
    2.2   Word2Vec：CBOW模型和Skip-Gram模型
    2.3   Skip-Gram模型的代码实现
    2.4   CBOW模型的代码实现
    2.5   通过nn.Embedding来实现词嵌入
小结
思考
第3课  山重水复疑无路：神经概率语言模型和循环神经网络
    3.1   NPLM的起源
    3.2   NPLM的实现
    3.3   循环神经网络的结构
    3.4   循环神经网络实战
小结
思考
第4课  柳暗花明又一村：Seq2Seq编码器-解码器架构
    4.1   Seq2Seq架构
    4.2   构建简单Seq2Seq架构
小结
思考
第5课  见微知著开慧眼：引入注意力机制
    5.1   点积注意力
    5.2   缩放点积注意力
    5.3   编码器-解码器注意力
    5.4   注意力机制中的Q、K、V
    5.5   自注意力
    5.6   多头自注意力
    5.7   注意力掩码
    5.8 其他类型的注意力
小结
思考
第6课  层峦叠翠上青天：搭建GPT核心组件Transformer
    6.1   Transformer架构剖析
    6.2   Transformer代码实现
    6.3   完成翻译任务
小结
思考
第7课  芳林新叶催陈叶：训练出你的简版生成式GPT
    7.1   BERT与GPT争锋
    7.2   GPT：生成式自回归模型
    7.3   构建GPT模型并完成文本生成任务
    7.4   使用WikiText2数据集训练Wiki-GPT模型
小结
思考
第8课  流水后波推前波：ChatGPT基于人类反馈的强化学习
    8.1   从GPT到ChatGPT
    8.2   在Wiki-GPT基础上训练自己的简版ChatGPT
    8.3   用Hugging Face预训练GPT微调ChatGPT
    8.4   ChatGPT的RLHF实战
小结
思考
第9课  生生不息的循环：使用强大的GPT-4 API
    9.1   强大的OpenAI API
    9.2   使用GPT-4 API
小结
思考