内容简介
本书是一本面向自然语言处理(NLP)从业者与爱好者的实战指南,深入剖析了BERT(来自Transformer的双向编码器表示)的核心原理与实现方法。全书从Transformer架构出发,系统讲解了BERT的预训练、微调、分词器、注意力机制等关键技术,并结合PyTorch框架提供了大量可运行的代码示例。
内容涵盖BERT的变体(如RoBERTa、ALBERT、DistilBERT)及其在文本分类、文本生成、问答系统、命名实体识别等典型NLP任务中的实践应用。本书还探讨了如何针对特定领域(如医学、金融)进行BERT模型的领域适配与优化,以及模型部署的实用技巧。
通过本书,读者不仅可以掌握BERT的理论基础,还能学会如何在实际项目中灵活运用Transformer模型,提升NLP应用的性能。书中附有丰富的图表和实验数据,便于读者直观理解复杂概念,适合具备一定Python编程基础和数据科学背景的读者进阶学习。
目录
本书适用人群
本书内容
学以致用
下载示例代码
排版约定
联系我们
评价
更多信息
第一部分 开始使用BERT
第1章 Transformer概览
1.1 Transformer简介
1.2 理解编码器
1.3 理解解码器
1.4 整合编码器和解码器
1.5 训练Transformer
1.6 小结
1.7 习题
1.8 深入阅读
第2章 了解BERT模型
2.1 BERT的基本理念
2.2 BERT的工作原理
2.3 BERT的配置
2.4 BERT模型预训练
2.5 子词词元化算法
2.6 小结
2.7 习题
2.8 深入阅读
第3章 BERT实战
3.1 预训练的BERT模型
3.2 从预训练的BERT模型中提取嵌入
3.3 从BERT的所有编码器层中提取嵌入
3.4 针对下游任务进行微调
3.5 小结
3.6 习题
3.7 深入阅读
第二部分 探索BERT变体
第4章 BERT变体(上):ALBERT、RoBERTa、ELECTRA和SpanBERT
4.1 BERT的精简版ALBERT
4.2 从ALBERT中提取嵌入
4.3 了解RoBERTa
4.4 了解ELECTRA
4.5 用SpanBERT预测文本段
4.6 小结
4.7 习题
4.8 深入阅读
第5章 BERT变体(下):基于知识蒸馏
5.1 知识蒸馏简介
5.2 DistilBERT模型——BERT模型的知识蒸馏版本
5.3 TinyBERT模型简介
5.4 将知识从BERT模型迁移到神经网络中
5.5 小结
5.6 习题
5.7 深入阅读
第三部分 BERT模型的应用
第6章 用于文本摘要任务的BERTSUM模型
6.1 文本摘要任务
6.2 为文本摘要任务微调BERT模型
6.3 理解ROUGE评估指标
6.4 BERTSUM模型的性能
6.5 训练BERTSUM模型
6.6 小结
6.7 习题
6.8 深入阅读
第7章 将BERT模型应用于其他语言
7.1 理解多语言BERT模型
7.2 M-BERT模型的多语言表现
7.3 跨语言模型
7.4 理解XLM-R模型
7.5 特定语言的BERT模型
7.6 小结
7.7 习题
7.8 深入阅读
第8章 Sentence-BERT模型和特定领域的BERT模型
8.1 用Sentence-BERT模型生成句子特征
8.2 sentence-transformers库
8.3 通过知识蒸馏迁移多语言嵌入
8.4 特定领域的BERT模型:ClinicalBERT模型和BioBERT模型
8.5 小结
8.6 习题
8.7 深入阅读
第9章 VideoBERT模型和BART模型
9.1 VideoBERT模型学习语言及视频特征
9.2 了解BART模型
9.3 探讨BERT库
9.4 小结
9.5 习题
9.6 深入阅读
习题参考答案
作者简介
您当前的等级为
登录后免费下载登录
小黑屋反思中,不准下载!
评论后刷新页面下载评论
支付¥以后下载
请先登录
您今天的下载次数(次)用完了,请明天再来
支付积分以后下载立即支付
支付以后下载立即支付
您当前的用户组不允许下载升级会员
您已获得下载权限
您可以每天下载资源次,今日剩余次
免责申明:
1. 本站分享的所有书籍均来源于自互联网,我们只进行收集整理,并不对书籍内容进行更改。
2. 部分书籍中可能有书籍压制者放置的广告,这并不是本站所为,请注意甄别。
3. 我们分享这些书籍,纯粹是出于知识分享的热情,以及对互联网分享精神的高度认同和践行,不以盈利为目的。
4. 本站分享的所有书籍,仅供个人学习研究使用,请勿用于任何商业用途,否则产生的一切法律纠纷与本站无关。
5. 如果这些书籍让你有所收获,在条件允许的情况下,请一定购买正版书籍,这是对创作者最好的支持。
6. 如果您是此书籍的版权所有者,且您不希望此作品出现在本站,请联系我们,我们将在收到您的请求后48小时内予以删除。