2.4 本章小结

祝贺你，现在你知道了如何训练一个用于分类推文情感的Transformer模型！我们已经讨论了基于特征和微调的两种互补方法，并研究了它们的优势和劣势。

然而，这只是使用Transformer模型构建实际应用程序的第一步，我们还有很多工作要做。以下是在NLP旅程中可能遇到的挑战清单：

我的老板希望我的模型昨天就上线了！

在大多数应用程序中，你并不希望你的模型闲置，你希望将它用于预测！当模型被推送到Hub时，会自动创建一个推理端点，可以使用HTTP请求调用它。如果你想了解更多信息，建议查看推理API的文档（ https://oreil.ly/XACF5 ）。

我的用户需要更快的预测！

我们已经讨论了解决此问题的一种方法：使用DistilBERT。在第8章中，我们将深入研究知识蒸馏（DistilBERT创建的过程）以及其他加速Transformer模型的技巧。

你的模型是否也可以执行 X 任务？

正如我们在本章中所提到的，Transformer模型非常多才多艺。在本书的其余部分中，我们将使用相同的基本架构探索一系列任务，例如问答和命名实体识别。

我的文本不是英语！

事实证明，Transformer模型能够支持多语言，在第4章中，我们将使用它们同时处理多种语言。

我没有标注数据！

如果可用的标注数据非常少，则可能不能进行微调。在第9章中，我们将探讨一些应对这种情况的技术。

现在我们已经了解了如何训练和共享Transforme。在第3章中，我们将探索如何从头开始实现我们自己的Transformer模型。

---

[1] V. Sanh et al., “DistilBERT，a Distilled Version of BERT:Smaller，Faster，Cheaper and Lighter”（ https://arxiv.org/abs/1910.01108 ），（2019）.

[2] 擎天柱是著名动画片《变形金刚》中汽车人的领袖。

[3] E. Saravia et al., “CARER: Contextualized Affect Representations for Emotion Recognition，” Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing （Oct-Nov 2018）:3687-3697， http://dx.doi.org/10.18653/v1/D18-1404 .

[4] GPT-2是GPT的后继者，凭借其令人印象深刻的生成逼真文本的能力吸引了公众的关注。我们将在第6章中详细探讨GPT-2。

[5] M. Schuster and K. Nakajima，“Japanese and Korean Voice Search，” 2012 IEEE InternationalConference on Acoustics，Speech and Signal Processing （2012）: 5149-5152， https://doi.org/10.1109/ICASSP.2012.6289079 .

[6] 在DistilBERT的情况下，它在猜测掩码词元。

[7] L. McInnes, J. Healy, and J. Melville, “UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction”（ https://arxiv.org/abs/1802.03426 ）, （2018）. rvMnQf+GUh5tsuXuHiTOJZP8pHR4tJh6XWZxUrWopLYPEHWNyOW+bZAV2fiSRNxQ