下载掌阅APP，畅读海量书库
立即打开
分词是NLP里非常基础的一项任务，它跟词性标注（POS）和命名实体识别（NER）一样，都属于序列标注任务。词性标注和NER任务一般是在分词之后进行的，少量NER模型为了减少分词带来的错误传播，不进行分词而直接执行NER任务。词性标注跟分词一样都不是现阶段NLP领域的研究热点，因为无论是传统的机器学习方法，还是深度学习方法，分词和词性标注的性能基本上都已经达到了较高的水准，可以商用，使用更复杂的模型能明显提升性能。
本章主要介绍分词，先介绍一些背景知识，然后介绍传统的分词方法，之后介绍深度学习在分词任务中的应用，最后讨论一下中文场景分词与不分词的优劣。