机器能与人类交流吗?能像人类一样理解文本含义吗?这是广大学者对人工智能最初的疑问。目前,自然语言处理(Natural Language Processing, NLP)技术的出现回答了这个问题。NLP技术可以充当人类和机器沟通的桥梁。环顾周遭的生活,我们随时可以享受到NLP技术(如语音识别、机器翻译、问答系统等)带来的便利。比如在日常生活中,我们可以喊“小度小度”帮我们播放音乐,打开电灯。这一切便利都得益于NLP技术的高速发展。
NLP是人工智能领域一个十分重要的研究方向,NLP研究的是实现人与计算机之间用自然语言进行有效沟通的各种理论和方法。NLP的地基就是文本特征表示,文本特征表示也是处理所有文本任务最基础的环节,无论内容理解、分类、聚类还是摘要提取任务,都需要将原始文本数据转换为文本特征。本章将着重介绍几种文本特征的表示方法及其使用场景。