向量的使用常见于自然语言处理和图像处理中。其中,语音处理常以音频频谱序列向量所构成的矩阵作为模型的输入;图像处理常以图像的像素构成的矩阵数据作为模型的输入。语音和图像最基本的是信号数据。因此,可通过距离度量,判断语音信号是否相似。也可通过观察图片本身,判断两幅图片是否相似。而对于高度抽象且离散的语言,往往难以直接刻画词语之间的联系,比方说“麦克风”和“话筒”这样的同义词,从字面上难以看出这两者意思相同,容易出现“语义鸿沟”现象。因此,有效表征语言,将其转化为在计算机中可计算的形式非常具有现实意义。
语义表示是当前诸多自然语言处理任务的基础之一。语义表示旨在将字、词、句、段落、文章的语义表示为合适的向量空间中的数值向量,并以此为基础提高各项任务中模型的性能。随着机器学习的发展,语义表示已成为自然语言处理的一大核心。它的一大难点在于,对文本的理解难以从文本或字符串的底层特征直接获得。比方说底层特征是字,但组合到一起会是一首表达思乡情绪的诗歌。底层特征与语义表示之间的偏差会对模型的预测产生诸多干扰,因此需要从底层特征中抽取出蕴含高层语义的特征。目前常用的方法可分为离散分布表示和分布式表示两大类。