什么是生成模型?它与机器学习中有监督、无监督学习有哪些异同?接下来就这些问题进行说明。
一个好的生成模型应该能实现以下两个目标。
● 基本功能:能够还原参与训练的样本,实现模仿功能。
● 创新功能:如果输入为图像,通过生成模型,能够生成原数据没有但与输入图像相似的图像;如果输入为语句,通过生成模型,能够生成输入语句的摘要或对答短语等信息。
图1-3为生成模型的架构图。
生成模型的数学表示如下:
输入:观察数据 x 。
输出:生成模型估计的观察数据的分布函数 p ( x )。 p ( x )通常认为是高斯混合模型,高斯混合分布具有一个重要特性,即它可以拟合任何分布。如果观察数据中含标签 y ,则生成模型的输出就是 p ( x | y )。
图1-3 生成模型的架构图
判别模型与机器学习的有监督学习相似,输入数据除图像外,还需要对应图像的类别标签,如图1-4所示。
图1-4 判别模型的架构图
判别模型的数学表示如下:
输入:观察值 x ,标签 y 。
学习参数:模型参数 w 。
输出:判别模型 。