4.2 基于最小错误率的贝叶斯决策

假定得到一个待识别量的特征X后，每个样品X有n个特征，即X=（x ₁ ，x ₂ ，…，x _n ） ^T ，通过样品库，计算先验概率 P（ω _i ）及类别条件概率密度函数 P（X|ω _i ），得到呈现状态 X时，该样品分属各类别的概率，显然这个概率值可以作为识别对象判属的依据。从后验概率分布图4-4可见，在X值小时，药品被判为正常是比较合理的，判断错误的可能性小。基于最小错误概率的贝叶斯决策就是按后验概率的大小判决的。这个规则又可以根据类别数目，写成不同的几种等价形式。

1.两类问题

若每个样品属于ω ₁ ，ω ₂ 类中的一类，已知两类的先验概率分别为P（ω ₁ ），P（ω ₂ ），两类的类条件概率密度为P（X ω ₁ ），P（X ω ₂ ）。则任给一X，判断X的类别。由贝叶斯公式可知

由全概率公式可知

其中M为类别。

对于两类问题

所以用后验概率来判别为

判别函数还有另外两种形式。

（1）似然比形式

其中，式（4-14）中的l（X）在统计学中称为似然比，而 称为似然比阈值。

（2）对数形式

式（4-13）、式（4-14）、式（4-15）三种判别函数是一致的，也可以用后验概率来表示判别函数。

2.多类问题

现在讨论多类问题的情况。在第1章已经介绍了判别函数的一般形式，如图4-5所示。

若样本分为M类ω ₁ ，ω ₂ ，…，ω _M ，各类的先验概率分别为P（ω ₁ ），P（ω ₂ ），…，P（ω _M ），各类的类条件概率密度分别为P（X|ω ₁ ），P（X|ω ₂ ），…，P（X|ω _M ），就有M个判别函数。在取得一个观察特征X之后，在特征X的条件下，看哪个类的概率最大，应该把X归于概率最大的那个类。因此对于任一模式X，可以通过比较各个判别函数来确定X的类别。

就是把X代入M个判别函数中，看哪个判别函数最大，就把X归于这一类。

判别函数的对数形式为

由于先验概率通常是很容易求出的，贝叶斯分类器的核心问题就是求出类条件概率密度P（X ω _i ），如果求出了条件概率，则后验概率就可以求出了，判别问题就解决了。在大多数情况下，类条件密度可以采用多维变量的正态密度函数来模拟。所以此时正态分布的贝叶斯分类器判别函数为

使用什么样的决策原则可以做到错误率最小呢？前提是要知道一个样品X分属不同类别的可能性，表示成P（ω _i |X），然后根据后验概率最大的类来分类。后验概率要通过贝叶斯公式从先验概率与类分布函数来计算。

3.最小错误率证明

基于最小错误率的贝叶斯决策根据：如果

由于统计判别方法是基于统计参数做出决策的，因此错误率也只能从平均意义上讲，表示为在观测值可能取值的整个范围内错误率的均值。

为了直观，假设X只有一个特征，n=1，于是P（X|ω ₁ ），P（X|ω ₂ ）都是一元函数，将整个特征空间分为不相交的两个部分R ₁ 和R ₂ 。当模式落在R ₁ 内判定它属于ω ₁ 类，求分类器相当于求R ₁ 和R ₂ 的分界线。

（1）第一类判错

如果X原属于ω ₁ 类，却落在R ₂ 内，称为第一类判错，错误率为

P ₁ （e）=P（X∈R ₂ ω ₁ ）=∫ _R 2P（X ω ₁ ）dx

（2）第二类判错

如果X原属于ω ₂ 类，却落在R ₁ 内，称为第二类判错，错误率为

P ₂ （e）=P（X∈R ₁ |ω ₂ ）=∫ _R 1P（X|ω ₂ ）dx

因此，平均错误率P（e）可表示成

因此，错误率为图中两个画线部分之和，如图4-6所示。

贝叶斯决策式（4-19）表明每个样品所属类别都使P（ω _i |X）为最大，实际上使X判错的可能性达到最小，这时总的错误率为最小。按贝叶斯决策分类时，∫ _R 2P（X|ω ₁ ）p（ω ₁ ）dX=∫ _R 1P（X|ω ₂ ）p（ω ₂ ）dX。