上面讨论了使错误率最小的贝叶斯决策规则。然而,当接触到实际问题时,可以发现使错误率最小并不一定是一个普遍适用的最佳选择,如图4-7所示。
图4-7 基于最小错误分类和基于最小风险分类比较
直线B的划分把正常药品误判为异常药品,这样会扩大总错误率,给企业带来一些损失;直线A的划分将异常药品误判为正常药品,虽然使错误分类最小,但会使患者因失去正确的治疗而遭受极大的损失。可见使错误率最小并不一定是最佳选择。
实际应用时,从根据不同性质的错误会引起不同程度的损失考虑出发,宁肯扩大一些总的错误率,但也要使总的损失减少。这时直线B的划分为最实用。这会引进一个与损失有关联的概念——风险。在做出决策时,要考虑所承担的风险。基于最小风险的贝叶斯决策规则正是为了体现这一点而产生的。
基于最小错误概率,在分类时取决于观测值X对各类的后验概率中的最大值,因而也就无法估计做出错误决策所带来的损失。为此,不妨将做出判决的依据,从单纯考虑后验概率最大值,改为对该观测值X条件下各状态后验概率求加权和的方式,表示成
式中,α i 代表将X判为ω i 类的决策;λ(α i ,j)表示观测样品X实属于ω j ,由于采用α i 决策而被判为ω i 时所造成的损失;R i 则表示观测值X被判为i类时损失的均值;λ(α 1 ,2)表示X确实是异常药品(ω 2 ),但采取决策α 1 被判定为正常(ω 1 ),则会有损失λ(α 1 ,2);λ(α 2 ,1)表示X确实是正常(ω 1 ),却采取决策α 2 被判定为异常(ω 2 ),则会损失λ(α 2 ,1)。
损失函数λ(α 1 ,2)比λ(α 2 ,1)大,另外为了使式子写得更方便,也可以定义λ(α 1 ,1)与λ(α 2 ,2),是指正确判断也可有损失。那么把X判做ω 1 引进的损失应该与λ(α 1 ,2)以及λ(α 2 ,1)都有关,哪一个占主要成分,则取决于P(ω 1 |X)与P(ω 2 |X),因此变成了一个加权和,如表4-1所示。
表4-1 风险分析
此时做出哪一种决策就要看R 1 (X)小还是R 2 (X)小了,这就是基于最小风险的贝叶斯决策的基本出发点。如果希望尽可能避免将某状态ω j 错判为状态ω i ,则可将相应的λ(α i ,j)值选择得大些,以表明损失的严重性。加权和R i 用来衡量观测样品X被判为状态ω i 所需承担的风险。而究竟将X判为哪类则应依据所有R i (i=1,…,M)中的最小值,即最小风险来确定。一般λ(α 1 ,1)=λ(α 2 ,2)=0,为了避免将异常药品判为正常的严重损失,取λ(α 1 ,2)>λ(α 2 ,1)则会使R 2 (X)<R 1 (X)机会多,根据贝叶斯最小风险分类法,表明正常药品错判为异常的可能性大于异常药品错判为正常的可能性,损失减小。
(1)贝叶斯决策的相关定义
① 自然状态与状态空间。其中自然状态是指待识别对象的类别,而状态空间Ω则是由所有自然状态组成的空间,Ω={ω 1 ,ω 2 ,…,ω M }。
② 决策与决策空间。在决策论中,对分类问题所做的判决,称之为决策,由所有决策组成的空间称为决策空间。决策不仅包括根据观测值将样品归到哪一类别,还可包括其他决策,如“拒绝”等。在不考虑“拒绝”情况下,决策空间内决策总数等于类别数M,表示成:A={α 1 ,α 2 ,…,α M }。
③ 损失函数λ(α i ,j)。它明确表示本身属于自然状态ω j ,做出决策α i ,使其归属于ω i 所造成的损失。
④ 观测值X条件下的期望损失R(α i X),R i 也称为条件风险。
⑤ 最小风险贝叶斯决策规则可写成
这里计算的是最小值。
(2)最小风险贝叶斯决策的操作步骤
①已知P(ω i ),P(X ω i ),i=1,…,M及给出待识别X的情况下,根据贝叶斯公式计算出后验概率
② 利用计算出的后验概率及决策表,按式(4-22)计算出采取决策α i ,i=1,…,M的条件风险
③对②中得到的M个条件风险值R(α i |X),i=1,…,M进行比较,找出使条件风险最小的决策α k ,则α k 就是最小风险贝叶斯决策,ω k 就是待识别样品X的归类。