不确定性推理

Chromatic Vizier...About 24 min

不确定性推理

基本概念

不确定性推理是建立在非经典逻辑基础上的一种推理，它是对不确定性知识的运用与处理。

严格地说，所谓不确定性推理就是从不确定性的初始证据出发，通过运用不确定性的知识，最终推出具有一定程度的不确定性但却是合理或者近乎合理的结论的思维过程。

基于概率的推理

经典概率方法

产生式规则：

I F E T H E N H

$P (H | E)$ 是可信度，要算可信度就需要条件概率 $P (E | H)$ ，和先验概率 $P (H)$ ， $P (E)$ 。

Bayes网络

基本概念

是一系列变量的联合概率分布的图形表示；是一个表示变量之间的相互依赖关系的数据结构；是图论与概率论的结合。

贝叶斯网络图是一个有向无环图，其中图中的每个节点代表相应的变量。当有向弧由节点A指向节点B时，则称：A是B的父节点；B是A的子节点。被指到的是儿子。节点和节点之间的条件概率表就是一系列的概率值，表示了局部条件概率分布。

例子

命题S(smoker)：该患者是一个吸烟者；

命题C(coal Miner)：该患者是一个煤矿矿井工人；

命题L(lung Cancer)：他患了肺癌；

命题E(emphysema)：他患了肺气肿。

由专家给定的假设可知，命题S对命题L和命题E有因果影响，而C对E也有因果影响。命题之间的关系可以描绘成因果关系网。每一个节点代表一个证据，每一条弧代表一条规则（假设），连接结点的弧表达了由规则给出的节点间的直接因果关系。

之后为各个节点指派概率，并给每个弧指定连接强度（父节点有多大可能导致子节点？）：

联合概率

联合概率是：

P (X_{1}, X_{2}, . . ., X_{n})

如果它们相互独立：

P (X_{1}, X_{2}, . . ., X_{n}) = P (X_{1}) P (X_{2}) . . . P (X_{n})

用条件概率可以表示为：

P (X_{1}, X_{2}, . . ., X_{n}) = P (X_{1}) P (X_{1} | X_{2}, . . ., X_{n})

迭代表示：

P (X_{1}, X_{2}, . . ., X_{n}) = P (X_{1}) P (X_{2} | X_{1}) P (X_{3} | X_{2}, X_{1}) . . . P (X_{n} | X_{n - 1}, . . ., X_{1})

P (X_{1}, X_{2}, . . ., X_{n}) = P (X_{1}) P (X_{2} | X_{1}) . . . P (X_{1} | X_{2}, . . ., X_{n})

条件独立性

如果在给定Z的条件下，X与Y相互独立，则： $P (X | Y, Z) = P (X | Z)$ ，因为：

\begin{matrix} P (X, Y | Z) = P (X | Z) P (Y | Z) \\ P (X | Y, Z) = \frac{P (X, Y, Z)}{P (Y, Z)} \\ P (X, Y, Z) = P (X, Y | Z) P (Z), P (Y, Z) = P (Y | Z) P (Z) \\ P (X | Y, Z) = \frac{P (X, Y | Z)}{P (Y | Z)} = \frac{P (X | Z) P (Y | Z)}{P (Y | Z)} = P (X | Z) \end{matrix}

上面那张图中的联合概率密度是：

P (S, C, L, E) = P (E | S, C, L) * P (L | S, C) * P (C | S) * P (S)

给定父节点的状态后，每个变量与它在图中的非继承节点在概率上是独立的。

可以根据上述方式简化联合概率密度：

P (S, C, L, E) = P (E | S, C) * P (L | S) * P (C) * P (S)

D分离

对于单个变量X, Y, E:，X与Y在给定E的条件下独立可得：

\begin{matrix} P (X | Y, E) = P (X | E) \\ P (Y | X, E) = P (Y | E) \end{matrix}

对于多个变量：

如果 $X_{i}$ 与 $Y_{i}$ 在给定 $E_{i}$ 的条件下独立，有：

P (X_{1}, X_{2}, \dots, X_{n} | Y_{1}, Y_{2}, \dots, Y_{m}, E_{1}, E_{2}, \dots, E_{p}) = P (X_{1}, X_{2}, \dots, X_{n} | E_{1}, E_{2}, \dots, E_{p})

串行D分离

串行连接中，事件X通过事件Z影响事件Y，反之事件Y也是通过事件Z影响事件X。但是，如果原因证据Z是给定的，X并不能给Y更多的东西，或者说，从X那里得到更多的信息。

此时称，如果Z是已知的，那么通道就被阻塞，X和Y就是独立的了。则称X和Y是被Z节点D分离的，即

P (X, Y | Z) = P (X | Z) P (Y | Z)

当Z已知时，X对Y的影响完全被Z捕捉，Z作为中介阻断了X和Y之间的直接关联。

例如：

X：是否下雨；Z：地面是否湿；Y：是否有人摔倒。

对应关系是：

下 雨 \to 地 面 湿 \to 有 人 摔 倒

如果不知道Z（是否湿），只知道X（是否下雨），那么下雨可能影响是否有人摔倒，Z和X相关。

但是如果知道了Z，即知道地面的潮湿情况，那就无需知道是否下雨即可判定是否有人摔倒的情况，因为下雨和摔倒的关联完全被Z捕捉。若地面没有湿，则摔倒与下雨无关。因此在Z被观察到时，X和Y条件独立。

分叉连接

如果Z已知，那么X，Y，...条件独立（被Z D分离）。

例如：

Z：一个人的遗传基因；X：此人是否身高较高；Y：此人是否体重较大；N：此人是否智商较高。

如果Z的状态已知，那么身高体重智商等性状都可以由Z解释，它们彼此之间分离。

汇集连接

例如：

X：是否是高水平运动员；Y：是否接受了高质量的饮食；Z：是否身体健康。

X和Y共同影响Z，但是X和Y和他们的所有兄弟都互不影响。

条件依存

设想如下情况：

X：是否有人偷了钥匙；Y：门锁是否损坏；Z：房间是否被闯入。

因果关系为： $X \to Z \leftarrow Y$ ，是汇集连接。当不知道Z时，X和Y条件独立，即 $P (X, Y) = P (X) P (Y)$ 。

但是当Z已知时，X和Y就会互相影响。比如已知房间被闯入了，同时又知道没人偷钥匙，那门锁损坏的概率就会增加；相反也一样。

同样地，如果Z的某个后代已知（比如警报响起），也就等于已知Z，也能使X和Y关联。

D分离的图示表示

出现如图所示的三种情况就可以说 $V_{b_{i}}$ 阻塞了 $V_{i}$ 和 $V_{j}$ ：

① $V_{b_{1}}$ 在证据集里，两条弧都指向别人；

② $V_{b_{2}}$ 在证据集里，两条弧一个指别人一个指它自己（方向无所谓）；

③ $V_{b_{3}}$ 不在证据集，它的任何后继也都不在证据集，且两条弧都指向它自己。

如果 $V_{i}$ 和 $V_{j}$ 之间所有路径被阻塞，就说明证据集 $ϵ$ 可以D分离这两点；如果证据集 $ϵ$ 可以D分离 $V_{i}$ 和 $V_{j}$ ，就可以说节点 $V_{i}$ 和 $V_{j}$ 独立于节点集 $ϵ$ 。

Bayes网络推理

因果推理：从起因到征兆（结果），起因作为证据；

诊断推理：从征兆到起因，征兆（结果）作为证据；

辩解推理：X和Y是起因，Z是两个起因的征兆。这时可以用一个起因Y解释另一个起因X。

主观Bayes方法

知识不确定性的表示

主观Bayes方法中，知识是用产生式规则表示的：

I F E T H E N (L S, L N) H (P (H))

$P (H)$ 是结论 $H$ 的先验概率，由专家根据经验给出。

$L S$ 称为充分性度量，指出 $E$ 对 $H$ 的支持程度。

L S = \frac{P (E | H)}{P (E | \neg H)}

$L N$ 称为必要性度量，指出 $\neg E$ 对 $H$ 的支持程度

L N = \frac{P (\neg E | H)}{P (\neg E | \neg H)}

$L S$ 和 $L N$ 的值由领域专家给出，相当于知识的静态强度。

证据不确定性的表示

在主观Bayes方法中，证据的不确定性也用概率表示。

对于证据E，由用户根据观测 $S$ 给出 $P (E | S)$ ，即动态强度。由于主观给定 $P (E | S)$ 有所困难，所以实际中可以用可信度 $C (E | S)$ 代替 $P (E | S)$ 。例如在PROSPECTOR中 $C (E | S)$ 取整数： ${- 5, . . ., 5}$ 。

$C (E | S) = - 5$ 对应于 $P (E | S) = 0$

$C (E | S) = 5$ 对应于 $P (E | S) = 1$

$C (E | S) = 0$ 对应于 $P (E | S) = P (E)$

给定 $C (E | S)$ 后，P $(E | S)$ 计算如下：

P (E | S) = {\begin{cases} \frac{P (E) \times (C (E | S) + 5)}{5}, - 5 \leq C (E | S) \leq 0 \\ \frac{C (E | S) + P (E) \times (5 - C (E | S))}{5}, 0 < C (E | S) \leq 5 \end{cases}

证据并不一定能确定它就一定或一直能支持结论，所以要引入可信度来表示它到底能有多大概率支持。

组合证据不确定性的算法

合取取最小；析取取最大

当组合证据是多个单一证据的合取时，即

E = E_{1} \land E_{2} \land . . . \land E_{n}

整个组合证据的确定性取决于其中最小的一个：

P (E | S) = m i n {P (E_{1} | S), P (E_{2} | S), \dots, P (E_{n} | S)}

因为短板效应，一旦有一个无法支持结论，整个组合证据就不能支持结论。

当组合证据是多个单一证据的析取时，即

E = E_{1} \lor E_{2} \lor . . . \lor E_{n}

取概率最大的子证据的概率：

P (E | S) = m a x {P (E_{1} | S), P (E_{2} | S), \dots, P (E_{n} | S)}

因为一旦有一个支持，整体就支持，除了最大概率的那个其他都没意义。

对于 $\neg$ 运算则：

P (\neg E | S) = 1 - P (E | S)

不确定性的传递算法

主观Bayes方法推理的任务就是根据证据 $E$ 的条件概率 $P (E | S)$ 及 $L S$ 、 $L N$ 的值，把 $H$ 的先验概率 $P (H)$ 更新为后验概率 $P (H | S)$ 。

确定后验概率的方法随着证据肯定存在，肯定不存在，或者不确定而有所不同。

解释

这里的目的其实就是要写出一个公式，用 $P (H)$ 表示 $P (H | S)$ ，这个公式不确定，具体要看证据的存在性。

证据E肯定存在

也就是 $P (E | S) = 1$ 时，来计算 $P (H | E)$ 。

由Bayes公式：

\begin{matrix} (1) & P (H | E) = P (E | H) \times \frac{P (H)}{P (E)} \\ (2) & P (\neg H | E) = P (E | \neg H) \times \frac{P (\neg H)}{P (E)} \end{matrix}

两式相除：

\frac{P (H | E)}{P (\neg H | E)} = \frac{P (E | H)}{P (E | \neg H)} \times \frac{P (H)}{P (\neg H)}

几率函数

Θ (x) = \frac{P (x)}{1 - P (x)}

Θ (H | E) = \frac{P (H | E)}{1 - P (H | E)}

L S = \frac{P (E | H)}{P (E | \neg H)}

Θ (H) = \frac{P (H)}{1 - P (H)}

Θ (H | E) = L S \cdot Θ (H)

我一开始没看出 $Θ (H | E) = L S \cdot Θ (H)$ 是怎么来的，后来想起有公式：

$P (H | E) = \frac{P (E | H) \cdot P (H)}{P (E)}$ ，用它把 $Θ (H | E)$ 中的 $H | E$ 都换成 $E | H$ ，之后就好算了。

\begin{matrix} (EH公式) & P (H | E) = \frac{L S \times P (H)}{(L S - 1) \times P (H) + 1} \end{matrix}

充分性度量 $L S$ 的意义：

当 $L S > 1$ 时， $Θ (H | E) = L S \times Θ (H) > Θ (H)$ 表明由于证据 $E$ 的存在，增强了 $H$ 为真的程度。

当 $L S = 1$ 时， $Θ (H | E) = L S \times Θ (H) = Θ (H)$ 表明 $E$ 与 $H$ 无关。

当 $L S < 1$ 时， $Θ (H | E) = L S \times Θ (H) < Θ (H)$ 表明由于证据 $E$ 的存在，减小了 $H$ 为真的程度。

当 $L S = 0$ 时， $Θ (H | E) = L S \times Θ (H) = 0$ 表明由于证据 $E$ 的存在，导致 $H$ 为假。

证据E肯定不存在

$P (E | S) = 0$ 时，证据肯定不存在。要计算 $P (H | \neg E)$ ：

由 Bayes 公式得：

\begin{matrix} (1) & P (H | \neg E) = \frac{P (\neg E | H) \times P (H)}{P (\neg E)} \\ (2) & P (\neg H | \neg E) = \frac{P (\neg E | \neg H) \times P (\neg H)}{P (\neg E)} \end{matrix}

两式相除：

\frac{P (H | \neg E)}{P (\neg H | \neg E)} = \frac{P (\neg E | H)}{P (\neg E | \neg H)} \times \frac{P (H)}{P (\neg H)}

Θ (H | \neg E) = L N \cdot Θ (H)

即

P (H | \neg E) = \frac{LN \times P (H)}{(LN - 1) \times P (H) + 1}

必要性度量 $L N$ 的意义：

当 $LN > 1$ 时， $Θ (H | \neg E) = LN \times Θ (H) > Θ (H)$ ，表明由于证据 $E$ 不存在，增强了 $H$ 为真的程度。

当 $LN = 1$ 时， $Θ (H | \neg E) = LN \times Θ (H) = Θ (H)$ ，表明 $E$ 与 $H$ 无关。

当 $LN < 1$ 时， $Θ (H | \neg E) = LN \times Θ (H) < Θ (H)$ ，表明由于证据 $E$ 不存在，减小了 $H$ 为真的程度。

当 $LN = 0$ 时， $Θ (H | \neg E) = LN \times Θ (H) = 0$ ，表明由于证据 $E$ 不存在，导致 $H$ 为假。

注意

由于 $E$ 和 $\neg E$ 不可能同时支持 $H$ 或同时反对 $H$ ，所以在一条知识中的 $LS$ 和 $LN$ 不应该出现如下情况：

$LS > 1, LN > 1$

$LS < 1, LN < 1$

在实际应用中通常取 $LS > 1, LN < 1$ 。

证据E不确定存不存在

$0 < P (E | S) < 1$ 时，证据不一定存在。

后验概率：

P (H | S) = P (H | E) \times P (E | S) + P (H | \neg E) \times P (\neg E | S)

当 $P (E | S) = 1$ 时，证据肯定存在， $P (H | S) = P (H | E)$ 。

当 $P (E | S) = 0$ 时，证据肯定不存在， $P (H | S) = P (H | \neg E)$ 。

当 $P (E | S) = P (E)$ 时，证据 $E$ 与观察 $S$ 无关，

P (H | S) = P (H | E) \times P (E) + P (H | \neg E) \times P (\neg E) = P (H)

当 $P (E | S)$ 为其它值时，通过分段线性插值计算 $P (H | S)$ ：

EH公式：

P (H | S) = {\begin{cases} P (H | \neg E) + \frac{P (H) - P (H | \neg E)}{P (E)} \times P (E | S), & 0 \leq P (E | S) < P (E) \\ P (H) + \frac{P (H | E) - P (H)}{1 - P (E)} \times [P (E | S) - P (E)], & P (E) \leq P (E | S) \leq 1 \end{cases}

在 PROSPECTOR 中，由于 $C (E | S)$ 和 $P (E | S)$ 遵从如下关系：

P (E | S) = {\begin{cases} \frac{P (E) \times (C (E | S) + 5)}{5}, & - 5 \leq C (E | S) \leq 0 \\ \frac{C (E | S) + P (E) \times (5 - C (E | S))}{5}, & 0 \leq C (E | S) \leq 5 \end{cases}

PROSPECTOR是一种基于贝叶斯方法的专家系统，主要用于地质勘探和资源评估。

在这里边 $C (E | S)$ 和 $P (E | S)$ 都是定死的，公式背下来即可。

将 $P (E | S)$ 代入上式得：

P (H | S) = {\begin{cases} P (H | \neg E) + [P (H) - P (H | \neg E)] \times \frac{C (E | S) + 5}{5}, & - 5 \leq C (E | S) \leq 0 \\ P (H) + [P (H | E) - P (H)] \times \frac{C (E | S)}{5}, & 0 < C (E | S) \leq 5 \end{cases}

这就是CP公式，可以用确信值 $C (E | S)$ 算出 $P (E | S)$ 。

结论不确定性的合成算法

若有 $n$ 条知识都支持相同的结论 $H$ ，而且每条知识的前提条件所对应的证据 $E_{i} (i = 1, 2, \dots, n)$ 都有相应的观察 $S_{i}$ 与之对应（ $E$ 由很多 $S_{i}$ 组合而成），此时只要先对每条知识分别求出 $Θ (H | S_{i})$ ，然后运用下述公式求出 $Θ (H | S_{1} S_{2} \dots S_{n})$ ：

Θ (H | S_{1} S_{2} \dots S_{n}) = \frac{Θ (H | S_{1})}{Θ (H)} \times \frac{Θ (H | S_{2})}{Θ (H)} \times \dots \times \frac{Θ (H | S_{n})}{Θ (H)} \times Θ (H)

主观Bayes方法推理例题

已知

\begin{matrix} P (A) = 1, P (B_{1}) = 0.04, P (B_{2}) = 0.02 \\ R_{1} : A \to B 1, L S = 20, L N = 1 \\ R_{2} : B 1 \to B 2, L S = 300, L N = 0.001 \end{matrix}

目标

计算 $P (B_{2} | A)$ 。

分析

使用规则 $R_{2}$ 时，证据 $B_{1}$ 不确定是否发生。 $A$ 一定发生，由几率函数得：

Θ (B_{1}) = \frac{P (B_{1})}{1 - P (B_{1})} = \frac{0.04}{1 - 0.04} = 0.0417

由于证据 $A$ 肯定存在，根据肯定存在时的几率函数 $Θ (H | E) = L S \cdot Θ (H)$ 算出 $Θ (B_{1} | A)$ ：

Θ (B_{1} | A) = L S \times Θ (B_{1})

根据 $Θ$ 得到 $P$ ：

P (B_{1} | A) = \frac{Θ (B_{1} | A)}{1 + Θ (B_{1} | A)} = \frac{0.83}{1 + 0.83} = 0.454 > P (B_{1})

这个公式是用支持比的定义推出来的：

\begin{matrix} Θ (B_{1} | A) = \frac{P (B_{1} | A)}{P (\neg B_{1} | A)} \\ = Θ (B_{1} | A) \cdot P (\neg B_{1} | A) \\ = Θ (B_{1} | A) \cdot (1 - P (B_{1} | A)) \\ = Θ (B_{1} | A) - Θ (B_{1} | A) \cdot P (B_{1} | A) \\ P (B_{1} | A) \cdot (1 + Θ (B_{1} | A)) = Θ (B_{1} | A) \\ P (B_{1} | A) = \frac{Θ (B_{1} | A)}{1 + Θ (B_{1} | A)} \end{matrix}

之后假设 $P (B_{1} | A) = 1$ （题目中的规则 $R_{2}$ 要求 $B_{1}$ 必须发生，所以要先假设它发生的情况，之后再插值修正回来），带EH公式：

P (H | E) = \frac{L S \times P (H)}{(L S - 1) \times P (H) + 1}

P (B_{2} | B_{1}) = \frac{L S * P (B_{2})}{(L S - 1) * P (B_{2}) + 1} = 0.857

插值，由于 $P (B_{1} | A) > P (B_{1})$ ，用后半段，

\begin{matrix} P (B_{2} | A) = P (B_{2}) + \frac{[P (B_{2} | B_{1}) - P (B_{2})] [P (B_{1} | A) - P (B_{1})]}{1 - P (B_{1})} \\ = 0.38 \end{matrix}

主观Bayes方法的特点

优点：

知识的静态强度 $L S$ 及 $L N$ 是由领域专家给出，避免了大量的数据统计工作。 $L S$ 和 $L N$ 比较全面的反映了证据与结论间的因果关系，使推出的结论有较准确的确定性。

主观Bayes方法不仅给出了证据肯定存在、肯定不存在时更新后验概率的方法，还给出了证据不确定时的方法，实现了不确定性的逐级传递。

缺点：

n它要求领域专家在给出知识时，同时给出先验概率 $P (H)$ 及 $P (E)$ ，这比较困难。

不确定性的传递过程

假设我们试图诊断一个病人是否患有某种疾病（例如肺炎），并且我们知道以下因素可能影响诊断结果：

症状（ $S_{1}, S_{2}, S_{3}$ ）：咳嗽（Cough）、发热（Fever）和呼吸急促（Shortness of Breath）

检验结果（T）：医学影像检查异常（如胸部X光）

疾病（D）：是否患有肺炎

设定每个变量的先验概率。例如，病人是否患肺炎 $P (D)$ ，可以基于流行病学数据得到。

各症状的先验概率 $P (S 1)$ ， $P (S_{2})$ ， $P (S_{3})$ ，也可以根据历史病例统计得出。

此时 $P (S_{1} | D)$ ， $P (S_{2} | D)$ ， $P (S_{3} | D)$ 为肺炎患者表现出咳嗽、发热和呼吸急促的概率。

$P (T | D)$ 是肺炎患者在医学影像检查中拿到异常结果的概率。

在收集数据的过程中，医生对病人的症状进行观察，收集到咳嗽、发热和呼吸急促等症状。

观察到这些症状后，医生可以使用贝叶斯定理更新对肺炎的后验概率：

P (D | S_{1}, S_{2}, S_{3})

如果进一步进行胸部X光检查，并获得结果 $T$ ，可以再一次使用贝叶斯定理更新对肺炎的诊断：

P (D | S_{1}, S_{2}, S_{3}, T) \propto P (S_{1} | D) P (S_{2} | D) P (S_{3} | D) P (T | D) P (D)

不确定性在不同变量之间逐级传递。症状的不确定性影响到疾病的诊断，而检查结果又进一步影响到对疾病的确认。

例题

设有如下知识：

\begin{matrix} r_{1} : I F E_{1} T H E N (2, 0.001) H_{1} \\ r_{2} : I F E_{2} T H E N (100, 0.001) H_{1} \\ r_{3} : I F H_{1} T H E N (200, 0.001) H_{2} \end{matrix}

已知：

\begin{matrix} P (H_{1}) = 0.09, P (H_{2}) = 0.01 \\ C (E_{1} | S_{1}) = 2, C (E_{2} | S_{2}) = 1 \end{matrix}

求：

P (H_{2} | S_{1}, S_{2})

利用结合不确定合成求解

可见，证据 $E$ 需要观测 $S$ 的支持，而结论 $H$ 需要证据 $E$ 支持。

需要先用 $r_{1}$ 和 $r_{2}$ 求出 $P (H_{1} | S_{1}, S_{2})$ ，再根据 $r_{3}$ 求出结果。

要求出 $P (H_{1} | S_{1}, S_{2})$ ，就要先求 $P (H_{1} | S_{1})$ 和 $P (H_{1} | S_{2})$ 。

先算 $P (H_{1} | S_{1})$ ：

根据

P (H | E) = \frac{L S \times P (H)}{(L S - 1) \times P (H) + 1}

得

P (H_{1} | E_{1}) = \frac{L S_{1} \times P (H_{1})}{(L S_{1} - 1) \times P (H_{1}) + 1} = \frac{2 \times 0.09}{(2 - 1) \times 0.09 + 1} = 0.17

再使用 $C P$ 公式：

P (H | S) = {\begin{cases} P (H | \neg E) + [P (H) - P (H | \neg E)] \times \frac{C (E | S) + 5}{5}, & - 5 \leq C (E | S) \leq 0 \\ P (H) + [P (H | E) - P (H))] \times \frac{C (E | S)}{5}, & 0 < C (E | S) \leq 5 \end{cases}

因为 $C (E_{1} | S_{1}) = 2 > 0$ ，

P (H_{1} | S_{1}) = P (H_{1} | E_{1}) + [P (H_{1} | E_{1}) - P (H_{1}))] \times \frac{C (E_{1} | S_{1})}{5}

= 0.09 + [0.17 - 0.09] \times \frac{2}{5} = 0.122

最后合成时要用这个公式：

Θ (H | S_{1} S_{2} \dots S_{n}) = \frac{Θ (H | S_{1})}{Θ (H)} \times \frac{Θ (H | S_{2})}{Θ (H)} \times \dots \times \frac{Θ (H | S_{n})}{Θ (H)} \times Θ (H)

所以要求出 $Θ (H_{1} | S_{1})$ ：

Θ (H_{1} | S_{1}) = \frac{P (H_{1} | S_{1})}{1 - P (H_{1} | S_{1})} = \frac{0.122}{1 - 0.122} = 0.14

对于 $Θ (H_{1} | S_{2})$ 同理可得：

Θ (H_{1} | S_{2}) = 0.34

根据合成规则算 $Θ (H_{1} | S_{1}, S_{2})$ ：

Θ (H_{1}) = \frac{P (H_{1})}{1 - P (H_{1})} = \frac{0.09}{1 - 0.09} = 0.1

Θ (H_{1} | S_{1}, S_{2}) = \frac{Θ (H_{1} | S_{1})}{Θ (H_{1})} \times \frac{Θ (H_{1} | S_{2})}{Θ (H_{1})} \times Θ (H_{1})

= \frac{0.14}{0.1} \times \frac{0.34}{0.1} \times 0.1 = 0.476

P (H_{1} | S_{1}, S_{2}) = \frac{Θ (H_{1} | S_{1}, S_{2})}{1 + Θ (H_{1} | S_{1}, S_{2})} = 0.322

现在算 $P (H_{2} | S_{1}, S_{2})$ ：

使用 $E H$ 公式：

P (H | E) = \frac{L S \times P (H)}{(L S - 1) \times P (H) + 1}

P (H_{2} | H_{1}) = \frac{L S_{3} \times P (H_{2})}{(L S_{3} - 1) \times P (H_{2}) + 1}

= \frac{200 \times 0.01}{(200 - 1) \times 0.01 + 1} = 0.67

这是直接把 $H_{1}$ 当 $E$ 用了。

P (H_{2} | S_{1}, S_{2}) = P (H_{2}) + \frac{P (H_{1} | S_{1}, S_{2}) - P (H_{1})}{1 - P (H_{1})} \times [P (H_{2} | H_{1}) - P (H_{2})]

0.01 + \frac{0.322 - 0.09}{1 - 0.01} \times (0.67 - 0.01) = 0.165

这个公式推导过程如下：

首先根据贝叶斯公式，

P (H_{2} | S_{1}, S_{2}) = \frac{P (S_{1}, S_{2} | H_{2}) P (H_{2})}{P (S_{1}, S_{2})}

分解 $P (H_{2} | S_{1}, S_{2})$ ：

P (H_{2} | S_{1}, S_{2}) = P (H_{2}) + Δ P

$Δ P$ 表示概率修正，反映了 $H_{2}$ 在给定 $H_{1}$ 和 $S_{1}, S_{2}$ 下额外的信息增益。

我不知道更深入的需不需要学，这一块先搁置。

可信度方法

概念

根据经验对一个事物和现象为真的相信程度称为可信度。

可信度带有较大的主观性和经验性，其准确性难以把握。但人工智能面向的多是结构不良的复杂问题，难以给出精确的数学模型，先验概率及条件概率的确定又比较困难。所以可信度方法是一种比较实用的方法。

知识表示（C-F模型）

知识用产生式规则表示：

I F E T H E N H (C F (H, E))

其中 $C F (H, E)$ 是该知识的可信度。称为可信度因子或规则强度，即静态强度。一般 $C F (H, E) \in [0, 1]$ 。

证据不确定性表示

证据的不确定性用可信度因子 $C F$ 表示： $C F (E) \in [0, 1]$

$C F (E)$ 表示证据的强度，即动态强度； $C F (H, E)$ 表示知识的强度，即静态强度。

证据的强度通常是基于当前信息的质量和数量。当新的信息或观测数据出现时，证据的强度可以变化。例如，在医疗诊断中，随着新的症状被观察到，或新的检查结果被获得，关于病人是否患某种疾病的证据强度会发生改变。

知识被视为某种信念或真理的集合，是一种真理。通常是建立在经过验证的经验、理论或逻辑推理之上的。知识一旦被确立，就相对固定，虽然它可能在之后被更新或修正，但在某个特定时间点上，知识的强度是稳定的。

不确定性的传递算法

结论 $H$ 的可信度为：

C F (H) = C F (H, E) \times C F (E)

可信度最低为0。

带阈值限度的可信度模型

知识表示

I F E T H E N H (C F (H, E), λ)

其中 $C F (H, E)$ 是可信度，范围 $[0, 1]$ 。

$λ$ 是阈值，明确规定了知识运用的条件：只有当 $C F (E) \geq λ$ 时，该知识才能够被应用。 $λ$ 的取值范围为 $[0, 1]$ 。

证据不确定性表示

证据E的可信度仍为 $C F (E)$ ，但其取值范围为： $[0, 1]$ ，因为如果 $C F (H, E)$ 在 $[0, 1]$ 之间，则 $C F (H, E)$ 不会超出 $[0, 1]$ 。

不确定性传递算法

当 $C F (E) \geq λ$ 时，

C F (H) = C F (H, E) \times C F (E)

$C F (H, E)$ 表示证据 $E$ 为真的条件下结论 $H$ 为真的可能性。

结论不确定性的合成算法

设有多条规则有相同的结论，即

\begin{matrix} I F E_{1} T H E N H (C F (H, E_{1}), λ_{1}) \\ I F E_{2} T H E N H (C F (H, E_{2}), λ_{2}) \\ . . . \\ I F E_{n} T H E N H (C F (H, E_{n}), λ_{n}) \end{matrix}

如果这 $n$ 条规则都满足： $C F (E_{i}) \geq λ_{i}$ ， $i = 1, 2, \dots, n$ 且都被启用，则首先分别对每条知识规则求出 $C F_{i} (H)$ ；然后求结论 $H$ 的综合可信度 $C F (H)$ 。

可采用如下极大值法：

C F (H) = max {C F_{1} (H), C F_{2} (H), \dots, C F_{n} (H)}

或加权求和：

C F (H) = \frac{1}{\sum_{i = 1}^{n} C F (H, E_{i})} \sum_{i = 1}^{n} C F (H, E_{i}) \times C F (E_{i})

或有限和：

C F (H) = m i n {\sum_{i = 1}^{n} C F_{i} (H), 1}

或递推：

\begin{matrix} C_{1} = C F (H, E_{1}) \times C F (E_{1}) \\ C_{k} = C_{k - 1} + (1 - C_{k - 1}) \times C F (H, E_{k}) \times C F (E_{k}) \end{matrix}

加权可信度模型

知识前件中各个子条件地位可以不平等：

如果	学生善于思考
并且	动手能力强
并且	经常上自习
并且	坚持锻炼身体
并且	不抽烟
那么	该生是一位比较好的学生

知识不确定性表示

\begin{matrix} I F E_{1} (ω_{1}) \land E_{2} (ω_{2}) \land . . . \land E_{n} (ω_{n}) \\ T H E N H (C F (H, E), λ) \end{matrix}

其中 $ω_{i} (i = 1, 2, \dots, n)$ 是加权因子， $λ$ 是阈值，其值均由专家给出。所有加权因子的和应为1：

0 \leq ω_{i} \leq 1, i = 1, 2, . . ., n, \sum_{i = 1}^{n} ω_{i} = 1

组合证据不确定性算法

若有证据：

E_{1} (ω_{1}) \land E_{2} (ω_{2}) \land . . . \land E_{n} (ω_{n})

其可信度为：

C F (E) = \frac{1}{\sum_{i = 1}^{n} ω_{i}} \sum_{i = 1}^{n} (ω_{i} \times C F (E_{i}))

不确定性传递算法

当 $C F (E) \geq λ$ 时，结论 $H$ 的可信度：

C F (H) = C F (H, E) \times C F (E)

推理举例

考前必看

设有如下知识：

\begin{matrix} R_{1} : I F E_{1} (0.6) A N D E_{2} (0.4) T H E N E_{6} (0.8, 0.75) \\ R_{2} : I F E_{3} (0.5) A N D E_{4} (0.3) A N D E_{5} (0.2) T H E N E_{6} (0.7, 0.6) \\ R_{3} : I F E_{6} (0.7) A N D E_{7} (0.3) T H E N H (0.75, 0.6) \end{matrix}

其中：

C F (E_{1}) = 0.9, C F (E_{2}) = 0.8, C F (E_{3}) = 0.7, C F (E_{4}) = 0.6, C F (E_{5}) = 0.5

求出 $C F (H)$ 。

根据可信度公式

C F (E) = \frac{1}{\sum_{i = 1}^{n} ω_{i}} \sum_{i = 1}^{n} (ω_{i} \times C F (E_{i}))

算出 $R_{1}, R_{2}$ 的可信度，并验证是否可被应用：

C F (E_{1} (0.6) A N D E_{2} (0.4)) = 0.86 > λ_{1} = 0.75

C F (E_{3} (0.5) A N D E_{4} (0.3) A N D E_{5} (0.2)) ＝ 0.63 > λ_{2} = 0.6

$R_{1}, R_{2}$ 都可被应用。之后根据 $R_{1}$ 算出 $C F (E_{6})$ ：

\begin{matrix} I F E_{1} (ω_{1}) \land E_{2} (ω_{2}) \land . . . \land E_{n} (ω_{n}) \\ T H E N H (C F (H, E), λ) \\ C F (H) = C F (H, E) \times C F (E) \end{matrix}

在 $R_{1}$ 中， $E_{6}$ 相当于 $H$ ，刚才又算出 $C F (E) = 0.86$ ，所以

C F (E_{6}) = 0.8 \times 0.86 = 0.69

同理可得

C F (E_{7}) = 0.44

代入 $R_{3}$ 得：

\begin{matrix} C F (E_{6} (0.7) A N D E_{7} (0.3)) = 0.615 > λ_{3} = 0.6 \\ C F (H) = 0.46 \end{matrix}

前件带有不确定性的可信度模型

前述的几种不确定性推理方法，没有在知识中指出前提条件或者子条件的可信度值，它们都是在前提条件 $E$ 为真的前提下为 $C F (H, E)$ 取值。在实际中，这样有时不能准确反映领域专家的知识。

知识表示

\begin{matrix} I F E_{1} (c f_{1}, ω_{1}) A N D E_{2} (c f_{2}, ω_{2}) A N D \dots A N D E_{n} (c f_{n}, ω_{n}) \\ T H E N H (C F (H, E), λ) \end{matrix}

$c f_{i}$ 是对子条件 $E_{i} (i = 1, 2, \dots, n)$ 指出的可信度，由专家给出。证据 $E_{i}$ 的可信度记为 $c f_{i}^{'}$ 。

疑问

$c f_{i}$ 和 $c f_{i}^{'}$ 有什么区别？

不确定性匹配算法

\sum_{i = 1}^{n} ω_{i} (c f_{i}^{'} - c f_{i}) \geq λ

若所有 $c f_{i}^{'} \geq c f_{i}$ 则前提条件必然匹配；

若 $c f_{i}^{'} < c f_{i}$ 或部分小于 $c f_{i}$ 则能否匹配取决于λ值。

不确定性传递算法

C F (H) = C F (H, E) \times \sum_{i = 1}^{n} ω_{i} (c f_{i}^{'} - c f_{i})

特点

简单、直观；但是专家指定可信度因子，主观片面，随推理延伸误差越来越大。

NickName

E-Mail

Website

Comments

Latest
Oldest
Hottest

不确定性推理

Preview: