下载掌阅APP，畅读海量书库
立即打开
1．证明条件概率密度函数的链式法则
2．若随机信号向量满足如下的高斯分布：
证明：
3．一个随机变量
X
的样本集为{
x
1
，
x
2
，…，
x
N
}，期望值
μ
=
E
{
X
}，其期望值的一个估计是
，证明：如果
x
n
不是I.I.D的，该估计的方差为
这里样本集按照特殊采样，使得 x k 和 x j 的协方差只与其下标的差值有关，即 c l 作为 x n 的协方差函数满足 c l = E [（ x k - μ ）（ x k - l - μ ）]。
4．证明二项分布 Y 的均值和方差分别为 E [ Y ]= Nμ ，var[ Y ]= Nμ （1- μ ）。
5．设有一个旧骰子，随机掷了
N
次，记录的数据为
，且
x
n
仅取1≤
x
n
≤6的整数，对应骰子的6面，利用最大似然方法，估计骰子各面出现的概率。
6．设观测样本为{ x 1 ， x 2 ，…， x N }，每个样本是独立同分布的，样本满足概率密度函数
求 α 的MLE。
7．两个随机变量 x 1 、 x 2 是相关的，相关系数为 ρ ，其联合概率密度函数为
如果记录了两个变量
n
个独立的测量值，{
x
1
i
，
x
2
i
，
i
=1，2，…，
n
}，求
ρ
的最大似然估计
。
8．设
x
n
仅取1和0两个值，
x
n
取1的概率
π
未知，记录了I.I.D样本集
，求π的MLE。
9．设观测样本为
x
n
=
θ
+
w
n
，
n
=1，2，…，
N
，
w
n
是独立同分布的高斯噪声，均值为0，方差为
，设
θ
是一个随机参数，服从均匀分布，其概率密度函数为
求 θ 的MAP估计器。
10．设
x
n
仅取1和0两个值，
x
n
取1的概率π未知，记录了样本集I.I.D的
，且已知π的先验分布为贝塔分布beta（
α
，
β
），求
π
的MAP。
11．设样本集是
，每个样本满足高斯分布
p
（
x
|
μ
）=
N
（
x
|
μ
，
Σ
），
μ
未知，但已知其先验分布为
p
（
μ
）=
N
（
μ
0
，
Σ
0
），可以验证，
μ
的后验概率为
p
（
μ
|
X
）=
N
（
μ
|
μ
N
，
Σ
N
），其中
由于
μ
的后验概率仍为高斯分布，故其MAP估计为
=
μ
N
。
12．对于单变量高斯分布
，请将其表示成指数族形式。
13．对于特征向量 x 是一个一维标量 x 的情况，设样本集中只有两种类型，类条件概率分别为
且 p （ C 1 ）= p （ C 2 ）=0.5。求：
（1）在误分类率最小意义下，给出将新的输入 x 判决为 C 1 或 C 2 的判决边界。
（2）在（1）给出的判决边界的条件下，求总的误分类率。
14．设样本向量 x ，希望将其变换为零均值且协方差是单位矩阵（白化和归一化）。设向量的均值为 μ ，协方差矩阵为 C x ，其特征值构成对角矩阵 Λ =diag{ λ 1 ，…， λ D }，特征向量矩阵记为 Q =[ q 1 ， q 2 ，…， q D ]，则取变换为
证明： z 是白化和归一化的，即
15．对于联合熵，以离散情况为例证明： H （ X ， Y ）= H （ X ）+ H （ Y | X ）。