购买
下载掌阅APP,畅读海量书库
立即打开
畅读海量书库
扫码下载掌阅APP

本章概要

1. k 近邻法是基本且简单的分类与回归方法。 k 近邻法的基本做法是:对给定的训练实例点和输入实例点,首先确定输入实例点的 k 个最近邻训练实例点,然后利用这 k 个训练实例点的类的多数来预测输入实例点的类。

2. k 近邻模型对应于基于训练数据集对特征空间的一个划分。 k 近邻法中,当训练集、距离度量、 k 值及分类决策规则确定后,其结果唯一确定。

3. k 近邻法三要素:距离度量、 k 值的选择和分类决策规则。常用的距离度量是欧氏距离及更一般的 L p 距离。 k 值小时, k 近邻模型更复杂; k 值大时, k 近邻模型更简单。 k 值的选择反映了对近似误差与估计误差之间的权衡,通常由交叉验证选择最优的 k 。常用的分类决策规则是多数表决,对应于经验风险最小化。

4. k 近邻法的实现需要考虑如何快速搜索 k 个最近邻点。 kd 树是一种便于对 k 维空间中的数据进行快速检索的数据结构。 kd 树是二叉树,表示对 k 维空间的一个划分,其每个结点对应于 k 维空间划分中的一个超矩形区域。利用 kd 树可以省去对大部分数据点的搜索,从而减少搜索的计算量。 ooptqXgV1h46urqX5VCSVPC+PbkHXsr7Wt0VKRmhYKP9om+ZbZ5884MXXXLo+jN+

点击中间区域
呼出菜单
上一章
目录
下一章
×