支持向量机
前验知识
在支持向量机的对偶算法 这一节中，将SVM的原始问题：
转为了对偶问题：
由于原始问题与对偶问题为强对偶关系，所以可以利用KKT条件对其求解。
可以发现，目标函数只涉及输入实例与实例之间的内积。
核函数引入&定义
基于高维空间比低维空间更容易线性可分的思想，对于线性不可分的分类问题，所采取的方法是进行一个非线性变换，将非线性问题变换为线性问题。核技巧就 属于这样的方法。
核技巧应用到支持向量机，其基本想法就是通过一个非线性变换将输入空间（欧氏空间 或离散集合）对应于一个特征空间（希尔伯特空间)，使得在输入空间 中的超曲面模型对应于特征空间中的超平面模型（支持向量机）。这样，分类问题的学习任务通过在特征空间中求解线性支持向量机就可以完成。
核函数定义：设是输入空间（欧氏空间的子集或者离散集合），又设为特征空间（希尔伯特空间），如果存在一个从到的映射
使得对所有的，函数满足：
则称为核函数，为映射函数。
核技巧的想法是，在学习与预测中只定义核函数，而不显式地定义映射函。通常，直接计算比较容易，而通过和计算并不容易。注意，是输入空间到特征空间的映射，特征空间一般是高维的，甚至是无穷维的。可以看到，对于给定的核，特征空间和映射函数的取法并不唯一，可以取不同的特征空间，即便是在同一特征空间里也可以取不同的映射。
核函数：蕴含了非线性转换 和 非线性转换的内积
核函数应用
我们注意到在线性支持向量机的对偶问题中，无论是目标函数还是决策函数（分离超平面）都只涉及输入实例与实例之间的内积。在对偶问题的目标函数中，内积 可以用核函数
来代替，此时对偶问题的目标函数成为：
同样分类决策函数中的内积也可以用核函数代替，此时分类决策函数成为：
这等价于经过映射函数将原来的输入空间变换到一个新的特征空间，将输入空间中的内积变换为特征空间中的内积，在新的特征空间里从训练样本中学习线性支持向量机。
当映射函数，即不做任何变换，那么得到的还是原先的线性分类模型。当映射函数是非线性函数时，学习到的含有核函数的支持向量机是非线性分类模型。
也就是说，在核函数给定的条件下，可以利用解线性分类问题的方法求解非线性分类问题的支待向量机。学习是隐式地在特征空间进行的，不需要显式地定义特征空间和映射函数。这样的技巧称为核技巧，它是巧妙地利用线性分类学习方法与核函数解决非线性问题的技术。
模型上没有任何变化，只是在计算上采用了核技巧
核函数刨析
先验知识
希尔伯特空间：完备的、可能无限维的、定义了内积的线性空间。
知识扩展：函数空间
线性空间： 线性空间又称作向量空间，关注的是向量的位置，对于一个线性空间，知道基（相当于三维空间中的坐标系）便可确定空间中元素的坐标（即位置）；线性空间只定义了加法和数乘运算。
赋范线性空间：定义了范数（长度）的线性空间
内积空间：定义了内积（角度）的线性空间
欧式空间：定义了内积的有限维实线性空间
巴纳赫空间：完备的赋范空间称为巴纳赫空间
希尔伯特空间：完备的、可能无限维的、定义了内积的线性空间。
完备性：对极限的操作是封闭的，就是说，在该空间中，对其元素取极限，极限仍在该空间中。有理数集合就不满足完备性。
常用核函数
1. 多项式核函数
多项式核函数（polynomial kernel function）,如下：
对应的支持向量机是一个次多项式分类器。在次情形下，分类器决策函数为：
2. 高斯核函数
高斯核函数(Gaussian kernel function).如下：
对应的支持向量机是高斯径向基函数（radial basis function）分类器。在此情形下，分类决策函数成为