1. 概念学习 ID3/C4.5（概念聚类）
考试考ID3
ID3采用熵作为策略，ID3的选择策略是什么？
2. 统计学习 最小错误率 Bayes决策规则
条件概率，先验概率，类条件概率，考试写出Bayes决策规则是什么。
参数法与非参数法（K近邻与Parzen窗函数法）
窗函数法很经典，公式记住。
K近邻（没法考），直接估计后验概率，$P{e{Bayes}}\le error\ rate\le 2P{e{Bayes}}$
3. SVM
最优判别面，考一个最基本的概念：什么是支持向量？
SVM是感知器的推广。
4. 人工神经网络 根据误差求偏导数
感知器，BP net，RBF，SoM，联想记忆网络（霍普菲尔德网络）。
任意给BP，求其权值更新公式$\Delta w_{ij}$。
BP使用过程中最麻烦的一些问题：
- 反向传播弥散
- 隐层节点数选择
- 过学习问题
5. 演化计算/遗传算法
在误差不可微的情况下，使用遗传算法
GA EP ES GP（结构优化，求公式）…DE（数值优化） PSO 约束 多目标
GA的概念会考
GA的基本算法框架