​第七章 贝叶斯分类器（考大题）

• 生成式模型：贝叶斯分类器

• 判别式模型：决策树、BP神经网络、支持向量机

        去年考了写出贝叶斯公式并且解释贝叶斯定理，如下：

• 贝叶斯定理

• ：是先验概率，或称的先验概率，是独立的

• ：样本数据被观察的概率

• ：代表在假设成立的情况下，观察到的概率

• ：是后验概率，或称条件下的后验概率

​【分类问题：贝叶斯算法详解+考试例题讲解】

去年大题考了拉普拉斯修正
分类问题：贝叶斯算法详解+考试例题讲解_哔哩哔哩_bilibili本节为预测性数据分析：分类问题部分的贝叶斯算法详解，以及代表性考试例题讲解。, 视频播放量 9887、弹幕量 31、点赞数 269、投硬币枚数 215、收藏人数 248、转发人数 88, 视频作者 冠宇老师UPUPUP, 作者简介 环游世界的教书先生，相关视频：分类问题：决策树+ID3算法+C4.5算法+考试例题讲解，分类问题：分类算法+KNN算法详解+考试例题讲解，MIS - 管理信息系统 - 第6章（商务智能系统：数据库与数据挖掘 - 下半部分），数据库第6章 关系数据理论（第二部分：范式理论 多值依赖和4NF)，聚类问题：DBSCAN算法详解+考试例题讲解，数据库第3章 SQL（第二部分：数据查询PART2-连接嵌套集合查询），数据库第2章 关系数据库 （上），数据库第6章 关系数据理论（第一部分：问题的提出 为什么二维表会有问题），描述性统计分析与数据可视化，数据库课程前导内容二：信息系统中的数据存储https://www.bilibili.com/video/BV18e411c7nK?vd_source=0fc465b08fbccae7fe0d0aa20b5604a9

EM算法：​【什么是EM最大期望算法】什么是EM最大期望算法_哔哩哔哩_bilibili什么是EM最大期望算法, 视频播放量 17039、弹幕量 3、点赞数 676、投硬币枚数 345、收藏人数 688、转发人数 138, 视频作者 小黑黑讲AI, 作者简介 我的唯一官网：www.dhcode.cn课程报名和咨询请找：xheiai，相关视频：什么是 EM 算法（最大期望算法）？【知多少】，[5分钟学算法] #06 EM算法 你到底是哪个班级的，【EM算法】第十二讲：高斯混合模型简介，通俗易懂讲算法-EM(期望最大化)，机器学习-白板推导系列(十)-EM算法（Expectation Maximization），EM算法 期望最大化算法，最大化期望算法 Expectation-Maximization algorithm（30/100），《统计学习方法》EM算法+GMM+代码，EM算法实例讲解，【EM算法】第十三讲：高斯混合模型的E步https://www.bilibili.com/video/BV1pQ4y1s7oG?vd_source=0fc465b08fbccae7fe0d0aa20b5604a9

测试题

1. 朴素贝叶斯分类器采用了_属性条件独立性______________________假设。
2. 给定贝叶斯公式 P(cj|x) =（P(x|cj)P(cj)）/P(x)，公式中P( cj|x)为    （  A  ）

A、先验概率        B后验概率           C全概率          D联合概率

1. 贝叶斯分类器属于__生成式模型____________，支持向量机属于判别式模型。
2. 半朴素贝叶斯分类器的基本想法是适当考虑___属性之间的依赖关系________________________，从而既不需要进行完全联合概率计算，又不至于彻底忽略了比较强的属性依赖关系。
3. EM算法提供一种近似计算______含有隐变量概率模型________________的极大似然估计的方法。
4. EM算法时常用的估计参数隐变量的方法，是一种迭代式的方法，能收敛到____局部最优解__________。
5. 在朴素贝叶斯分类器的训练过程中，为了避免其他属性携带的信息被训练集中未出现的属性值抹“抹去”，在估计概率值时通常要进行“平滑”，常用___拉普拉斯修正（Laplace平滑）_______________。
6. 在朴素贝叶斯分类器的训练过程中，拉普拉斯修正避免了__零概率以及属性值未出现的数量过于小_____________的问题。
7. 简述EM（Expectation-Maximization）算法的用途及其基本思想。

答：EM算法的用途是用于参数估计，基本思想是通过两个步骤：E步和M步来进行计算，E步计算隐变量的期望，M步极大化似然函数来估计模型参数，直至收敛或达到预设迭代次数。                            

1. 请用表4.1西瓜数据集2.0训练一个朴素贝叶斯分类器，试估计先验概率和前两个属性的条件概率；如果给定测试样本x（浅白，蜷缩，清脆，清晰，平坦，硬滑），写出后验概率公式。

答：根据表4.1中的数据，浅白和蜷缩属性的先验概率分别为5/17和8/17

对于色泽和根蒂属性，可以计算出每个属性下各个取值的条件概率，

色泽： 青绿 3/5 乌黑 2/5 浅白 0/5

根蒂： 蜷缩 6/8 稍蜷 2/8 硬挺 0/8

P(cj|x) = P(浅白|cj)P(蜷缩|cj)P(清脆|cj)P(清晰|cj)P(平坦|cj)P(硬滑|cj)P(cj) / P(x)

其中cj为类别，P(cj)为先验概率，P(属性|cj)为条件概率。