文案的中的某一项为°,则其联合概率的乘积也可能为°,即 2 中公式的朴素贝叶斯:有以下几个地方需要注意:1.如果给出的特征向量长度可能不同，这是需要归一化为通长度的向量（这里以文本分类为例），比如说是句子单词的话，则长度为整个词汇量的长度，对应位置是该单词出现的次数。其中一项条件概率可以通过朴素贝叶斯条件独立展开。要注意一点就是’’-'算方法，而由朴素贝叶斯的前提假设可知--=「1 二工二二匚：「„；,因此一般有两种，一种是在类别为 ci 的那些样本集中，找到 wj 出现次数的总和，然后除以该样本的总和；第二种方法是类别为 ci 的那些样本集中，找到 wj 出现次数的总和，然后除以该样本中所有特征出现次数的总和。3.如果分子为 0，为了避免这种现象出现，一般情况下会将这一项初始化为 1,当然为了保证概率相等，分母应对应初始化为 2（这里因为是 2 类,所以加 2,如果是 k 类就需要加 k,术语上叫做 laplace光滑,分母加 k 的原因是使之满足全概率公式）。朴素贝叶斯的优点:对小规模的数据表现很好，适合多分类任务，适合增量式训练。缺点:对输入数据的表达形式很敏感。决策树:决策树中很重要的一点就是选择一个属性进行分枝，因此要注意一下信息增益的计算公式,并深入理解它。2.计算公式如下:信息熵的计算公式如文案其中的 n 代表有 n 个分类类别（比如假设是 2 类问题，那么 n=2）。分别计算这 2 类样本在总样本中出现的概率 pl 和 p2,这样就可以计算出未选中属性分枝前的信息熵。现在选中一个属性 xi 用来进行分枝，此时分枝规则是：如果 xi=vx 的话，将样本分到树的一个分支；如果不相等则进入另一个分支。很显然，分支中的样本很有可能包括 2 个类别，分别计算这 2 个分支的熵 H1 和 H2,计算出分枝后的总信息熵 H'=p1*H1+p2*H2.，则此时的信息增益 AHnH-H'。以信息增益为原则，把所有的属性都测试一边，选择一个使增益最大的属性作为本次分枝属性。决策树的优点：计算量简单，可解释性强，比较适合处理有缺失属性值的样本，能够处理不相关的特征；缺点：容易过拟合（后续出现了随机森林，减小了过拟合现象）；Logistic 回归：Logistic 是用来分类的，是一种线性分类器，需要注意的地方有:1.logistic 函数表达式为：局（发）二 g 俨工）114-e-2. logsitc 回归方法主要是用最大似然估计来学习的，所以单个样本的后验概率为:p（yI 眄0）=（如（对尸（1-咖@））1到整个样...
