机器学习算法之朴素贝叶斯分类

基于概率论的分类算法：朴素贝叶斯

1、核心思想：选择高概率对应的类别

如下图：
两类数据分布如下，用p1(x，y)表示数据点（x，y）属于类别1（图中圆点表示的类别）的概率，用p2(x，y)表示数据点（x，y）属于类别2（图中三角形点表示的类别）的概率，那么对于一个新数据点（x，y），可以用下面的规则来判断他的类别：
1）如果p1(x，y) > p2(x，y)，那么类别为1
2）如果p2(x，y) > p1(x，y)，那么类别为2
也就是，我们会选择高概率对应的类别，这就是贝叶斯理论的核心思想

机器学习算法之朴素贝叶斯分类

2、算法原理

贝叶斯条件概率准则（计算条件概率的方法）
机器学习算法之朴素贝叶斯分类
已知条件p(X|C)，得到p(C|X)的条件概率，条件概率基本概念读者执行补读下
使用贝叶斯条件概率准则（条件概率）分类

3、实例

以留言板分类为例，分类一个留言板是否友好，

找出单词的概率，认为这些单词出现的概率是独立的(实际上并不是很准确，有些单词可能有相互依赖，但不影响算法)，即独立的特征概率，朴素贝叶斯的朴素来源这个，把特征简单认为相互独立的。

具体算法：
机器学习算法之朴素贝叶斯分类
W为词向量，Ci为类别I。 p（Ci|w）是词向量W的类别I的概率。本章是类别两种类型，那么p（C1|w） > p（C2|w）分类为1类型，否则分类为2类型。

测试算法：
计算出上述p（W|Ci）和P（Ci）后，目标词向量Wx的概率= p（Wx|Ci）* P（Ci），然后p（Wx|C1）> p（Wx|C2）分类为1类型，否则2类型

4、代码

上述留言板为例，创建一个bayes.py文件，下面所有code部分拷贝进去。下面一一来看代码。

4.1准备工作
设留言数据保存在postingList数组里，每一行为一个留言文章，loadDataSet为获取数据的函数（包括数据及对应的类别）

def loadDataSet():
    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    classVec = [0,1,0,1,0,1]    #1 is abusive, 0 not
    return postingList,classVec

创建一个词典向量，即文章中出现的不重复的所有单词的列表

 def createVocabList(dataSet):
    vocabSet = set([])  #create empty set
    for document in dataSet:
        vocabSet = vocabSet | set(document) #union of the two sets
    return list(vocabSet)

把一个文章（文本）转化为向量

  def setOfWords2Vec(vocabList, inputSet):
    returnVec = [0]*len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] = 1
        else: print ("the word: %s is not in my Vocabulary!" % word)
    return returnVec

上面三个部分作为数据准备工作，读数据、生成词典向量，词向量。运行下效果：

#>> import bayes
读取数据列表和类别
#>> listOfPosts,listClasses = bayes.loadDataSet()
生成一个词典向量，包含文中出现的所有单词组成
#>> myVocablist = bayes.createVocabList(listOfPosts)
#>> myVocablist
[‘has’, ‘my’, ‘is’, ‘please’, ‘cute’, ‘posting’, ‘ate’, ‘licks’, ‘problems’, ‘park’, ‘him’, ‘so’, ‘dalmation’, ‘garbage’, ‘dog’, ‘not’, ‘buying’, ‘take’, ‘flea’, ‘mr’, ‘to’, ‘food’, ‘quit’, ‘worthless’, ‘I’, ‘maybe’, ‘stop’, ‘stupid’, ‘steak’, ‘love’, ‘help’, ‘how’]
再看把一个文章转化词向量，postingList的第一行[‘my’, ‘dog’, ‘has’, ‘flea’, ‘problems’, ‘help’, ‘please’]对应的词向量
#>> bayes.setOfWords2Vec(myVocablist, listOfPosts[0])
[1, 1, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0]

4.2训练算法

朴素贝叶斯分类器训练函数

def trainNB0(trainMatrix,trainCategory):
    numTrainDocs = len(trainMatrix)
    numWords = len(trainMatrix[0])
    pAbusive = sum(trainCategory)/float(numTrainDocs)
    #print(sum(trainCategory), numTrainDocs)
    p0Num = ones(numWords); p1Num = ones(numWords)      #change to ones() 
    p0Denom = 2.0; p1Denom = 2.0                        #change to 2.0
    for i in range(numTrainDocs):
        if trainCategory[i] == 1:
            p1Num += trainMatrix[i]
            p1Denom += sum(trainMatrix[i])
        else:
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])
    p1Vect = log(p1Num/p1Denom)          #change to log()
    p0Vect = log(p0Num/p0Denom)          #change to log()
    return p0Vect,p1Vect,pAbusive

开始训练，
生成训练向量集
#>> trainMat = []
#>> for postinDoc in listOfPosts:
… trainMat.append(bayes.setOfWords2Vec(myVocablist, postinDoc))
…

#>> p0V,p1V,pAb = bayes.trainNB0(trainMat, listClasses)

4.3测试算法

机器学习算法之 朴素贝叶斯 分类

1、核心思想：选择高概率对应的类别

2、算法原理

3、实例

4、代码

相关推荐

机器学习算法之朴素贝叶斯分类