西瓜书3.4 解题报告（python 多分类学习 十折交叉法）

偷懒找了UCI上最小的一个数据集，数据大约是集装箱起重机的转动速度、角度，判断其力量大小（我不懂起重机啊啊啊）

虽然不懂但并不妨碍写代码分类，显然标记就是力量，分为0.3、0.5、0.7三种。具体的模型学习还是使用对率回归，那么数据集如下。

x=np.array([[1,2,6,7,10,8,3,1,6,7,8,9,9,2,6],[-5,5,-2,2,-2,2,-2,2,-5,5,-5,5,0,0,0],[1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]])

y=np.array([0.3,0.3,0.3,0.3,0.3,0.3,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.7,0.7])

因为是多分类问题所以我们要建立多个分类器，这次使用OvR的方法，建立三个分类器也就是要计算出三组参数的值：

b=np.array([[0],[0],[1]])

b1=np.array([[0],[0],[1]])

b2=np.array([[0],[0],[1]])

b3=np.array([[0],[0],[1]])

b是用于计算的时候暂存参数。既然是十折交叉法，那我们每次就取两个样本作为测试集，为了方便计算，每次的训练集我们赋值到另外两个矩阵上，先在全局初始化它们：

x1=np.zeros(shape=(3,13))

y1=np.arange(0,13)

注意这里的y1不能用zeros初始化，否则编译器认为这个y1的shape是（0,13）,会报错，非常要命（躺）。

求参数的主体函数基本不用动，稍微改下参数名以防重复即可：

def fd():

     b11 = 0

     for i in range(13):

          k=np.exp(np.dot(b.T,np.array([x1[:,i]]).T))

          b11=b11-np.array([x1[:,i]])*( y1[i]-(k/(1+k)))

     return b11

def sd():

     b22 = 0

     for i in range(13):

          k = np.exp(np.dot(b.T,np.array([x1[:,i]]).T))

          b22=b22+np.dot(np.array([x1[:,i]]).T,np.array([x1[:,i]])) * (k/(1+k)) * (1-(k/(1+k)))

     return b22

def form():

    mae=0

    ima=0

    b = np.array([[0], [0], [1]])

    while(1):

         ima=0

         for i in range(13):

              k=np.dot(b.T,np.array([x1[:,i]]).T)

              ima=ima+(-y1[i]*k+np.log(1+np.exp(k)))

         if(np.abs(ima-mae)<=0.0001):

              break

         mae=ima

         b11=fd()

         b22=sd()

         b=b-np.dot(linalg.inv(b22),b11.T)

    return b

然后每次OvR我们要对y1进行重新赋值，将值按要求修改为1和0：

def sety(tru):

     for k in range(13):

          if (y1[k] == tru):

               y1[k] = 1

          else:

               y1[k] = 0

     return

tru就是该分类器应当分类为真值的y的原值。

而后为了判断每个分类器的正确率，需要另写一个函数，这里写的这个函数只判断对于单个样本（在全集中的序列号为i）的正误，显然的，

只要应当判断其为1的分类器出错就可以直接确定其出错，虽然这种操作还是有一定风险的（如果其他分类器也判断该例为正该怎么算），

但偷懒就这么写了。

def judg(i):

     s0=0.0

     if (y[i] == 0.3):

          z = np.exp(np.dot(b1.T, np.array([x[:, i]]).T))

     elif (y[i] == 0.5):

          z = np.exp(np.dot(b2.T, np.array([x[:, i]]).T))

     else:

          z = np.exp(np.dot(b3.T, np.array([x[:, i]]).T))

     if (z > 0):

          z=1

     else:

          z=0

     return z

然后就是每次抽取训练集的函数，也就是从x、y中删掉指定两列之后赋值给x1、y1的函数：

def delex(i,j):

     k=0

     for f in range(15):

          if(f!=i and f!=j):

               x1[:,k]=x[:,f]

               k=k+1

     return

def deley(i,j):

     k = 0

     for f in range(y.size):

          if (f != i and f != j):

                y1[k] = y[f]

                k = k + 1

     return

主函数如下：

s=0.0

for i in range(15):

     for j in range(i+1,15):

          s0=0.0

          delex(i,j)

          deley(i,j)

          sety(0.3)

          b1=form()

          deley(i,j)

          sety(0.5)

          b2=form()

          deley(i,j)

          sety(0.7)

          b3=form()

          s=s+(judg(i)+judg(j))/2

          print('第',i,'个与第',j,'个作为测试集时的正确率暂时总和为',s)

s=s/105

print('正确率为：',s)

运行结果：

第 0 个与第 1 个作为测试集时的正确率暂时总和为 1.0...(略)

第 13 个与第 14 个作为测试集时的正确率暂时总和为 105.0

正确率为： 1.0

留一法同理，修改一下参数数量和一些数字就行，编译器作怪的话可以加一些跳出条件。

补充另一个数据集的读取文件然后进行计算的代码，虽然没有error但是跑了一顿午饭也没跑出什么结果，卡无限循环了，改了个条件终于跑出结果，姑且摆在这里看看。

import numpy as np

from numpy import linalg

import math

import scipy

x=np.ones(shape=(14,178))

y=np.arange(0,178)

x1=np.ones(shape=(14,176))

y1=np.arange(0,176)

b=np.array([[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[1]])

b1=np.array([[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[1]])

b2=np.array([[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[1]])

b3=np.array([[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[1]])

def readdata():

    k=0

    file=open('C:\\Users\\33298\\Desktop\\data\\2\\winedata.txt','r')

    for line in file.readlines():

        clas,alcohol,malic,ash,alcalin,magne,t_phenols,flava,nonfla,proantho,color,hue,od,proli=line.split(',')

        #print(clas,alcohol,malic,ash,alcalin,magne,t_phenols,flava,nonfla,proantho,color,hue,od,proli)

        x[:,k]=np.array([alcohol,malic,ash,alcalin,magne,t_phenols,flava,nonfla,proantho,color,hue,od,proli,1]).T

        y[k]=clas

        k=k+1

    return

def fd():

    b11 = 0

    for i in range(176):

        k = np.exp(np.dot(b.T, np.array([x1[:, i]]).T))

        b11 = b11 - np.array([x1[:, i]]) * (y1[i] - (k / (1 + k)))

    return b11

def sd():

    b22 = 0

    for i in range(176):

        k = np.exp(np.dot(b.T, np.array([x1[:, i]]).T))

        b22 = b22 + np.dot(np.array([x1[:, i]]).T, np.array([x1[:, i]])) * (k / (1 + k)) * (1 - (k / (1 + k)))

    return b22

def form():

    mae = 0

    ima = 0

    b=np.array([[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[1]]) 
    num=10

    while (num):

        ima = 0

        for i in range(176):

            k = np.dot(b.T, np.array([x1[:, i]]).T)

            if(k>1):

                ima=ima+np.log(1+np.exp(-k))

            else:

                ima = ima + (-y1[i] * k + np.log(1 + np.exp(k)))

        if (np.abs(ima - mae) <= 0.000001):

            break

        mae = ima

        b11 = fd()

        b22 = sd()

        b = b - np.dot(linalg.inv(b22), b11.T)
        num-=1

    return b

def sety(tru):

    for k in range(13):

        if (y1[k] == tru):

            y1[k] = 1

        else:

            y1[k] = 0

    return

def judg(i):

    s0 = 0.0

    if (y[i] == 1):

        z = np.exp(np.dot(b1.T, np.array([x[:, i]]).T))

    elif (y[i] == 2):

        z = np.exp(np.dot(b2.T, np.array([x[:, i]]).T))

    else:

        z = np.exp(np.dot(b3.T, np.array([x[:, i]]).T))

    if (z > 0):

        z = 1

    else:

        z = 0

    return z

def delex(i, j):

    k = 0

    for f in range(178):

        if (f != i and f != j):

            x1[:, k] = x[:, f]

            k = k + 1

    return

def deley(i, j):

    k = 0

    for f in range(y.size):

        if (f != i and f != j):

            y1[k] = y[f]

            k = k + 1

    return

readdata()

s = 0.0

for i in range(178):

    for j in range(i + 1, 178):

        s0 = 0.0

        delex(i, j)

        deley(i, j)

        sety(1)

        b1 = form()

        deley(i, j)

        sety(2)

        b2 = form()

        deley(i, j)

        sety(3)

        b3 = form()

        s = s + (judg(i) + judg(j)) / 2

        print('第', i, '个与第', j, '个作为测试集时的正确率暂时总和为', s)

s = s / 15753

print('正确率为：', s)

西瓜书3.4 解题报告（python 多分类学习 十折交叉法）的相关教程结束。