运维开发网

机器学习之逻辑回归

运维开发网 https://www.qedev.com 2021-04-11 16:44 出处:51CTO 作者:mb5ffd6eef9281a
文中的所有数据集链接:https://pan.baidu.com/s/1TV4RQseo6bVd9xKJdmsNFw提取码:8mm4什么是逻辑回归回想一下线性回归,它被用于确定一个连续因变量的值。逻辑回归通常用于分类目的。与线性回归不同,因变量只能采用有限数量的值,即因变量是分类的。当可能结果的数量只有两个时,它被称为二元逻辑回归。从大的类别上来说,逻辑回归是一种有监督的统计学习方法,主要用于对样

文中的所有数据集链接:https://pan.baidu.com/s/1TV4RQseo6bVd9xKJdmsNFw

提取码:8mm4

什么是逻辑回归

回想一下线性回归,它被用于确定一个连续因变量的值。逻辑回归通常用于分类目的。与线性回归不同,因变量只能采用有限数量的值,即因变量是分类的。当可能结果的数量只有两个时,它被称为二元逻辑回归。

从大的类别上来说,逻辑回归是一种有监督的统计学习方法,主要用于对样本进行分类

逻辑回归与线性回归的关系

逻辑回归也被称为广义线性回归模型,它与线性回归模型的形式基本上相同,都具有 ax+b,其中a和b是待求参数,其区别在于他们的因变量不同,多重线性回归直接将ax+b作为因变量,即y = ax+b,而logistic回归则通过函数S将ax+b对应到一个隐状态p,p = S(ax+b),然后根据p与1-p的大小决定因变量的值。这里的函数S就是Sigmoid函数,就是因为这个函数的使用才能分类

机器学习之逻辑回归

在这里插入图片描述

该函数具有如下的特性:当x趋近于负无穷时,y趋近于0;当x趋近于正无穷时,y趋近于1;当x= 0时,y=0.5.

假设现在有一个函数

y = a*x1 +b *x2 +c*x3 +b x1,x2,x3 带入sigmoid函数中 得到y 如果大于0.5,分类为1,小于0.5,分类为0

德国信用卡欺诈数据集

欧洲的信用卡持卡人在2013年9月2天时间里的284807笔交易数据,其中有492笔交易是欺诈交易,占比0.172%。数据采用PCA变换映射为V1,V2,…,V28 数值型属性,只有交易时间和金额这两个变量没有经过PCA变换。输出变量为二值变量,1为正常,0为欺诈交易。

机器学习之逻辑回归

在这里插入图片描述

读取excel文件

data = pd.read_csv("../credit-a.csv", header=None) 

data.head()


机器学习之逻辑回归

在这里插入图片描述

我们可以从图上可以看到有15个特征,一个分类结果

相当于y = a1*x1 +……  +a15 *x15 +b

逻辑回归和分类数据集

from sklearn.model_selection import train_test_split

from sklearn.linear_model.logistic import  LogisticRegression

将x 作为特征数据,y作为分类结果,因为输出变量为二值变量,1为正常,0为欺诈交易,而我这是-1代表欺诈和交易,所以用replace方法把-1,变为0

x = data[data.columns[:-1]] #

y = data[data.columns[15]].replace(-1,0)

将x和y分为训练集和测试集

x_train,x_test,y_train,y_test = train_test_split(x,y)

len(x_train),len(x_test)

OUT:

(489, 164)

和线性回归一样的操作

model = LogisticRegression()  #用逻辑回归建立模型

model.fit(x_train,y_train)  #fit 和predict 

model.predict(x_test)

OUT:

array([1, 1, 1, 1, 0, 0, 0, 0, 1, 1, 1, 1, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0,

       0, 0, 1, 0, 0, 0, 0, 1, 1, 1, 0, 0, 1, 1, 1, 1, 1, 1, 1, 0, 1, 0,

       0, 1, 1, 1, 0, 1, 0, 0, 1, 0, 1, 1, 0, 0, 1, 0, 1, 0, 0, 1, 1, 0,

       0, 0, 0, 1, 1, 1, 1, 1, 0, 1, 1, 1, 0, 0, 1, 0, 1, 1, 1, 0, 1, 0,

       0, 0, 1, 1, 0, 1, 1, 0, 1, 1, 0, 1, 0, 1, 1, 0, 0, 0, 0, 1, 1, 0,

       1, 1, 0, 1, 1, 1, 1, 0, 1, 1, 0, 1, 1, 0, 1, 0, 0, 0, 0, 0, 1, 0,

       0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 1, 1, 1, 0,

       1, 0, 0, 1, 0, 1, 1, 0, 1, 1], dtype=int64)

       #这里有164个结果

predict_proba 方法可以得到概率(Sigmoid的x和y)

model.predict_proba(x_test)


机器学习之逻辑回归

在这里插入图片描述

第一个数[1.42575343e-02, 9.85742466e-01] 也就是x = 0.014, y=0.9>0.5 分类结果为1

对于精确性如何,导入accuracy_score

from sklearn.metrics import accuracy_score 

accuracy_score(model.predict(x_test), y_test)

OUT:

0.8719512195121951

也就是在168个测试样本中168*0.8719512195121951个是正确的

预测Titanic乘客是否生还

来源kaggle

1. 导入工具库和数据

import numpy as np 

import pandas as pd 

from sklearn import preprocessing

import matplotlib.pyplot as plt 

plt.rc("font", size=14)

import seaborn as sns

sns.set(style="white") #设置seaborn画图的背景为白色

sns.set(style="whitegrid", color_codes=True)

# 将数据读入 DataFrame

df = pd.read_csv("./titanic_data.csv")

# 预览数据

df.head()


机器学习之逻辑回归

print('数据集包含的数据个数 {}.'.format(df.shape[0]))

数据集包含的数据个数 1310.

2. 查看缺失数据

# 查看数据集中各个特征缺失的情况

df.isnull().sum()

out:

    pclass         1

    survived       1

    name           1

    sex            1

    age          264

    sibsp          1

    parch          1

    ticket         1

    fare           2

    cabin       1015

    embarked       3

    dtype: int64

2.1.    年龄

# "age" 缺失的百分比 

print('"age" 缺失的百分比  %.2f%%' %((df['age'].isnull().sum()/df.shape[0])*100))

"age" 缺失的百分比  20.15%

约 20% 的乘客的年龄缺失了. 看一看年龄的分别情况.

ax = df["age"].hist(bins=15, color='teal', alpha=0.6)

ax.set(xlabel='age')

plt.xlim(-10,85)

plt.show()


机器学习之逻辑回归

在这里插入图片描述

由于“年龄”的偏度不为0, 使用均值替代缺失值不是最佳选择, 这里可以选择使用中间值替代缺失值

在数量上,偏度为负(负偏态)就意味着在概率密度函数左侧的尾部比右侧的长,绝大多数的值(不一定包括中位数在内)位于平均值的右侧。偏度为正(正偏态)就意味着在概率密度函数右侧的尾部比左侧的长,绝大多数的值(不一定包括中位数)位于平均值的左侧。偏度为零就表示数值相对均匀地分布在平均值的两侧,但不一定意味着其为对称分布。

# 年龄的均值

print('The mean of "Age" is %.2f' %(df["age"].mean(skipna=True)))

# 年龄的中间值

print('The median of "Age" is %.2f' %(df["age"].median(skipna=True)))

The mean of "Age" is 29.88

The median of "Age" is 28.00

2.2. 仓位

# 仓位缺失的百分比

print('"Cabin" 缺失的百分比 %.2f%%' %((df['cabin'].isnull().sum()/df.shape[0])*100))

"Cabin" 缺失的百分比 77.48%

约 77% 的乘客的仓位都是缺失的, 最佳的选择是不使用这个特征的值.

2.3. 登船地点

# 登船地点的缺失率

print('"Embarked" 缺失的百分比 %.2f%%' %((df['embarked'].isnull().sum()/df.shape[0])*100))

"Embarked" 缺失的百分比 0.23%

只有 0.23% 的乘客的登船地点数据缺失, 可以使用众数替代缺失的值.

print('按照登船地点分组 (C = Cherbourg, Q = Queenstown, S = Southampton):')

print(df['embarked'].value_counts())

sns.countplot(x='embarked', data=df, palette='Set2')

plt.show()

按照登船地点分组 (C = Cherbourg, Q = Queenstown, S = Southampton):

S    914

C    270

Q    123

Name: embarked, dtype: int64

机器学习之逻辑回归

在这里插入图片描述
print('乘客登船地点的众数为 %s.' %df['embarked'].value_counts().idxmax())

乘客登船地点的众数为 S.

由于大多数人是在南安普顿(Southhampton)登船, 可以使用“S”替代缺失的数据值

2.4. 根据缺失数据情况调整数据

基于以上分析, 我们进行如下调整:

  • 如果一条数据的 "Age" 缺失, 使用年龄的中位数 28 替代.

  • 如果一条数据的 "Embarked" 缺失, 使用登船地点的众数 “S” 替代.

  • 由于太多乘客的 “Cabin” 数据缺失, 从所有数据中丢弃这个特征的值.

data = df.copy()

data["age"].fillna(df["age"].median(skipna=True), inplace=True)

data["embarked"].fillna(df['embarked'].value_counts().idxmax(), inplace=True)

data.drop('cabin', axis=1, inplace=True)

# 确认数据是否还包含缺失数据

data.isnull().sum()

pclass      1

survived    1

name        1

sex         1

age         0

sibsp       1

parch       1

ticket      1

fare        2

embarked    0

dtype: int64

#处理仍然存在缺失数据的情况

final.dropna(inplace=True)

# 预览调整过的数据

data.head()


机器学习之逻辑回归

查看年龄在调整前后的分布

plt.figure(figsize=(15,8))

ax = df["age"].hist(bins=15, normed=True, stacked=True, color='teal', alpha=0.6)

df["age"].plot(kind='density', color='teal')

ax = data["age"].hist(bins=15, normed=True, stacked=True, color='orange', alpha=0.5)

data["age"].plot(kind='density', color='orange')

ax.legend(['Raw Age', 'Adjusted Age'])

ax.set(xlabel='Age')

plt.xlim(-10,85)

plt.show()

机器学习之逻辑回归

在这里插入图片描述

[

2.4.1. 其它特征的处理

数据中的两个特征 “sibsp” (一同登船的兄弟姐妹或者配偶数量)与“parch”(一同登船的父母或子女数量)都是代表是否有同伴同行. 为了预防这两个特征具有多重共线性, 我们可以将这两个变量转为一个变量 “TravelAlone” (是否独自一人成行)

注: 多重共线性(multicollinearity)是指多变量线性回归中,变量之间由于存在高度相关关系而使回归估计不准确。比如虚拟变量陷阱(英语:Dummy variable trap)即有可能触发多重共线性问题。

## 创建一个新的变量'TravelAlone'记录是否独自成行, 丢弃“sibsp” (一同登船的兄弟姐妹或者配偶数量)与“parch”(一同登船的父母或子女数量)

data['TravelAlone']=np.where((data["sibsp"]+data["parch"])>0, 0, 1)

data.drop('sibsp', axis=1, inplace=True)

data.drop('parch', axis=1, inplace=True)

对类别变量(categorical variables)使用独热编码(One-Hot Encoding), 将字符串类别转换为数值

# 对 Embarked","Sex"进行独热编码, 丢弃 'name', 'ticket'

final =pd.get_dummies(data, columns=["embarked","sex"])

final.drop('name', axis=1, inplace=True)

final.drop('ticket', axis=1, inplace=True)

final.head()

机器学习之逻辑回归

3. 数据分析

3.1. 年龄

plt.figure(figsize=(15,8))

ax = sns.kdeplot(final["age"][final.survived == 1], color="darkturquoise", shade=True)

sns.kdeplot(final["age"][final.survived == 0], color="lightcoral", shade=True)

plt.legend(['Survived', 'Died'])

plt.title('Density Plot of Age for Surviving Population and Deceased Population')

ax.set(xlabel='Age')

plt.xlim(-10,85)

plt.show()


机器学习之逻辑回归

在这里插入图片描述
生还与遇难群体的分布相似, 唯一大的区别是生还群体中用一部分低年龄的乘客. 说明当时的人预先保留了孩子的生还机会.

3.2. 票价

plt.figure(figsize=(15,8))

ax = sns.kdeplot(final["fare"][final.survived == 1], color="darkturquoise", shade=True)

sns.kdeplot(final["fare"][final.survived == 0], color="lightcoral", shade=True)

plt.legend(['Survived', 'Died'])

plt.title('Density Plot of Fare for Surviving Population and Deceased Population')

ax.set(xlabel='Fare')

plt.xlim(-20,200)

plt.show()


机器学习之逻辑回归

在这里插入图片描述

生还与遇难群体的票价分布差异比较大, 说明这个特征对预测乘客是否生还非常重要. 票价和仓位相关, 也许是仓位影响了逃生的效果, 我们接下来看仓位的分析.

3.3. 仓位

sns.barplot('pclass', 'survived', data=df, color="darkturquoise")

plt.show()


机器学习之逻辑回归

在这里插入图片描述

如我们所料, 一等舱的乘客生还几率最高.

3.4. 登船地点

sns.barplot('embarked', 'survived', data=df, color="teal")

plt.show()


机器学习之逻辑回归

在这里插入图片描述

从法国 Cherbourge 登录的乘客生还率最高

3.5. 是否独自成行

sns.barplot('TravelAlone', 'survived', data=final, color="mediumturquoise")

plt.show()


机器学习之逻辑回归

在这里插入图片描述

独自成行的乘客生还率比较低. 当时的年代, 大多数独自成行的乘客为男性居多.

3.6. 性别

sns.barplot('sex', 'survived', data=df, color="aquamarine")

plt.show()


机器学习之逻辑回归

在这里插入图片描述

很明显, 女性的生还率比较高

4. 使用Logistic Regression做预测

from sklearn.linear_model import LogisticRegression

from sklearn.model_selection import train_test_split

from sklearn.metrics import accuracy_score

# 使用如下特征做预测

cols = ["age","fare","TravelAlone","pclass","embarked_C","embarked_S","sex_male"] 

# 创建 X (特征) 和 y (类别标签)

X = final[cols]

y = final['survived']

# 将 X 和 y 分为两个部分

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=2)

# 训练模型,  

model = LogisticRegression()

model.fit(X_train,y_train.values.reshape(-1,1))

# 根据模型, 以 X_test 为输入, 生成变量 y_pred

print('Train/Test split results:')

y_pred = model.predict(X_test)

print("准确率为 %2.3f" % accuracy_score(y_test, y_pred))

Train/Test split results:

准确率为 0.817

机器学习之逻辑回归

一直原创,从未转载

请认准我,将我置标

机器学习之逻辑回归

转发,好看支持一下,感谢

扫码领视频副本.gif

0

精彩评论

暂无评论...
验证码 换一张
取 消

关注公众号