写点什么

数据挖掘从入门到放弃(一):线性回归和逻辑回归

用户头像
数据社
关注
发布于: 2021 年 05 月 14 日
数据挖掘从入门到放弃(一):线性回归和逻辑回归

数据挖掘算法基于线性代数、概率论、信息论推导,深入进去还是很有意思的,能够理解数学家、统计学家、计算机学家的智慧,这个专栏从比较简单的常用算法入手,后续研究基于 TensorFlow 的高级算法,最好能够参与到人脸识别和 NLP 的实际项目中,做出来一定的效果。

一、理解线性回归模型

首先讲回归模型,回归模型研究的是因变量(目标)和自变量(预测器)之间的关系,因变量可以是连续也可以离散,如果是离散的就是分类问题。思考房价预测模型,我们可以根据房子的大小、户型、位置、南北通透等自变量预测出房子的售价,这是最简单的回归模型,在初中里面回归表达式一般这样写,其中 x 是自变量,y 是因变量,w 是特征矩阵,b 是偏置。



在机器学习推导里面引入线性代数的思想,将假设我们用一个表达式来描述放假预测模型,x 代表一个房子的特征集,它是一个 n×1 的列向量,总共有 m 个特征集,θ是一个 n×1 的列向量,是我们想要求得未知数。



我们采用误差最小的策略,比如有预测表达式:y 工资=Θ1 学历+Θ2 工作经验+Θ3 技术能力+.......+Θnx+基本工资,预测的 y 值和实际值 y_存有差距,策略函数就是使得 m 个特征集的(真实值 y-预测值)的平方和最小。(差值可能是负数,所以采用平方和);



按照对于正规方程的求法,我们对θ 求偏导:



也就是,给定特征矩阵 X 和因变量 y,即可以求使误差率最小的θ值,满足后续的回归模型。了解线性代数的童靴可以看出来问题,在θ的表达式中有求逆运算,需要保证矩阵可逆,这一般是无法保证的,这样就会造成θ无解,策略失效;

二、计算机的做法:梯度下降

常规的方程需要大量的矩阵运算,尤其是矩阵的逆运算,在矩阵很大的情况下,会大大增加计算复杂性。,且正规方程法对矩阵求偏导有一定的局限性(无法保证矩阵可逆),下面介绍梯度下降法,也就是计算机的解决方法,每次走一小步,保证这一小步是最有效的一步,可以想象自己正在下山,你不知道目的地(全局最小值)在哪,但是你能够保证自己每次走的都是最陡峭的一步;



我们的策略仍然保持不变,就是使得 m 个特征集的(真实值 y-预测值)的平方和最小:



梯度下降法实现:赋予初始θ 值,并根据公式逐步更新θ 使得 J(θ) 不断减少,最终至收敛,对应的参数θ 即为解。为了推导方便,首先研究只有一个训练样本时,如何计算推导公式。



θ 的每个分量更新公式为:



推广到 m 个训练数据,参数更新公式为:


三、逻辑回归模型

逻辑回归与线性回归同属广义线性模型,逻辑回归是以线性回归为理论支持,是一个二分类模型,也可以推广多到分类问题,通过 Sigmoid 函数引入了非线性因素,因此可以轻松处理 0/1 分类问题,首先介绍一下 Sigmoid 函数:



sigmoid 函数图像是一个 S 曲线,取值在[0, 1]之间,在远离 0 的地方函数的值会很快接近 0 或者 1,sigmoid 函数的求导特性是:



逻辑回归的预测函数是下图,只是在特征到结果的映射中加入了一层函数映射,先把特征线性求和,然后使用函数 g(z)将最为假设函数来预测。g(z)可以将连续值映射到 0 到 1 之间:



通过求似然函数,两边取 log 后,对θ求偏导:



这样我们就得到了梯度上升每次迭代的更新方向,那么θ的迭代表达式为:



发现同线性回归模型是同一个表达式,这并不仅仅是巧合,两者存在深层的联系;

四、回归模型使用

数据是 2014 年 5 月至 2015 年 5 月美国 King County 的房屋销售价格以及房屋的基本信息。数据分为训练数据和测试数据,分别保存在 kc_train.csv 和 kc_test.csv 两个文件中,其中训练数据主要包括 10000 条记录,14 个字段:销售日期,销售价格,卧室数,浴室数,房屋面积,停车面积,楼层数,房屋评分,建筑面积,地下室面积,建筑年份,修复年份,纬度,经度。


数据集地址:https://github.com/yezonggang/house_price,按照流程完成模型建立:


import pandas as pdfrom pandas import DataFrameimport numpy as npimport matplotlib.pyplot as plt%matplotlib inlineimport seaborn as snsfrom sklearn.linear_model import LogisticRegressionfrom sklearn.ensemble import RandomForestClassifierfrom sklearn.linear_model import LinearRegression# 数据读取baseUrl="C:\\Users\\71781\\Desktop\\2020\\ML-20200422\\houre_price\\"house_df=pd.read_csv(baseUrl+'train.csv' )test_df=pd.read_csv(baseUrl+'test.csv')house_df.head()
# 删除无关变量house_df=house_df.drop(['saleTime','year','repairYear','latitude','longitude','buildingSize'],axis=1)test_df=test_df.drop(['saleTime','year','repairYear','latitude','longitude','buildingSize'],axis=1)
# 模型建立X_price=house_df.drop(['price'],axis=1)# X_price.head()Y_price=house_df['price']Y_price.head()
LR_reg=LinearRegression()LR_reg.fit(X_price, Y_price)Y_pred = LR_reg.predict(test_df)LR_reg.score(X_price, Y_price)

# 可以选择进行特征缩放#new_house=house_df.drop(['price'],axis=1)#from sklearn.preprocessing import MinMaxScaler#minmax_scaler=MinMaxScaler().fit(new_house) #进行内部拟合,内部参数会发生变化#scaler_housing=pd.DataFrame(minmax_scaler.transform(new_house),columns=new_house.columns)
#mm=MinMaxScaler()#mm.fit(test_df)#scaler_t=mm.transform(test_df)#scaler_t=pd.DataFrame(scaler_t,columns=test_df.columns)
复制代码


发布于: 2021 年 05 月 14 日阅读数: 44
用户头像

数据社

关注

微信公众号:数据社 2018.04.26 加入

专注大数据架构,数据仓库,MPP数据库分享,微信公众号数据社

评论

发布
暂无评论
数据挖掘从入门到放弃(一):线性回归和逻辑回归