机器学习 —— 总结

一、KNN算法 分类问题回归问题#分类 from sklearn.neighbors import KNeighborsClassifier #回归 from sklearn.neighbors import KNeighborsRegressor思想: 近朱者赤近墨者黑核心: 计算距离1.曼哈顿距离2.欧式距离3.切比雪夫距离4.闵氏距离方案分类多数表决回归算平均https://blog.csdn.net/i_k_o_x_s/article/details/159694910?spm1001.2014.3001.5502二、线性回归 回归问题from sklearn.linear_model import LinearRegression#正规方程模型 from sklearn.linear_model import LinearRegression#梯度下降法 from sklearn.linear_model import SGDRegressor一元线性y wx b w权重 b: 偏置多元线性y W转置*X b线性回归评估方案1.最小二乘2.MSE/MAE/RMSEfrom sklearn.metrics import ( mean_squared_error , #MSE 均方误差 mean_absolute_error, #MAE 平均绝对误差 root_mean_squared_error) #RMSE 均方根误差前置概念 误差 预测值 - 真实值损失函数回归损失最小1.正规方程矩阵存在可逆2.梯度下降W新 W旧 - 学习率 * 梯度导数 矩阵https://blog.csdn.net/i_k_o_x_s/article/details/159929680?spm1001.2014.3001.5502https://blog.csdn.net/i_k_o_x_s/article/details/159995884?spm1001.2014.3001.5502三、逻辑回归 二分类神器# 混淆矩阵 from sklearn.metrics import confusion_matrix from sklearn.metrics import ( accuracy_score, # 准确率 recall_score, # 召回率 precision_score, # 精确率 f1_score # F1分数 )思想把线性回归的输出作为激活函数的输入设置阈值完成分类核心sigmoid 二分类、激活函数深度学习目的增加模型的非线性能力分类模型评估1.混淆矩阵2.准确率3.精确率4.召回率5.F1-scorehttps://blog.csdn.net/i_k_o_x_s/article/details/160083736?spm1001.2014.3001.5502https://blog.csdn.net/i_k_o_x_s/article/details/160087403?spm1001.2014.3001.5502四、聚类算法 K-means 无监督学习算法#聚类算法 from sklearn.cluster import KMeans #造数据 from sklearn.datasets import make_blobs #CH指标 评估聚类算法的 CH数值越大说明聚类效果越好 from sklearn.metrics import calinski_harabasz_score1.K-means算法流程1 选定 K个 质心点几个质心点也就几个簇2 算距离 每个样本点与质心点算距离该样本点离哪个质心点近就归于哪个簇3 根据每个簇的样本点内部重新计算新的聚类中心平均值4 如果计算得出新的点 和 上一个质心点 位置一样停止聚类。否则 2,3.如果存在一个样本点和两个质心点的距离一样。随机分给一个簇 ..后续 方法2.评估指标 CH 越大越好https://blog.csdn.net/i_k_o_x_s/article/details/160087753?spm1001.2014.3001.5502五、特征工程数据预处理#切分数据集 from sklearn.model_selection import train_test_split量纲问题1.归一法# 归一化 from sklearn.preprocessing import MinMaxScaler2.标准法# 标准化 from sklearn.preprocessing import StandardScalerhttps://blog.csdn.net/i_k_o_x_s/article/details/159807413?spm1001.2014.3001.5502六、模型建模流程1.准备数据2.数据处理 缺失值 思考是否存在量纲问题 _标准化 归一化3.特征工程4.模型训练5.模型预测6.模型评估https://blog.csdn.net/i_k_o_x_s/article/details/159696090?spm1001.2014.3001.5502