逻辑回归

将result归一化到［0， 1］区间，即使用一个逻辑方程将线性回归归一化，称为逻辑回归（logisticregression）。它是一种广义的线性回归。

逻辑回归（logistic regression）可分为二元逻辑回归、多元逻辑回归。

逻辑回归（logistic regression）是与线性回归相对应的一种分类方法。该算法的基本概念由线性回归推导而出。逻辑回归通过逻辑函数（即 Sigmoid 函数）将预测映射到 0 到 1 中间，因此预测值就可以看成某个类别的概率。

逻辑回归模型仍然还是线性的。只有在数据是线性可分，即数据可被一个超平面完全分离时，算法才能有优秀的表现。同样 Logistic 模型能惩罚模型系数而进行正则化。

算法优点：

1）输出有很好的概率解释；

2） 算法也能正则化而避免过拟合；

3）Logistic 模型很容易使用随机梯度下降和新数据更新模型权重。

算法缺点：

Logistic 回归在多条或非线性决策边界时性能比较差。

最小二乘法：

最小二乘法（或称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法可用于直线或曲线拟合。其他一些优化问题也可用最小二乘法来解决。

梯度下降法：

梯度下降法是一种迭代求全局最优（凸函数）或局部最优（非凸函数）的算法。在大数据情况下，数据的特征维度很多维，那么此时对其使用最小二乘法计算量会很大。于是考虑采用梯度下降法来求出最优。

梯度下降法主要思想：人在山顶下，有n多条路径下到山的最底部。从山顶当前位置计算所有方向的偏导，求出当前位置的各个偏导后，得到各个偏导函数的最小值，最小值即当前位置梯度的反方向，所以称为梯度下降法。

回归步骤：

1）确定变量：明确预测的具体目标，也就确定了因变量。通过调查和查阅资料，寻找与预测目标的相关影响因素，即自变量，并从中选出主要的影响因素。

2）建立预测模型：依据自变量和因变量的历史统计资料进行计算，在此基础上建立回归分析方程，即回归分析预测模型。

3）进行相关分析：回归分析是对具有因果关系的影响因素（自变量）和预测对象（因变量）所进行的数理统计分析处理。一般需要求出相关关系（通常用逐步回归、向前回归和向后回归等方法），以相关系数的大小来判断自变量和因变量的相关程度。

4）计算预测误差：回归预测模型是否可用于实际预测，取决于对回归预测模型的检验和对预测误差的计算。回归方程只有通过各种检验，且预测误差较小，才能将回归方程作为预测模型进行预测。

5）确定预测值：利用回归预测模型计算预测值，并对预测值进行综合分析，确定最后的预测值。

注意问题：

正确应用回归分析预测时应注意：

1）用定性分析判断现象之间的依存关系；

2）避免回归预测的任意外推；

3）应用合适的数据资料．

回归应用：

回归分析是通过规定因变量和自变量来确定变量之间的因果关系，建立回归模型，并根据实测数据来求解模型的各个参数，然后评价回归模型是否能够很好的拟合实测数据；如果能够很好的拟合，则可以根据自变量作进一步预测。

一般来说，对于连续值预测可采用线性回归和非线性回归；对于离散值／类别预测，可采用逻辑回归。

线性回归用在：销售预测、风险评估等领域。

非线性回归用在：经济预测、人力需求等领域。

逻辑回归用在：数据挖掘，疾病自动诊断等领域。

结语：

回归模型能够解决预测和分类问题。根据自变量的个数分为一元和多元回归；根据是否线性关系分为线性回归和非线性回归。在求解回归模型时要在特定的情况下选用对应的方法，在维度小或线性回归时可选用最小二乘法，而在Logistic回归时应选用梯度下降法。回归模型在人工智能之机器学习、经济预测、数据挖掘，疾病自动诊断、销售预测和风险评估等方面有着广泛应用。