逻辑回归模型

逻辑回归属于机器学习中的较为经典的模型,在很多金融专业的实证部分都会用到逻辑回归。接下来分成以下几个部分对逻辑回归模型进行介绍。

1. 模型简介

逻辑回归中的“逻辑”一次,并不是突出这个算法的逻辑性,而是单纯的从音译字而来。对于回归来说,回归本身的意义就是为连续型变量的任务,但是逻辑回归是用回归的办法进行分类。

逻辑回归模型本身就是一个分类模型,经常用于二分类。逻辑回归属于一个较简单地模型,其本质就是:假设数据服从这个分布,然后使用极大似然估计做参数的估计。

logistic 分布是一种连续型的概率分布,其分布函数和密度函数分别为:

金融专业课程笔记(逻辑回归模型简述)(1)

其图像特征为

金融专业课程笔记(逻辑回归模型简述)(2)

逻辑回归模型的图像F(x)中y轴表示的是概率。

我们在利用逻辑回归的时候一般都是以二分法为例,

金融专业课程笔记(逻辑回归模型简述)(3)

从图中我们可以看到,红色的×代表当y=1a

金融专业课程笔记(逻辑回归模型简述)(4)

逻辑回归还需要加一层,它要找到分类概率 P(Y=1) 与输入向量 x 的直接关系,然后通过比较概率值来判断类别考虑二分类问题。

金融专业课程笔记(逻辑回归模型简述)(5)

2.逻辑回归模型的构造

常规情况下,回归的问题一般考虑:寻找假设函数;构造损失函数;在损失最小的情况下求得回归的参数。

假设,我们给定数据集

金融专业课程笔记(逻辑回归模型简述)(6)

第一步:先构造假设函数

这里用到了logistics 函数,其也被成为Sigmoid,其形式为:

金融专业课程笔记(逻辑回归模型简述)(7)

Sigmoid 函数曲线如图所示:

金融专业课程笔记(逻辑回归模型简述)(8)

金融专业课程笔记(逻辑回归模型简述)(9)

金融专业课程笔记(逻辑回归模型简述)(10)

金融专业课程笔记(逻辑回归模型简述)(11)

金融专业课程笔记(逻辑回归模型简述)(12)

金融专业课程笔记(逻辑回归模型简述)(13)

逻辑回归最常见的模型就是二元逻辑回归,逻辑回归整体训练速度很快。在机器学习中,虽然使用支持SVM支持向量机的模型的人较多,但是相对于解决普通的分类问题,逻辑回归整体的速度比SVM快很多。

我认为,如果想了解机器学习中的分类问题,逻辑回归是一种比较好的方法。

当然,机器学习中的分类方法也不是只有逻辑回归的方法,除了上述提到过的支持向量机(SVM),还有决策树、神经网络、贝叶斯方法都是运用较多的方法。每个方法都有他自己的优点,后续内容中我们会接着讨论逻辑回归的应用。

之后我们在写实证相关的论文时,可以运用到逻辑回归对于分类问题中。

,