梯度下降解决线性回归

80 阅读 0 评论 53 点赞

我是靠谱客的博主虚心小丸子，最近开发中收集的这篇文章主要介绍梯度下降解决线性回归，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

今天主要是想和大家分享一下使用梯度下降解决线性回归问题，使用的框架是TensorFlow，开发环境在Linux ubuntu

其中需要用到的Python库有numpy和matplotlib，大家对这两个库不清楚的可以直接Google 或者百度一下哈。

首先我们使用numpy的正态分布函数随机生成100个点，这些（x，y）对应的线性方程为y=0.1*x+0.2,weigth=0.1,bias=0.2;然后我们使用py去生成100个真实data

# 构建数据
points_num = 100
vectors = []
# 用 Numpy 的正态随机分布函数生成 100 个点
# 这些点的（x, y）坐标值对应线性方程 y = 0.1 * x + 0.2
# 权重（Weight）为 0.1，偏差（Bias）为 0.2
for i in xrange(points_num):
    x1 = np.random.normal(0.0, 0.66)
    y1 = 0.1 * x1 + 0.2 + np.random.normal(0.0, 0.04)
    vectors.append([x1, y1])

x_data = [v[0] for v in vectors] # 真实的点的 x 坐标
y_data = [v[1] for v in vectors] # 真实的点的 y 坐标

生成了100个随机点之后，我们就需要利用matplotlib库来绘制图标，进行数据展示

# 图像 1 ：展示 100 个随机数据点
plt.plot(x_data, y_data, 'r*', label="Original data") # 红色星形的点
plt.title("Linear Regression using Gradient Descent")
plt.legend()#将oraginal data 标签展示
plt.show()

接着，我们需要利用tensorflow框架来构建我们的线性回归模型

# 构建线性回归模型
W = tf.Variable(tf.random_uniform([1], -1.0, 1.0)) # 初始化 Weight
b = tf.Variable(tf.zeros([1]))                     # 初始化 Bias
y = W * x_data + b                                 # 模型计算出来的 y

了解过一点深度学习的人都知道，有一个概念非常重要，loss function。基本上所有模型的训练都是求这个loss最小，所以接下来我们需要求loss function，然后再去优化我们的loss function来拟合出最优的直线

# 定义 loss function（损失函数）或 cost function（代价函数）
# 对 Tensor 的所有维度计算 ((y - y_data) ^ 2) 之和 / N
loss = tf.reduce_mean(tf.square(y - y_data))

# 用梯度下降的优化器来优化我们的 loss functioin
optimizer = tf.train.GradientDescentOptimizer(0.5) # 设置学习率为 0.5
train = optimizer.minimize(loss)

深度学习模型需要不断去使用数据训练才可以得到比较优的model，然后因为这个model比较简单，所以训练20次就差不多了。

# 创建会话
sess = tf.Session()

# 初始化数据流图中的所有变量
init = tf.global_variables_initializer()
sess.run(init)

# 训练 20 步
for step in xrange(20):
    # 优化每一步
    sess.run(train)
    # 打印出每一步的损失，权重和偏差
    print("Step=%d, Loss=%f, [Weight=%f Bias=%f]") 
            % (step, sess.run(loss), sess.run(W), sess.run(b))

model训练完成后，我们可以使用matplotlib来将训练的model进行展示出来，看看我们训练的效果，代码如下:

# 创建会话
sess = tf.Session()

# 初始化数据流图中的所有变量
init = tf.global_variables_initializer()
sess.run(init)

# 训练 20 步
for step in xrange(20):
    # 优化每一步
    sess.run(train)
    # 打印出每一步的损失，权重和偏差
    print("Step=%d, Loss=%f, [Weight=%f Bias=%f]") 
            % (step, sess.run(loss), sess.run(W), sess.run(b))

备注：下面为所有的代码，总的来说，这个demo还是比较简单的，感兴趣的小伙伴们可以自己去跑一下我这个demo哦

-*- coding: UTF-8 -*-

'''
用梯度下降的优化方法来快速解决线性回归问题
'''

import numpy as np
import matplotlib.pyplot as plt
import tensorflow as tf

# 构建数据
points_num = 100
vectors = []
# 用 Numpy 的正态随机分布函数生成 100 个点
# 这些点的（x, y）坐标值对应线性方程 y = 0.1 * x + 0.2
# 权重（Weight）为 0.1，偏差（Bias）为 0.2
for i in xrange(points_num):
    x1 = np.random.normal(0.0, 0.66)
    y1 = 0.1 * x1 + 0.2 + np.random.normal(0.0, 0.04)
    vectors.append([x1, y1])

x_data = [v[0] for v in vectors] # 真实的点的 x 坐标
y_data = [v[1] for v in vectors] # 真实的点的 y 坐标

# 图像 1 ：展示 100 个随机数据点
plt.plot(x_data, y_data, 'r*', label="Original data") # 红色星形的点
plt.title("Linear Regression using Gradient Descent")
plt.legend()
plt.show()

# 构建线性回归模型
W = tf.Variable(tf.random_uniform([1], -1.0, 1.0)) # 初始化 Weight
b = tf.Variable(tf.zeros([1]))                     # 初始化 Bias
y = W * x_data + b                                 # 模型计算出来的 y

# 定义 loss function（损失函数）或 cost function（代价函数）
# 对 Tensor 的所有维度计算 ((y - y_data) ^ 2) 之和 / N
loss = tf.reduce_mean(tf.square(y - y_data)
# 用梯度下降的优化器来优化我们的 loss functioin
optimizer = tf.train.GradientDescentOptimizer(0.5) # 设置学习率为 0.5
train = optimizer.minimize(loss)

# 创建会话
sess = tf.Session()

# 初始化数据流图中的所有变量
init = tf.global_variables_initializer()
sess.run(init)

# 训练 20 步
for step in xrange(20):
    # 优化每一步
    sess.run(train)
    # 打印出每一步的损失，权重和偏差
    print("Step=%d, Loss=%f, [Weight=%f Bias=%f]") 
            % (step, sess.run(loss), sess.run(W), sess.run(b))

# 图像 2 ：绘制所有的点并且绘制出最佳拟合的直线
plt.plot(x_data, y_data, 'r*', label="Original data") # 红色星形的点
plt.title("Linear Regression using Gradient Descent")
plt.plot(x_data, sess.run(W) * x_data + sess.run(b), label="Fitted line") # 拟合的线
plt.legend()
plt.xlabel('x')
plt.ylabel('y')
plt.show()

# 关闭会话
sess.close()