TensorFlow搭建一个简单的深度回归网络

Tensorflow框架的青铜级应用

任务描述

用两层神经网络实现一个二维平面内的回归任务，即给定数据集，设计模型去拟合一个映射，得到，模型优化的目标是对每个的预测值都尽可能接近真实值。

训练集

在[-1,1]的区间内，均匀抽取1000个点（n=1000），作为，再设计映射函数得到真实回归值。这里用了，为了模拟实际数据中的不确定因素，加入了一个均值为0，方差为0.2的干扰偏置。

模型参数

两层神经网络，两组权重和偏置参数，设置的参数量为20，那么每一层数据流的矩阵形式如下：
第一层，out1=x_data*w1+b1，矩阵形式[1000,20]=[1000,1]*[1,20]+[1,20]
第二层，predict=out1*w2+b2，矩阵形式[1000,1]=[1000,20]*[20,1]+[1,1]
predict即为每个数据的预测值。

损失函数

优化目标为拉近预测值predict和真实值y的距离，这里用MSE作为损失函数。

完整代码

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt

#设置数据集大小和隐层参数个数
data_nums=1000  
var_nums=20
#生成训练集，shape=[data_nums,1]
x_data=np.linspace(-1, 1, data_nums)[:,np.newaxis]
noise=np.random.normal(0,0.2,x_data.shape)
y_data=-np.square(x_data)+noise

#定义输入数据的张量形式，一个x输入对应一个y输出，两者尺寸相同
x=tf.placeholder(tf.float32, [data_nums,1])
y=tf.placeholder(tf.float32, [data_nums,1])

#构建网络第一层，参数分为权重w1和偏置b1，个数为var_nums，尺寸要和输入数据x相匹配
w1=tf.Variable(tf.random_normal([1,var_nums]))
b1=tf.Variable(tf.zeros([1,var_nums]))
#计算线性的回归值w1*x+b1，再经过tanh激活函数引入非线性
cal1=tf.matmul(x, w1)+b1
out1=tf.nn.tanh(cal1)

#构建网络第二层，参数分为权重w2和偏置b2，尺寸要和前一层的输出相匹配，当前层的输出应该为一个值
w2=tf.Variable(tf.random_normal([var_nums,1]))
b2=tf.Variable(tf.zeros([1,1]))
cal2=tf.matmul(out1, w2)+b2
predict=tf.nn.tanh(cal2)

#定义MSE损失值
loss=tf.reduce_mean(tf.square(predict-y))
#定义迭代优化器
train_step=tf.train.GradientDescentOptimizer(0.1).minimize(loss)

#创建Session开始训练
with tf.Session() as sess:
    #变量初始化
    sess.run(tf.global_variables_initializer())
    #迭代2000次
    for i in range(2000):
        sess.run(train_step,feed_dict={x:x_data, y:y_data})
        #每10次输出一次loss
        if i%10==0:
            cur_loss=sess.run(loss, feed_dict={x:x_data, y:y_data})
            print("Train_step:" + str(i) + "  Loss:" + str(cur_loss))
    #训练结束，记录模型预测的回归值
    pred_value=sess.run(predict, feed_dict={x:x_data})
    
    #画图展示
    plt.figure()
    plt.scatter(x_data, y_data, s=50, marker='+', c='blue')
    plt.plot(x_data, pred_value, 'r-', lw=4)
    plt.show()

输出效果

迭代2000次之后模型的loss值：

决策平面：红线表示模型对输入数据的预测值，基本能够拟合数据分布趋势。