Python用线性回归和TensorFlow非线性概率神经网络不同激活函数分析可视化

全文链接：https://tecdat.cn/?p=33792

原文出处：拓端数据部落公众号

在这篇文章中，我将尝试介绍从简单的线性回归到使用神经网络构建非线性概率模型的步骤。

这在模型噪声随着模型变量之一变化或为非线性的情况下特别有用，比如在存在异方差性的情况下。

当客户的数据是非线性时，这样会对线性回归解决方案提出一些问题：

# 添加的噪声量是 x 的函数
n = 20000

......
x_train = x[: n // 2]
x_test = x[n // 2 :]
y_train = y[: n // 2]
......
plt.show()

线性回归方法

我们用均方差作为优化目标，这是线性回归的标准损失函数。

model_lin_reg = tf.keras.Sequential(
......
history = model_lin_reg.fit(x_train, y_train, epochs=10, verbose=0)
# 模型已经收敛：
plt.plot(history.history["loss"])
......

Final loss: 5.25

我们定义一些辅助函数来绘制结果：

def plot_results(x, y, y_est_mu, y_est_std=None):
  ......
    plt.show()


def plot_model_results(model, x, y, tfp_model: bool = True):
    model.weights

......
    plot_results(x, y, y_est_mu, y_est_std)

模型残差的标准差不影响收敛的回归系数，因此没有绘制。

plot_modesults(mod_linreg......, tfp_model=False)

TensorFlow概率

我们可以通过最大化正态分布的似然性来拟合上述相同的模型，其中平均值是线性回归模型的估计值。

def negloglik(y, distr):
  ......


model_lin_reg_tfp = tf.keras.Sequential(
 ......
            lambda t: tfp.distributions.Normal(loc=t, scale=5,)
        ),
    ]
)

model_lin_reg_tfp.compile(
......)

history = model_lin_reg_tf......
plot_model_results(model_lin_r......rue)

拟合带有标准差的线性回归

为了拟合线性回归模型的最佳标准差，我们需要进行一些操作。我们需要网络输出两个节点，一个用于表示平均值，另一个用于表示标准差。

model_lin_reg_std_tfp = tf.keras.Sequential(
    [
  ......
        ),
    ]
)

model_lin_reg_std_tfp.compile(
......)

history = model_lin_reg_std_tfp.fit(x_train, y_train, epochs=50, ......train, tfp_model=True)

上面的图表显示，标准差和均值都与之前不同。它们都随着x变量的增加而增加。然而，它们对数据仍然不是很好的拟合，无法捕捉到非线性关系。

神经网络方法

为了帮助拟合x和y之间非线性关系，我们可以利用神经网络。这可以简单地使用我们设计的相同TensorFlow模型，但添加一个具有非线性激活函数的隐藏层。

model_lin_reg_std_nn_tfp = tf.keras.Sequential(
    [
 ......
            )
        ),
    ]
)

model_lin_reg_std_nn_tfp.compile(
   ......
plot_model_results(mode ......rain, tfp_model=True)

神经网络模型拟合的均值比线性回归模型更好地符合数据的非线性关系。

结果

我们对训练集和测试集运行了各个模型。在任何模型中，两者之间的性能变化不大。我们可以看到，神经网络模型在训练集和测试集上的表现最好。

results = pd.DataFrame(index=["Train", "Test"])

models = {
  ......
        ).numpy(),
    ]
results.transpose()

激活函数

下面使用relu或softplus激活函数创建相同的网络。首先是relu网络的结果：

model_relu = tf.keras.Sequential(
    [
  ......
                loc=t[:, 0:1], scale=tf.math.softplus(t[:, 1:2])
            )
        ),
    ]
)

m ......
plot_model_results(model_relu, x_train, y_train)

然后是softplus的结果：

model_softplus = tf.keras.Sequential(
    [
  ......
                loc=t[:, 0:1], scale=tf.math.softplus(t[:, 1:2])
            )
        ),
    ]
)

model_softplus.compile(
 ......
plot_model_results(model_softplus, x_train, y_train)

我们可以看到，基于sigmoid的神经网络具有最佳性能。

results = pd.DataFrame(index=["Train", "Test"])

models = {
 ......(x_test))
        ).numpy(),
    ]
results.transpose()

---

最受欢迎的见解

1.R语言实现CNN（卷积神经网络）模型进行回归

2.r语言实现拟合神经网络预测和结果可视化

3.python用遗传算法-神经网络-模糊逻辑控制算法对乐透分析

4.R语言结合新冠疫情COVID-19股票价格预测：ARIMA，KNN和神经网络时间序列分析

5.Python TensorFlow循环神经网络RNN-LSTM神经网络预测股票市场价格时间序列和MSE评估准确性

6.Matlab用深度学习长短期记忆（LSTM）神经网络对文本数据进行分类

7.用于NLP的seq2seq模型实例用Keras实现神经机器翻译

8.R语言用FNN-LSTM假近邻长短期记忆人工神经网络模型进行时间序列深度学习预测

9.Python用RNN循环神经网络：LSTM长期记忆、GRU门循环单元、回归和ARIMA对COVID-19新冠疫情新增人数时间序列预测