WHCSRL 技术网

[PyTorch Basic Course 7] Multi-dimensional feature input (I can’t learn to beat me)

学习总结

(1)y=Ax,矩阵A起到线性变换的作用,将x的N维度映射为M维度,即为一种空间变换的函数。而神经网络是想寻找一种非线性变换的空间函数,而可以通过多个线性变换层(下面栗子就是每次线性后加个非线性激活函数sigmoid),通过找到最优的权重,来组合起来,从而模拟非线性变换。
(2)relu取值范围也是0到1,但是如果input是小于0的则relu值为0(输出0是有风险的,因为后面可能会算ln 0,所以如果前面用的其他的激活函数,注意最后一个一般改为sigmoid激活函数,这样就能输出0到1之间数)。

一、和一维特征的区别

之前的一维特征input,只有一个x和权重w相乘,多维的情况则是xi依次与逐个wi相乘(ps:每行x都这样算,每行即每个样本),可以用向量形式表示:
在这里插入图片描述
sigmoid函数对向量中每个元素都sigmoid一次。
继续上面运算,改为矩阵运算(便于利用cuda运算):
在这里插入图片描述
稍微复习:y=Ax,矩阵A起到线性变换的作用,将x的N维度映射为M维度,即为一种空间变换的函数。而神经网络是想寻找一种非线性变换的空间函数,而可以通过多个线性变换层(下面栗子就是每次线性后加个非线性激活函数sigmoid),通过找到最优的权重,来组合起来,从而模拟非线性变换。

而需要设置多少层,每层怎么设置,一般需要超参数搜索。
在这里插入图片描述
ps:隐层越多,学习能力越强,但也不一定好,因为会学习到数据中的噪声,所以学习能力需要泛化能力。大学和高中的学习也是这样的思想,不需要死扣书本,而是需要学习读文档和基础架构的理念(泛化能力强)。

二、激活函数

relu取值范围也是0到1,但是如果input是小于0的则relu值为0(输出0是有风险的,因为后面可能会算ln 0,所以如果前面用的其他的激活函数,注意:最后一个一般改为sigmoid激活函数,这样就能输出0到1之间数)。
在这里插入图片描述

三、糖尿病预测

多层线性层,详见注释。

# -*- coding: utf-8 -*-
"""
Created on Mon Oct 18 10:18:24 2021

@author: 86493
"""
import torch 
import torch.nn as nn
import numpy as np
import matplotlib.pyplot as plt
# 这里的type不用double,特斯拉GPU才double
xy = np.loadtxt('diabetes.csv',
                delimiter = ' ',
                dtype = np.float32)

# 最后一列不要
x_data = torch.from_numpy(xy[: , : -1])
# [-1]则拿出来的是一个矩阵,去了中括号则拿出向量
y_data = torch.from_numpy(xy[:, [-1]])
losslst = []


class Model(nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.linear1 = nn.Linear(9, 6)
        self.linear2 = nn.Linear(6, 4) 
        self.linear3 = nn.Linear(4, 1)         
        # 上次logistic是调用nn.functional的Sigmoid
        self.sigmoid = nn.Sigmoid()
        # 这个也是继承Module,没有参数,比上次写法不容易出错
        
    def forward(self, x):
        x = self.sigmoid(self.linear1(x))
        x = self.sigmoid(self.linear2(x))
        x = self.sigmoid(self.linear3(x))
        return x
    
model = Model()

# 使用交叉熵作损失函数
criterion = nn.BCELoss(size_average = False)
optimizer = torch.optim.SGD(model.parameters(), 
                            lr = 0.01)

# 训练,下面没有用mini-batch,后面讲dataloader再说
for epoch in range(10):
    y_predict = model(x_data)
    loss = criterion(y_predict, y_data)
    # 打印loss对象会自动调用__str__
    print(epoch, loss.item())
    losslst.append(loss.item())
    
    # 梯度清零后反向传播
    optimizer.zero_grad()
    loss.backward()
    
    # 更新权重
    optimizer.step()


# 画图
plt.plot(range(10), losslst)
plt.ylabel('Loss')
plt.xlabel('epoch')
plt.show()
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66

在这里插入图片描述

Reference

(1)PyTorch官方文档https://pytorch.org/docs/stable/_modules/torch
(2)b站视频:https://www.bilibili.com/video/BV1Y7411d7Ys?p=10
(3)吴恩达网易云课程:https://study.163.com/my#/smarts
(4)刘洪普老师博客:https://liuii.github.io/
(5)激活函数:http://rasbt.github.io/mlxtend/user_guide/general_concepts/activation-functions/#activation-functions-for-artificial-neural-networks
(6)激活函数演示:https://dashee87.github.io/data%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%20science/deep%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%20learning/visualising-activation-functions-in-neural-networks/
(7)pytorch官方文档,非线性激活函数:https://pytorch.org/docs/stable/nn.html#non-linear-activations-weighted-sum-nonlinearity

古道西风瘦码
微信公众号
分享技术❤️共同进步
推荐阅读