Python基于numpy灵活定义神经网络结构的方法

本文实例讲述了Python基于numpy灵活定义神经网络结构的方法。分享给大家供大家参考，具体如下：

用numpy可以灵活定义神经网络结构，还可以应用numpy强大的矩阵运算功能！

一、用法

1）. 定义一个三层神经网络：

'''示例一'''
nn = NeuralNetworks([3,4,2]) # 定义神经网络
nn.fit(X,y) # 拟合
print(nn.predict(X)) #预测

说明：
　　输入层节点数目：3
　　隐藏层节点数目：4
　　输出层节点数目：2

2）.定义一个五层神经网络：

'''示例二'''
nn = NeuralNetworks([3,5,7,4,2]) # 定义神经网络
nn.fit(X,y) # 拟合
print(nn.predict(X)) #预测

说明：
　　输入层节点数目：3
　　隐藏层1节点数目：5
　　隐藏层2节点数目：7
　　隐藏层3节点数目：4
　　输出层节点数目：2

二、实现

如下实现方式为本人（@hhh5460）原创。 要点： dtype=object

import numpy as np
class NeuralNetworks(object):
  ''''''
  def __init__(self, n_layers=None, active_type=None, n_iter=10000, error=0.05, alpha=0.5, lamda=0.4):
    '''搭建神经网络框架'''
    # 各层节点数目 (向量)
    self.n = np.array(n_layers) # 'n_layers必须为list类型，如：[3,4,2] 或 n_layers=[3,4,2]'
    self.size = self.n.size # 层的总数
    # 层 (向量)
    self.z = np.empty(self.size, dtype=object) # 先占位(置空)，dtype=object ！如下皆然
    self.a = np.empty(self.size, dtype=object)
    self.data_a = np.empty(self.size, dtype=object)
    # 偏置 (向量)
    self.b = np.empty(self.size, dtype=object)
    self.delta_b = np.empty(self.size, dtype=object)
    # 权 (矩阵)
    self.w = np.empty(self.size, dtype=object)
    self.delta_w = np.empty(self.size, dtype=object)
    # 填充
    for i in range(self.size):
      self.a[i] = np.zeros(self.n[i]) # 全零
      self.z[i] = np.zeros(self.n[i]) # 全零
      self.data_a[i] = np.zeros(self.n[i]) # 全零
      if i < self.size - 1:
        self.b[i] = np.ones(self.n[i+1])  # 全一
        self.delta_b[i] = np.zeros(self.n[i+1]) # 全零
        mu, sigma = 0, 0.1 # 均值、方差
        self.w[i] = np.random.normal(mu, sigma, (self.n[i], self.n[i+1])) # # 正态分布随机化
        self.delta_w[i] = np.zeros((self.n[i], self.n[i+1])) # 全零

下面完整代码是我学习斯坦福机器学习教程，完全自己敲出来的：

import numpy as np
'''
参考：http://ufldl.stanford.edu/wiki/index.php/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C
'''
class NeuralNetworks(object):
  ''''''
  def __init__(self, n_layers=None, active_type=None, n_iter=10000, error=0.05, alpha=0.5, lamda=0.4):
    '''搭建神经网络框架'''
    self.n_iter = n_iter # 迭代次数
    self.error = error # 允许最大误差
    self.alpha = alpha # 学习速率
    self.lamda = lamda # 衰减因子 # 此处故意拼写错误！
    if n_layers is None:
      raise '各层的节点数目必须设置！'
    elif not isinstance(n_layers, list):
      raise 'n_layers必须为list类型，如：[3,4,2] 或 n_layers=[3,4,2]'
    # 节点数目 (向量)
    self.n = np.array(n_layers)
    self.size = self.n.size # 层的总数
    # 层 (向量)
    self.a = np.empty(self.size, dtype=object) # 先占位(置空)，dtype=object ！如下皆然
    self.z = np.empty(self.size, dtype=object)
    # 偏置 (向量)
    self.b = np.empty(self.size, dtype=object)
    self.delta_b = np.empty(self.size, dtype=object)
    # 权 (矩阵)
    self.w = np.empty(self.size, dtype=object)
    self.delta_w = np.empty(self.size, dtype=object)
    # 残差 (向量)
    self.data_a = np.empty(self.size, dtype=object)
    # 填充
    for i in range(self.size):
      self.a[i] = np.zeros(self.n[i]) # 全零
      self.z[i] = np.zeros(self.n[i]) # 全零
      self.data_a[i] = np.zeros(self.n[i]) # 全零
      if i < self.size - 1:
        self.b[i] = np.ones(self.n[i+1])  # 全一
        self.delta_b[i] = np.zeros(self.n[i+1]) # 全零
        mu, sigma = 0, 0.1 # 均值、方差
        self.w[i] = np.random.normal(mu, sigma, (self.n[i], self.n[i+1])) # # 正态分布随机化
        self.delta_w[i] = np.zeros((self.n[i], self.n[i+1])) # 全零
    # 激活函数
    self.active_functions = {
      'sigmoid': self.sigmoid,
      'tanh': self.tanh,
      'radb': self.radb,
      'line': self.line,
    }
    # 激活函数的导函数
    self.derivative_functions = {
      'sigmoid': self.sigmoid_d,
      'tanh': self.tanh_d,
      'radb': self.radb_d,
      'line': self.line_d,
    }
    if active_type is None:
      self.active_type = ['sigmoid'] * (self.size - 1) # 默认激活函数类型
    else:
      self.active_type = active_type
  def sigmoid(self, z):
    if np.max(z) > 600:
      z[z.argmax()] = 600
    return 1.0 / (1.0 + np.exp(-z))
  def tanh(self, z):
    return (np.exp(z) - np.exp(-z)) / (np.exp(z) + np.exp(-z))
  def radb(self, z):
    return np.exp(-z * z)
  def line(self, z):
    return z
  def sigmoid_d(self, z):
    return z * (1.0 - z)
  def tanh_d(self, z):
    return 1.0 - z * z
  def radb_d(self, z):
    return -2.0 * z * np.exp(-z * z)
  def line_d(self, z):
    return np.ones(z.size) # 全一
  def forward(self, x):
    '''正向传播（在线）''' 
    # 用样本 x 走一遍，刷新所有 z, a
    self.a[0] = x
    for i in range(self.size - 1):
      self.z[i+1] = np.dot(self.a[i], self.w[i]) + self.b[i] 
      self.a[i+1] = self.active_functions[self.active_type[i]](self.z[i+1]) # 加了激活函数
  def err(self, X, Y):
    '''误差'''
    last = self.size-1
    err = 0.0
    for x, y in zip(X, Y):
      self.forward(x)
      err += 0.5 * np.sum((self.a[last] - y)**2)
    err /= X.shape[0]
    err += sum([np.sum(w) for w in self.w[:last]**2])
    return err
  def backward(self, y):
    '''反向传播（在线）'''
    last = self.size - 1
    # 用样本 y 走一遍，刷新所有delta_w, delta_b
    self.data_a[last] = -(y - self.a[last]) * self.derivative_functions[self.active_type[last-1]](self.z[last]) # 加了激活函数的导函数
    for i in range(last-1, 1, -1):
      self.data_a[i] = np.dot(self.w[i], self.data_a[i+1]) * self.derivative_functions[self.active_type[i-1]](self.z[i]) # 加了激活函数的导函数
      # 计算偏导
      p_w = np.outer(self.a[i], self.data_a[i+1]) # 外积！感谢 numpy 的强大！
      p_b = self.data_a[i+1]
      # 更新 delta_w, delta_w
      self.delta_w[i] = self.delta_w[i] + p_w
      self.delta_b[i] = self.delta_b[i] + p_b
  def update(self, n_samples):
    '''更新权重参数'''
    last = self.size - 1
    for i in range(last):
      self.w[i] -= self.alpha * ((1/n_samples) * self.delta_w[i] + self.lamda * self.w[i])
      self.b[i] -= self.alpha * ((1/n_samples) * self.delta_b[i])
  def fit(self, X, Y):
    '''拟合'''
    for i in range(self.n_iter):
      # 用所有样本，依次
      for x, y in zip(X, Y):
        self.forward(x) # 前向，更新 a, z;
        self.backward(y) # 后向，更新 delta_w, delta_b
      # 然后，更新 w, b
      self.update(len(X))
      # 计算误差
      err = self.err(X, Y)
      if err < self.error:
        break
      # 整千次显示误差（否则太无聊！）
      if i % 1000 == 0:
        print('iter: {}, error: {}'.format(i, err))
  def predict(self, X):
    '''预测'''
    last = self.size - 1
    res = []
    for x in X:
      self.forward(x)
      res.append(self.a[last])
    return np.array(res)
if __name__ == '__main__':
  nn = NeuralNetworks([2,3,4,3,1], n_iter=5000, alpha=0.4, lamda=0.3, error=0.06) # 定义神经网络
  X = np.array([[0.,0.], # 准备数据
         [0.,1.],
         [1.,0.],
         [1.,1.]])
  y = np.array([0,1,1,0])
  nn.fit(X,y)     # 拟合
  print(nn.predict(X)) # 预测

更多关于Python相关内容可查看本站专题：《Python数学运算技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》及《Python入门与进阶经典教程》

希望本文所述对大家Python程序设计有所帮助。

# Python  # numpy  # 定义  # 神经网络结构  # Python利用numpy实现三层神经网络的示例代码  # Numpy实现卷积神经网络(CNN)的示例  # numpy实现神经网络反向传播算法的步骤  # 纯用NumPy实现神经网络的示例代码  # Python使用numpy实现BP神经网络  # numpy创建神经网络框架  # 正态分布  # 一遍  # 斯坦福  # 进阶  # 均值  # 相关内容  # 还可以  # 数据结构  # 给大家  # 随机化  # 更多关于  # 所述  # 程序设计  # 使用技巧  # 五层  # 前向  # 后向  # 操作技巧  # 敲出  # 迭代 

相关文章： Python路径拼接规范_跨平台处理说明【指导】  安徽网站建设与外贸建站服务专业定制方案  模具网站制作流程,如何找模具客户？  如何在沈阳梯子盘古建站优化SEO排名与功能模块？  建站DNS解析失败？如何正确配置域名服务器？  html制作网站的步骤有哪些,iapp如何添加网页？  建站中国官网：模板定制+SEO优化+建站流程一站式指南  外汇网站制作流程,如何在工商银行网站上做外汇买卖？  如何获取PHP WAP自助建站系统源码？  网站视频怎么制作,哪个网站可以免费收看好莱坞经典大片？  如何用AWS免费套餐快速搭建高效网站？  常州自助建站：操作简便模板丰富，企业个人快速搭建网站  高性能网站服务器部署指南：稳定运行与安全配置优化方案  网站制作公司排行榜,四大门户网站排名？  php json中文编码为null的解决办法  网站设计制作企业有哪些,抖音官网主页怎么设置？  制作网页的网站有哪些,电脑上怎么做网页？  上海网站制作网站建设公司,建筑电工证网上查询系统入口？  婚礼视频制作网站,学习*后期制作的网站有哪些？  建站之星导航菜单设置与功能模块配置全攻略  微信推文制作网站有哪些,怎么做微信推文，急？  南平网站制作公司,2025年南平市事业单位报名时间？  手机网站制作平台,手机靓号代理商怎么制作属于自己的手机靓号网站？  微信网站制作公司有哪些,民生银行办理公司开户怎么在微信网页上查询进度？  深圳网站制作平台,深圳市做网站好的公司有哪些？  建站主机功能解析：服务器选择与快速搭建指南  建站之星备案是否影响网站上线时间？  建站之星代理如何优化在线客服效率？  建站主机与服务器功能差异如何区分？  如何用低价快速搭建高质量网站？  如何在IIS中新建站点并解决端口绑定冲突？  Avalonia如何实现跨窗口通信 Avalonia窗口间数据传递  建站之星代理如何获取技术支持？  专业网站制作企业网站,如何制作一个企业网站，建设网站的基本步骤有哪些？  如何在Windows服务器上快速搭建网站？  建站之星如何快速更换网站模板？  如何制作新型网站程序文件,新型止水鱼鳞网要拆除吗？  建站之星上传入口如何快速找到？  Python文件管理规范_工程实践说明【指导】  建站VPS配置与SEO优化指南：关键词排名提升策略  ,sp开头的版面叫什么？  制作门户网站的参考文献在哪,小说网站怎么建立？  如何在Windows 2008云服务器安全搭建网站？  长春网站建设制作公司,长春的网络公司怎么样主要是能做网站的？  建站之星与建站宝盒如何选择最佳方案？  建站之星安装失败：服务器环境不兼容？  如何做静态网页,sublimetext3.0制作静态网页？  小米网站链接制作教程,请问miui新增网页链接调用服务有什么用啊？  h5在线制作网站电脑版下载,h5网页制作软件？  如何解决VPS建站LNMP环境配置常见问题？