学习报告——基于信息论的神经网络模型专业:计算数学班级:数学二班学号:152111033姓名:刘楠楠基于信息论的神经网络模型- 1 - 本报告主要分为两个部分,第一部分主要是对神经网络做一个整体的论述,阐述神经元的模型基理和特点, 第二部分则是利用信息论的知识来研究神经元信号传递过程中,在有外界噪声的干扰下,如何保证信息最终能够达到最大输出。第三部分列举了一个拟合图像的算例,用于对比不同算法对噪声的敏感程度。1 神经网络概述1.1 人工神经网络的概念人工神经网络( Artificial Neural Networks,ANNs),是人脑或自然神经网络对信息感知与处理等智能行为的抽象和模拟,是一种分布式并行处理系统,它具有自组织、 自学习、自适应和非线性动态处理的特性。 可以实现人脑的概括、类比和推广能力, 因而可以从大量数据中提取所需要的信息,通过联想记忆和推理等能力来获取所需要的数据。目前,已经开发和应用的神经网络有30 多种,比较典型的有以下几种:感知器(Perceptron ),多层感知器( MLP),BP前向网络,Hopfield网络和竞争型( Kohonen)神经网络。可以说人工神经网络就是模拟人思维的第二种方式。1.2 人工神经网络的工作原理及特点人工神经网络是由大量的简单基本元件——神经元相互联接而成的自适应非线性动态系统。 每个神经元的结构和功能比较简单,但大量神经元组合产生的系统行为却非常复杂。 人工神经网络首先要以一定的学习准则进行学习,然后才能工作 , 它反映了人脑功能的若干基本特性,但并非生物系统的逼真描述,只是某种模仿、 简化和抽象。 与数字计算机比较, 人工神经网络在构成原理和功能特点等方面更加接近人脑, 它不是按给定的程序一步一步地执行运算,而是能够自身适应环境、总结规律、完成某种运算、识别和过程控制。人工神经网络吸取了生物神经网络的许多优点,因而有其固有的特点:(1)高度的并行性人工神经网络由许多相同的简单处理单元并列组合而成,虽然每个单元的结构和功能比较简单, 但大量简单处理单元的并行行动,使其对信息的处理能力与效果惊人。基于信息论的神经网络模型- 2 - (2)高度的非线性全局作用当对系统对于设计人员来说, 很透彻或者很清楚时, 则一般利用数值分析,偏微分方程等数学工具建立精确的数学模型,但当对系统很复杂, 或者系统未知,系统信息量很少时, 建立精确的数学模型很困难时, 神经网络的非线性映射能力则表现出优势, ...