-
生物神经网络拥有大量的神经元(~1011)以及突触(~1014),并且彼此之间形成错综复杂的连接,是一个庞大的非线性网络系统。研究表明,人类大脑的运行机制与神经元和神经网络的动力学行为密切相关[1-2],而且已被证实大脑中存在混沌现象[3]。为了揭示大脑的工作机理,神经网络动力学行为研究成为人工神经网络领域的重要内容,而忆阻器具有集成度高、可模拟突触可塑性、非易失性等特点,被认为是最有潜力的神经形态器件[4],并且其良好的非线性是研究人工神经网络动力学的重要条件。
1971年,文献[5-6]发现了第4种基本元件,即忆阻器,其阻值可变且保持记忆功能。2008年,惠普实验室研制出首个忆阻器件[7],后续产生了大量关于忆阻器的研究成果[8-10]。虽然惠普忆阻器模型作为使用最广泛的忆阻模型之一[11-12],但推导一个完全表征惠普忆阻器的数学模型是一项具有挑战性的任务[13-14]。因此,将非线性二次模型和三次模型等简化模型用于忆阻器电路的理论定量分析[15-16],会导致许多应用的结果不能令人满意。为了缓解这个问题,文献[17]提出了一种新的非线性对数模型来表征忆阻器,文献[18]提出了具有负阻态功能的忆阻器模型,能够更加准确地模拟突触可塑性和非线性脉冲激励神经元功能。
目前关于忆阻器神经网络的研究涵盖了广泛的主题[19],其中忆阻Hopfield神经网络(Hopfield neural network, HNN)表现出丰富的动力学行为,并在解决组合优化问题和图像复原领域具有优势[20-23]。1990年,文献[21]首次将混沌引入HNN,开启了HNN丰富的动力学行为研究。2011年,文献[24]将忆阻器引入HNN,并利用严格的数学证明分析了网络的动态行为,并以两个神经元数值实例进行了验证。2014年,文献[25]利用忆阻器替换HNN的一个权值,构建了一个3神经元的简单网络,使得网络表现出准周期轨道、混沌以及超混沌等复杂的动力学行为。2016年,文献[26]将忆阻器三次方数学模型带入HNN,并通过相轨图、庞加莱映射图和Lyapunov指数对网络的动态特性进行研究,获得了不存在平衡点的超混沌吸引子。2020年,文献[27]利用一种耦合双曲线忆阻器等效电路来模拟HNN的突触串扰,并在不同串扰强度下观察到HNN的多重稳定性、不对称吸引子和反单调性。
本文在前期提出的具有负阻态功能的忆阻器模型基础上,为了更好地模拟突触可塑性以及增加网络的负反馈功能,构建了基于忆阻器的新Hopfield神经网络模型,并对网络动力学行为进行了分析研究。实验结果表明,提出的忆阻Hopfield神经网络模型具有丰富和复杂的动力学行为,为后续该神经网络在模式识别、数据处理、图像加密等方面的研究打下了坚实的基础。
-
首先基于实验室24核48线程AMD 3960X服务器平台,使用粒子群算法,搜索新HNN模型比较优化的参数配置。设置a=1,b=0.05,初始值u(0)=(0.1,0.1,0.1),W权值矩阵为:
系统仿真时间为500 s,时间精度为1 ms,各参数采用国际标准单位归一化,无量纲。如图4所示,系统的相位轨迹图呈现出普通的单涡卷吸引子,但单纯从相轨图还不能判定是否为混沌系统,还要结合Lyapunov指数的正负情况。根据式(10)求得系统的Jacobian矩阵,再利用施密特正交化方法,求解系统的Lyapunov指数[29]。如图5所示,系统最终的Lyapunov指数分别为LE1=0.0125,LE2=−0.0034,LE3=−0.0685,LE4=−6.8912,存在大于零的Lyapunov指数,所以可以初步判定系统达到混沌状态。
-
通过调整忆阻器参数a,b的值来观察忆阻器对系统动力学行为的影响。如图6所示,其他实验条件不变的情况下,a取[0.5, 1.5],步长为0.01,当a从0.50增加到1.09,系统的Lyapunov指数变化不大,LE1、LE2、LE3在零附近,LE1始终略大于零;当a从1.09增加到1.50,系统的Lyapunov指数发生较大变化,且都小于零。
如图7所示,b取[0.05, 0.12],步长为0.001,b的取值持续对Lyapunov指数造成影响,证明忆阻器的衰减项对系统的影响较大,但不论b取何值,LE1始终大于零,其他Lyapunov指数小于零。
-
神经元间的连接权值矩阵对系统有较明显的影响,实验中搜索出另一组连接权值矩阵Wn如下:
如图8所示,系统呈现出图4类似的单涡卷吸引子相轨图,且只有LE1=0.0089,大于零,其他Lyapunov指数均小于零。
-
如表1所示,Hopfield神经网络的相轨图主要集中表现为单、双涡卷吸引子,Lyapunov指数一般只有一个为正。文献[21]是最早将混沌引入HNN网络的,但10神经元模型的动力学行为并不显著,而后续的改进模型性能都有所提升。
Dynamics of Negative Resistive Memristive Hopfield Neural Networks
doi: 10.12178/1001-0548.2022294
- Received Date: 2022-08-25
- Rev Recd Date: 2022-10-25
- Available Online: 2023-01-13
- Publish Date: 2023-01-25
-
Key words:
- dynamics /
- Hopfield neural network /
- memristor /
- negative resistance
Abstract: The human brain is a highly complex and large-scale nonlinear dynamic system, and its dynamic behavior is closely related to human intelligent activities. The artificial neural network based on memristors can not only better simulate the working mechanism of human brain, but also its nonlinear characteristics can bring richer dynamic behavior to the neural network. In order to further exploit the advantages of neural networks, a new memristor model with negative resistance is introduced in this paper. This model breaks the restriction of the resistance state polarity of the original memristor, and provides a richer variety of performance for the memristor to act as a neural network synaptic bionic device. A new Hopfield neural network (HNN) based on the memristor model is constructed, which further strengthens the negative feedback function of the Hopfield neural network and makes it exhibit richer and more complex dynamic behaviors. The experimental results show that the new memristive Hopfield neural network has rich dynamic behavior characteristics and some chaotic phenomena. Under the conditions of different values of memristor’s parameters and weight matrix, the changes of phase trajectory and Lyapunov exponent of the system are observed, and comparison with the same type of networks are done, which further proves the effectiveness of the proposed neural network. At the same time, the complex dynamic characteristics also provide research support for applications in data processing and image encryption.
Citation: | LIU Yian, MA Ruichen, LI Guo, YU Qi, LIU Yang, HU Shaogang. Dynamics of Negative Resistive Memristive Hopfield Neural Networks[J]. Journal of University of Electronic Science and Technology of China, 2023, 52(1): 38-43. doi: 10.12178/1001-0548.2022294 |