ISSN 
下载:
-
生物神经网络拥有大量的神经元(～1011)以及突触(～1014)，并且彼此之间形成错综复杂的连接，是一个庞大的非线性网络系统。研究表明，人类大脑的运行机制与神经元和神经网络的动力学行为密切相关[1-2]，而且已被证实大脑中存在混沌现象[3]。为了揭示大脑的工作机理，神经网络动力学行为研究成为人工神经网络领域的重要内容，而忆阻器具有集成度高、可模拟突触可塑性、非易失性等特点，被认为是最有潜力的神经形态器件[4]，并且其良好的非线性是研究人工神经网络动力学的重要条件。
1971年，文献[5-6]发现了第4种基本元件，即忆阻器，其阻值可变且保持记忆功能。2008年，惠普实验室研制出首个忆阻器件[7]，后续产生了大量关于忆阻器的研究成果[8-10]。虽然惠普忆阻器模型作为使用最广泛的忆阻模型之一[11-12]，但推导一个完全表征惠普忆阻器的数学模型是一项具有挑战性的任务[13-14]。因此，将非线性二次模型和三次模型等简化模型用于忆阻器电路的理论定量分析[15-16]，会导致许多应用的结果不能令人满意。为了缓解这个问题，文献[17]提出了一种新的非线性对数模型来表征忆阻器，文献[18]提出了具有负阻态功能的忆阻器模型，能够更加准确地模拟突触可塑性和非线性脉冲激励神经元功能。
目前关于忆阻器神经网络的研究涵盖了广泛的主题[19]，其中忆阻Hopfield神经网络(Hopfield neural network, HNN)表现出丰富的动力学行为，并在解决组合优化问题和图像复原领域具有优势[20-23]。1990年，文献[21]首次将混沌引入HNN，开启了HNN丰富的动力学行为研究。2011年，文献[24]将忆阻器引入HNN，并利用严格的数学证明分析了网络的动态行为，并以两个神经元数值实例进行了验证。2014年，文献[25]利用忆阻器替换HNN的一个权值，构建了一个3神经元的简单网络，使得网络表现出准周期轨道、混沌以及超混沌等复杂的动力学行为。2016年，文献[26]将忆阻器三次方数学模型带入HNN，并通过相轨图、庞加莱映射图和Lyapunov指数对网络的动态特性进行研究，获得了不存在平衡点的超混沌吸引子。2020年，文献[27]利用一种耦合双曲线忆阻器等效电路来模拟HNN的突触串扰，并在不同串扰强度下观察到HNN的多重稳定性、不对称吸引子和反单调性。
本文在前期提出的具有负阻态功能的忆阻器模型基础上，为了更好地模拟突触可塑性以及增加网络的负反馈功能，构建了基于忆阻器的新Hopfield神经网络模型，并对网络动力学行为进行了分析研究。实验结果表明，提出的忆阻Hopfield神经网络模型具有丰富和复杂的动力学行为，为后续该神经网络在模式识别、数据处理、图像加密等方面的研究打下了坚实的基础。
-
由忆阻器的初始定义可知，它是满足
$ \varphi -q $ 域特定关系的一种器件，但为了进一步丰富忆阻器的内涵，文献[6]又提出了广义忆阻器的概念，即一个忆阻系统的定义应该满足如下关系：$$ \dot{x}=f(x,i\left(t\right),t) $$ (1) $$ y\left(t\right)=g\left(x,u\left(t\right),t\right)u\left(t\right)$$ (2) 式中，
$ u\left(t\right) $ 和$ y\left(t\right) $ 分别为系统的输入信号和输出信号；x为系统的n阶状态变量；g为一个n维的连续向量函数；t为时间。磁通或电压控制型忆阻系统的关系可写成：
$$ \dot{x}=h(x,v\left(t\right),t) $$ (3) $$ i\left(t\right)=G(x,v\left(t\right),t)v\left(t\right)$$ (4) 式中，h为一个n维的连续向量函数。此时的忆导值G也不再仅由磁通量
$ \varphi $ 决定，而是由状态变量x、输入电压v以及时间t共同决定。由上述定义可知，广义忆阻器将影响忆阻值的变化因素增多了，本文提出的改进模型就是对状态变量x进行了有效调整，使忆阻器能够呈现出正负两种阻态，消除了对理想忆阻器电导极性的限制。
如图1所示，新忆阻器模型可以视为夹在两个金属电极之间的厚度为2D的半导体薄膜，包括一个正电导区和一个负电导区(每个区的厚度为D)。它也可以视作两个理想忆阻器背靠背连接，一个具有正电导，另一个具有负电导。忆阻器的电导由状态变量x确定，并且x的调控范围从原理想状态忆阻器的[0,D]扩展到[−D,D]。
图 1 忆阻器模型物理结构图
假设只考虑最简单的欧姆电导情形，G(x)定义为与状态变量x成正比，即G(x)=ax，其中a是常数系数。同时在实际忆阻器使用中，特别是氧化物类忆阻器，其两端的电阻或者电导经常会随着时间的推移而逐渐降低，所以可以通过引入衰减项(bx)模拟这种阻值变化，其中b为衰减系数。综上所述，改进的忆阻器可以描述为：
$$ i\left(t\right)=G\left(x\right)v\left(t\right) $$ (5) $$ G\left(x\right)=ax $$ (6) $$ \dot{x}=v\left(t\right)-bx $$ (7) 除了两个端点−D，D外，状态变量x与通过忆阻器的磁通量成正比。在改进的忆阻器模型上施加外部电压，可以使x的位置发生变化，从而改变忆阻器电导的大小与极性。如假设a=1且b=0，如果在忆阻器上施加正电压，x向阳极移动，电导可能处于正阻态，反之若施加负电压，x向阴极移动，电导就可能处于负阻态。
-
当对改进的忆阻器施加一个正弦电压v(t)=Asin(ωt)时，可以得到忆阻器的电导公式为：
$$ G={{c}}{{\rm{e}}}^{-bt}-\frac{Aa\omega \mathrm{c}\mathrm{o}\mathrm{s}\left(\omega t\right)-Aab\mathrm{s}\mathrm{i}\mathrm{n}\left(\omega t\right)}{{b}^{2}+{\omega }^{2}} $$ (8) 式中，c是常数系数；A、ω分别为正弦电压幅度、频率。设置c=1，A=2，ω=2π，x0=−0.5，相关测试结果如图2、3所示。若b=0，即忽略衰减项，通过绘制电流与电压的关系，可获得呈水平8字状的捏滞回线，I-V曲线跨越所有4个象限，且主要在2、4象限，与原理想忆阻器模型仅在1、3象限的斜8字I-V曲线相比具有明显不同的特性，也意味着所提出的忆阻器模型具有负电导。此外，若b=0.08时，施加正弦电压，可以获得多个连续的稳定状态。
图 2 忆阻器电流电压曲线图(a=1, b=0)
图 3 忆阻器电流电压曲线图(a=1, b=0.08)
-
选取3个神经元的连续型Hopfield神经网络[28]，表达式为：
$${C}_{i}\left(\frac{\mathrm{d}{u}_{i}}{\mathrm{d}\mathrm{t}}\right)=-\frac{{u}_{i}}{{R}_{i}}+\sum _{\mathit{j}=1}^{3}{{w}}_{\mathit{i}\mathit{j}}f({{u}}_{\mathit{j}})+{I}_{i}\;\;i=\mathrm{1,2},3 $$ (9) 式中，
$ {C}_{i} $ 为第i个神经元的输入电容；$ {u}_{i} $ 为第i个神经元的输出变量；$ {R}_{i} $ 为第i个神经元的传输电阻；$ {w}_{ij} $ 为神经元的连接权值；$ f\left(u\right) $ 为神经元激励函数；$ {I}_{i} $ 为神经元外部激励。为简化计算过程，通过单位归一化后，设置$ {C}_{i} $ 、$ {R}_{i} $ 均为1，$ {I}_{i} $ 为0，$ f\left(u\right) $ 为双曲正切函数，即$ f\left(u\right)=\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}\left(u\right) $ 。Hopfield网络是一种全连接的反馈型神经网络，每个神经元与其他所有神经元相互连接，3神经元HNN需要9个突触连接权值。忆阻器本身具有阻值记忆特性，是良好的突触仿生器件，以往的忆阻器基本只有正阻态，而反馈型神经网络，特别是混沌神经网络，往往需要负反馈权值。由于忆阻器的电导与权值具有相同的量纲，可以将具有负阻态的忆阻器替换HNN的一个权值，新忆阻Hopfield神经网络表达式为：
$$\begin{split} & \qquad\quad \boldsymbol{\dot u} = - \boldsymbol{u} + \boldsymbol{W}f\left( \boldsymbol{u} \right)\\ & \dot x = {\rm{tanh}}\left( {{u_1}} \right) - bx \;\;\;\;w\left( x \right) = ax \end{split}$$ (10) 式中，u为输出变量矩阵；W为连接权值矩阵。可以表示为：
$$ \begin{split} &\qquad {\boldsymbol{u}}={\left[\begin{array}{ccc}{u}_{1}& {u}_{2}& {u}_{3}\end{array}\right]}^{\mathrm{T}}\\ &{\boldsymbol{W}}=\left[\begin{array}{ccc}w\left(x\right)& {w}_{12}& {w}_{13}\\ {w}_{21}& {w}_{22}& {w}_{23}\\ {w}_{31}& {w}_{32}& {w}_{33}\end{array}\right] \end{split}$$ (11) 由式(10)、(11)可知，新网络的演化情况由系统初始值、权值矩阵W以及忆阻器参数a、b确定。
-
首先基于实验室24核48线程AMD 3960X服务器平台，使用粒子群算法，搜索新HNN模型比较优化的参数配置。设置a=1，b=0.05，初始值u(0)=(0.1,0.1,0.1)，W权值矩阵为：
$$ \left[\begin{array}{ccc}w\left(x\right)& 1.958\;7& 0.672\;6\\ 4.108\;6& -1.948\;7& -4.592\;6\\ 3.103\;5& -0.919\;4& -2.055\;3\end{array}\right] $$ 系统仿真时间为500 s，时间精度为1 ms，各参数采用国际标准单位归一化，无量纲。如图4所示，系统的相位轨迹图呈现出普通的单涡卷吸引子，但单纯从相轨图还不能判定是否为混沌系统，还要结合Lyapunov指数的正负情况。根据式(10)求得系统的Jacobian矩阵，再利用施密特正交化方法，求解系统的Lyapunov指数[29]。如图5所示，系统最终的Lyapunov指数分别为LE1=0.0125，LE2=−0.0034，LE3=−0.0685，LE4=−6.8912，存在大于零的Lyapunov指数，所以可以初步判定系统达到混沌状态。
图 4 系统的相位轨迹图
图 5 Lyapunov指数图
-
通过调整忆阻器参数a，b的值来观察忆阻器对系统动力学行为的影响。如图6所示，其他实验条件不变的情况下，a取[0.5, 1.5]，步长为0.01，当a从0.50增加到1.09，系统的Lyapunov指数变化不大，LE1、LE2、LE3在零附近，LE1始终略大于零；当a从1.09增加到1.50，系统的Lyapunov指数发生较大变化，且都小于零。
图 6 Lyapunov指数随a值变化的曲线图
如图7所示，b取[0.05, 0.12]，步长为0.001，b的取值持续对Lyapunov指数造成影响，证明忆阻器的衰减项对系统的影响较大，但不论b取何值，LE1始终大于零，其他Lyapunov指数小于零。
图 7 Lyapunov指数随b值变化的曲线图
-
神经元间的连接权值矩阵对系统有较明显的影响，实验中搜索出另一组连接权值矩阵Wn如下：
$$ \left[\begin{array}{ccc}w\left(x\right)& -3.854\;9& -2.983\;8\\ 3.466\;4& 3.513\;9& -2.650\;0\\ -3.214\;4& -0.917\;6& -4.316\;2\end{array}\right] $$ 如图8所示，系统呈现出图4类似的单涡卷吸引子相轨图，且只有LE1=0.0089，大于零，其他Lyapunov指数均小于零。
图 8 系统的相位轨迹图(W取Wn)
-
如表1所示，Hopfield神经网络的相轨图主要集中表现为单、双涡卷吸引子，Lyapunov指数一般只有一个为正。文献[21]是最早将混沌引入HNN网络的，但10神经元模型的动力学行为并不显著，而后续的改进模型性能都有所提升。
-
本文通过对具有负阻态的忆阻器模型进行数学分析以及I-V特性仿真测试，进一步明确了忆阻器的器件特性，同时基于该忆阻器模型构建了新的Hopfield神经网络，并对网络的动力学行为进行了分析与讨论。实验结果表明，提出的Hopfield神经网络模型具有丰富且复杂的动力学行为，并存在一定的混沌现象。同时，讨论了在不同的忆阻器参数以及连接权值矩阵条件下，网络的动态演化进程以及Lyapunov指数的变化情况，并与同类型网络进行了对比，结果进一步表明该模型的有效性，为后续在模式识别、数据处理以及图像加密方面的应用提供了研究思路。
Dynamics of Negative Resistive Memristive Hopfield Neural Networks
-
摘要: 人类大脑是一个高度复杂且规模庞大的非线性动力学系统，其动力学行为与人类智能活动密切相关。基于忆阻器的人工神经网络不仅可以很好地模拟人脑工作机制，而且其非线性特性可以为神经网络带来更为丰富的动力学行为。为了进一步发挥神经网络的优势，引入一种新的具有负阻态功能的忆阻器模型，该模型打破了原有忆阻器的阻态极性限制，为忆阻器扮演神经网络突触仿生器件提供了更加丰富的变化性能。在对忆阻器模型分析的基础上，提出了一种新的忆阻Hopfield神经网络(HNN)，进一步加强了HNN的负反馈功能，使之表现出更加丰富和复杂的动力学行为。实验结果表明，新忆阻HNN拥有较为丰富的动力学行为，具有一定的混沌特性。在不同的忆阻器参数以及权值矩阵取值条件下，观察系统的相位轨迹图、Lyapunov指数的变化情况，并与同类型网络进行对比，进一步证明提出的神经网络的有效性，同时复杂的动力学特性也为在数据处理、图像加密等方面的应用提供了研究支撑。
-
关键词:
- 动力学 /
- Hopfield神经网络 /
- 忆阻器 /
- 负阻态
Abstract: The human brain is a highly complex and large-scale nonlinear dynamic system, and its dynamic behavior is closely related to human intelligent activities. The artificial neural network based on memristors can not only better simulate the working mechanism of human brain, but also its nonlinear characteristics can bring richer dynamic behavior to the neural network. In order to further exploit the advantages of neural networks, a new memristor model with negative resistance is introduced in this paper. This model breaks the restriction of the resistance state polarity of the original memristor, and provides a richer variety of performance for the memristor to act as a neural network synaptic bionic device. A new Hopfield neural network (HNN) based on the memristor model is constructed, which further strengthens the negative feedback function of the Hopfield neural network and makes it exhibit richer and more complex dynamic behaviors. The experimental results show that the new memristive Hopfield neural network has rich dynamic behavior characteristics and some chaotic phenomena. Under the conditions of different values of memristor’s parameters and weight matrix, the changes of phase trajectory and Lyapunov exponent of the system are observed, and comparison with the same type of networks are done, which further proves the effectiveness of the proposed neural network. At the same time, the complex dynamic characteristics also provide research support for applications in data processing and image encryption.-
Key words:
- dynamics /
- Hopfield neural network /
- memristor /
- negative resistance
-
[1] MA J, TANG J. A review for dynamics in neuron and neuronal network[J]. Nonlinear Dynamics, 2017, 89(3): 1569-1578. doi: 10.1007/s11071-017-3565-3 [2] KUMAR S, STRACHAN J P, WILLIAMS R S. Chaotic dynamics in nanoscale NbO2 Mott memristors for analogue computing[J]. Nature, 2017, 548(7667): 318-321. doi: 10.1038/nature23307 [3] SCHIFF S J, JERGER K, DUONG D H, et al. Controlling chaos in the brain[J]. Nature, 1994, 370(6491): 615-620. doi: 10.1038/370615a0 [4] WANG Z W, YIN M H, ZHANG T, et al. Engineering incremental resistive switching in TaOx based memristors for brain-inspired computing[J]. Nanoscale, 2016, 8(29): 14015-14022. doi: 10.1039/C6NR00476H [5] CHUA L. Memristor-the missing circuit element[J]. IEEE Transactions on Circuit Theory, 1971, 18(5): 507-519. doi: 10.1109/TCT.1971.1083337 [6] CHUA L O, KANG S M. Memristive devices and systems[J]. Proceedings of the IEEE, 1976, 64(2): 209-223. doi: 10.1109/PROC.1976.10092 [7] STRUKOV D B, SNIDER G S, STEWART D R, et al. The missing memristor found[J]. Nature, 2008, 453(7191): 80-83. doi: 10.1038/nature06932 [8] BIOLEK Z, BIOLEK D, BIOLKOVA V. SPICE model of memristor with nonlinear dopant drift[J]. Radioengineering, 2009, 18(2): 209-214. [9] WANG D P, HU Z H, YU X, et al. A PWL model of memristor and its application example[C]//2009 International Conference on Communications, Circuits and Systems. Piscataway: IEEE, 2009: 932-934. [10] CHEN Y R, WANG X B. Compact modeling and corner analysis of spintronic memristor[C]//2009 IEEE/ACM International Symposium on Nanoscale Architectures. Piscataway: IEEE, 2009: 7-12. [11] PRODROMAKIS T, PEH B P, PAPAVASSILIOU C, et al. A versatile memristor model with nonlinear dopant kinetics[J]. IEEE Transactions on Electron Devices, 2011, 58(9): 3099-3105. doi: 10.1109/TED.2011.2158004 [12] KVATINSKY S, FRIEDMAN E G, KOLODNY A, et al. TEAM: Threshold adaptive memristor model[J]. IEEE Transactions on Circuits and Systems I: Regular Papers, 2012, 60(1): 211-221. [13] YU J T, MU X M, XI X M, et al. A memristor model with piecewise window function[J]. Radioengineering, 2013, 22(4): 969-974. [14] WU H G, BAO B C, CHEN M. Threshold flux-controlled memristor model and its equivalent circuit implementation[J]. Chinese Physics B, 2014, 23(11): 118401. doi: 10.1088/1674-1056/23/11/118401 [15] MUTHUSWAMY B. Implementing memristor based chaotic circuits[J]. International Journal of Bifurcation and Chaos, 2010, 20(05): 1335-1350. doi: 10.1142/S0218127410026514 [16] ITOH M, CHUA L O. Memristor oscillators[J]. International Journal of Bifurcation and Chaos, 2008, 18(11): 3183-3206. doi: 10.1142/S0218127408022354 [17] XIE X D, ZOU L J, WEN S P, et al. A flux-controlled logarithmic memristor model and emulator[J]. Circuits, Systems, and Signal Processing, 2019, 38(4): 1452-1465. doi: 10.1007/s00034-018-0926-1 [18] HU S G, QIAO G C, LIU Y A, et al. An improved memristor model connecting plastic synapse and nonlinear spiking neuron[J]. Journal of Physics D: Applied Physics, 2019, 52(27): 275402. doi: 10.1088/1361-6463/ab1a10 [19] YAO P, WU H Q, GAO B, et al. Fully hardware-implemented memristor convolutional neural network[J]. Nature, 2020, 577(7792): 641-646. doi: 10.1038/s41586-020-1942-4 [20] HU S G, LIU Y C, LIU Z S, et al. Associative memory realized by a reconfigurable memristive Hopfield neural network[J]. Nature Communications, 2015, 6(1): 1-8. [21] AIHARA K, TAKABE T, TOYODA M. Chaotic neural networks[J]. Physics Letters A, 1990, 144(6-7): 333-340. doi: 10.1016/0375-9601(90)90136-C [22] CHEN L, AIHARA K. Chaotic simulated annealing by a neural network model with transient chaos[J]. Neural Networks, 1995, 8(6): 915-930. doi: 10.1016/0893-6080(95)00033-V [23] YANG X S, HUANG Y. Complex dynamics in simple Hopfield neural networks[J]. Chaos: An Interdisciplinary Journal of Nonlinear Science, 2006, 16(3): 033114. doi: 10.1063/1.2220476 [24] WU A L, ZHANG J E, ZENG Z G. Dynamic behaviors of a class of memristor-based Hopfield networks[J]. Physics Letters A, 2011, 375(15): 1661-1665. doi: 10.1016/j.physleta.2011.02.068 [25] LI Q D, TANG S, ZENG H Z, et al. On hyperchaos in a small memristive neural network[J]. Nonlinear Dynamics, 2014, 78(2): 1087-1099. doi: 10.1007/s11071-014-1498-7 [26] PHAM V T, JAFARI S, VAIDYANATHAN S, et al. A novel memristive neural network with hidden attractors and its circuitry implementation[J]. Science China Technological Sciences, 2016, 59(3): 358-363. doi: 10.1007/s11431-015-5981-2 [27] LENG Y, YU D S, HU Y H, et al. Dynamic behaviors of hyperbolic-type memristor-based Hopfield neural network considering synaptic crosstalk[J]. Chaos: An Interdisciplinary Journal of Nonlinear Science, 2020, 30(3): 033108. doi: 10.1063/5.0002076 [28] HOPFIELD J J. Neurons with graded response have collective computational properties like those of two-state neurons[J]. Proceedings of the National Academy of Sciences, 1984, 81(10): 3088-3092. doi: 10.1073/pnas.81.10.3088 [29] RAMASUBRAMANIAN K, SRIRAM M S. A comparative study of computation of Lyapunov spectra with different algorithms[J]. Physica D: Nonlinear Phenomena, 2000, 139(1-2): 72-86. doi: 10.1016/S0167-2789(99)00234-1 -
点击查看大图
图(8) / 表(1)
计量
- 文章访问数: 4315
- HTML全文浏览量: 1034
- PDF下载量: 73
- 被引次数: 0
