Random matrices for neutral networks

在神经科学中，突触连接可用随机矩阵表示。而这些随机矩阵的特征根分布决定了网络的动力学，在神经网络的自发现象与应激反应的研究中有广泛的应用。经典的随机矩阵的结果无法直接应用到处理该类矩阵，原因在于，实际上的神经元的行为并非只有一类方式。2006年，Rajan 和 Abbott[1] 的研究将神经元分为’excitatory’ 或 ’inhibitory’两种状态，因而权重也就服从不同的分布，他们发现该类突触矩阵的特征值谱不依赖于其元素的平均值。2012年 ，冷泉港实验室的Yi Wei将二元状态推广到多元状态，发现该结论依然成立，并给出了值谱分布的明确形式[2]。

• Question 1: 什么是随机矩阵（Random matrices）

随机矩阵理论（Random Matrix Theory）是1951年Eugene Wigner在对复杂原子体系的光谱进行解释时遇到了困难的背景下发展起来的。

卢昌海《Riemann 猜想漫谈 (十一)》： 在统计物理中， 人们不再着眼于对物理体系的微观状态进行细致描述 (因为这种细致描述不仅无法做到， 而且对于确定体系的宏观行为来说是完全不必要的)， 取而代之的是 “系综” (ensemble) 的概念。 所谓 “系综”， 指的是满足一定宏观约束条件的大量全同体系的集合， 这些体系的微观状态各不相同， 但满足一定的统计分布， 而我们感兴趣的体系的宏观状态则由相应的物理量在这些体系上的平均值——即所谓的系综平均值——所给出。

在传统的统计物理中， 组成系综的那些全同体系具有相同的哈密顿量 (Hamiltonian)， 只有它们的微观状态才是随机的。 但随着研究的深入， 物理学家们开始接触到一些连这种方法也无法处理的物理体系， 其中一个典型的例子就是由大量质子和中子组成的原子核。 这种体系的相互作用具备了所有可以想象得到的 “坏品质” (比如耦合常数很大， 不是二体相互作用， 不是有心相互作用， 等等)， 简直可以说是 “五毒俱全”。 对于这种体系， 我们甚至连它的哈密顿量是什么都无法确定。 这样的体系该如何处理呢？ 很显然还是离不开统计的方法， 离不开系综的概念。 只不过以前在系综中哈密顿量是已知的， 只有各体系的微观状态是随机的， 现在却连哈密顿量也不知道了。 既然如此， 那就 “一不做、 二不休”， 干脆把哈密顿量也一并随机化了。 由于在量子理论中哈密顿量可以用矩阵来表示， 因此这种带有随机哈密顿量的系综可以用随机矩阵理论 (random matrix theory) 来描述。

哈密顿量的分布为什么要选择成 Gauss 型分布？ 对于这个问题， 实用主义的回答是： Gauss 型分布是数学上比较容易处理的 (不要小看这样的理由， 当问题复杂到一定程度时， 这种理由有时侯是最具有压倒性的)； 稍为深刻一点的回答则是： Gauss 型分布在固定的 |H|²系综平均值及标准差下具有最大的熵， 换句话说它所描述的是在一定的约束之下具有最大随机性的体系(注二)； 但最深刻的回答却是： 我们其实并不需要特意选择 Gauss 型分布！ 随机矩阵理论的一个非常引人注目的特点便是： 在矩阵阶数 N→∞ 的极限下它的本征值分布具有普适性 (即不依赖于哈密顿量的特定分布)。

• Question 2: 随机矩阵的特征根分布如何在研究研究神经元活动中起作用？

特征值表示一个矩阵的向量被拉伸或压缩的程度 ，在具体的现实问题中，特征值对应于不同的物理含义，比如动力学中的频率（注一 ），稳定分析中的极限荷载，应力分析中的主应力 。在神经活动中的应用相关文献可参考[3][4][5][6]，For example, the existence of spontaneous activity depends on whether the real parts of any of the eigenvalues are large enough to destabilize the silent state in a linear analysis, and the spectrum of eigenvalues with large real parts provides strong clues about the nature of the spontaneous activity in the full, nonlinear models

• Question 3: 在可能与神经科学相关的方面，随机矩阵如今有哪些应用进展？

1. 特征根方面

注：

1、如果含有耗散过程，特征值是负实数，对应指数衰减；特征值是正实数，对应指数发散过程，这时是不稳定的，说明系统极容易崩溃，如何抑制这种发散就是控制科学研究的内容(来源)。美国数学家斯特让（G..Strang）在其经典教材《线性代数及其应用》中这样介绍了特征值作为频率的物理意义，他说：

大概最简单的例子（我从不相信其真实性，虽然据说1831年有一桥梁毁于此因）是一对士兵通过桥梁的例子。传统上，他们要停止齐步前进而要散步通过。这个理由是因为他们可能以等于桥的特征值之一的频率齐步行进，从而将发生共振。就像孩子的秋千那样，你一旦注意到一个秋千的频率，和此频率相配，你就使频率荡得更高。一个工程师总是试图使他的桥梁或他的火箭的自然频率远离风的频率或液体燃料的频率；而在另一种极端情况，一个证券经纪人则尽毕生精力于努力到达市场的自然频率线。特征值是几乎任何一个动力系统的最重要的特征。

2、 在分别已知区间；平均值；平均值和方差的情况下，满足最大熵的分布分别为均匀分布；指数分别；正态分布。很多情况下真实分布不确定，但是均值和方差往往是稳定的，即使分布不是正态分布，用正态分布也是很好的趋近。

[1] K Rajan and L.F. Abbott, Phys. Rev. Lett. 97, 188104 (2006).

[2] Wei, Y. (2012). Eigenvalue spectra of asymmetric random matrices for multicomponent neural networks. Physical Review E, 85(6), 066116.

[3] H. Sompolinsky, A. Crisanti, and H.J. Sommers, Phys. Rev. Lett. 61, 259 (1988).

[4] B. Cessac and J. A. Sepulchre, Chaos 16, 013104 (2006).

[5] H.R. Wilson and J. D. Cowan, Biophys. J. 12, 1, (1972).

[6] O. Shriki, D. Hansel, and H. Sompolinsky, Neural Comput. 15, 1809 (2003). [7] Additional references in: T. P. Vogels, K. Rajan, and L. F. Abbott, Annu. Rev. Neurosci. 28, 357 (2005).