來源：中國科學院自動化研究所

　　音樂貫穿了人類文明的歷史，與每一種文化息息相關，遍布世界每一個角落。人類如此為音樂著迷，那么人類的大腦是如何感受與存儲音樂的？計算機如何能像人類大腦一樣感知與記憶音樂呢？

　　中國科學院自動化研究所類腦智能研究中心曾毅團隊充分借鑒了人類大腦在音樂信息處理方面的神經機制，構建了一個多尺度的多腦區協同的脈沖神經網絡SNN（Spiking Neural Network）模型，用于音樂感知與記憶。

　　模型可以通過一首曲名從而回憶起整首樂曲，也可以只通過一個片段，回憶起整首曲目，甚至可以回憶樂曲的節奏與速度。相關工作發表在Frontiers in Computational Neuroscience上。

　　據課題組長曾毅研究員介紹，當一首樂曲響起時，大腦的聽覺系統中對音高敏感的神經元率先產生神經活動并對音高進行編碼，大腦皮層-基底節-小腦-丘腦神經環路處理音樂節奏與速度，同時，記憶系統對旋律進行有效存儲。

　　依據以上神經科學的研究成果，團隊模擬了包括聽覺皮層，海馬區，紋狀體等腦區在音樂處理方面的相關功能，自底向上地建立了一個多尺度的神經網絡模型（神經元->功能微柱->腦區），如下圖所示，該模型包含了四個子網，每個子網實現不同腦區的功能，同時，每個子網由若干具有選擇性的功能微柱（Minicolumn）構成，每個功能微柱又由若干神經元（Neuron）組成。

　　文章的第一作者，博士生梁倩介紹：我們設計的類腦脈沖神經網絡具備更深刻的生物合理性，采用了同層抑制性連接，鄰層和跨層興奮性連接，利用STDP（Spike-Timing-Dependent Plasticity）學習規則有效完成了時間順序以及上下文信息的傳輸與存儲。此外，受神經科學啟發，網絡中的每條鏈接引入了傳輸時延屬性，這使得突觸后神經元在接受突觸前神經元的脈沖刺激時，更注重脈沖信號攜帶的時間信息。

　　由于Spatial Subnetwork與Temporal Subnetwork的功能微柱分別對音符的音高與時長具有選擇性，那么隨著音符的不斷輸入，這些功能微柱中的神經元受到音高及音符時長的刺激，對這些刺激敏感的神經元將在不同的時間段發放脈沖，因此，神經元信息以及脈沖活動共同完成了對音高及時長的編碼。

　　此外，Goal cluster主要對樂曲名進行編碼與存儲。值得一提的是，網絡中神經元的規模并不是預先固定的，而是隨著樂曲的不斷輸入動態變化的。根據STDP的學習規則并結合傳輸時延的影響，這些神經元的放電活動將引起神經元之間鏈接的權重改變，因此最終音符間的順序信息存儲于突觸鏈接中。

　　在記憶過程中，Goal cluster中與當前樂曲有關的神經元一直處于活動狀態，因此Goal cluster與spatial subnetwork和Temporal subnetwork之間的鏈接權重也隨之改變，從而建立起曲名與音符之間的關系。

　　所有樂曲記憶完成后（即網絡訓練完成后），當我們刺激Goal cluster中代表某個樂曲曲名的神經元，它的放電活動會刺激spatial subnetwork與temporal subnetwork相應的神經元放電，從而可以回憶起整首樂曲。

　　同樣的，如果給網絡輸入一首樂曲的片段，即幾個音符，那么這個片段將會刺激網絡尋找記憶該片段樂曲的神經微環路，并能夠通過反饋鏈接刺激goal cluster，從而回憶起該片段的樂曲名。

　　現實當中，當我們彈奏樂器或演唱一首歌曲時，我們可以控制自己彈奏或演唱的速度，模型通過模擬基底節紋狀體核團的功能，也實現了記憶提取時的速度問題，當我們調整pacemaker cluster神經元的放電頻率時，回憶樂曲的速度將發生相應的變化。

　　梁倩說，我們通過331首古典鋼琴曲對模型進行實驗測試，每首樂曲為MIDI格式，模型對每首樂曲進行編碼與記憶，如下圖所示，每首樂曲包含多個聲部（音軌），每個音軌擁有不同數量的音符。

　　實驗表明，網絡不僅能夠只通過樂曲名就可回憶出整首樂曲，還能僅通過一個小片段，精確地回憶起相應的樂曲。

　　如上圖所示，圖中（A）（B）表明，無論是根據樂曲名還是音樂片段，網絡能都較精確地回憶出整首樂曲，圖（C）（D）表明，回憶樂曲的速度會隨著紋狀體神經元的活動變化而隨之改變。

　　曾毅研究員介紹：“興趣很重要，類腦脈沖神經網絡和音樂的結合3年前我們開始動手做的時候正是出于我的博士生梁倩和我個人對音樂的喜好。音樂記憶是通過類腦神經網絡實現音樂學習甚至是創作的基礎，音樂學習的腦機制還有很多尚不清晰，據其啟發的類腦脈沖神經網絡模型也就還有大量有趣的、值得研究的問題等待挖掘，例如從記憶到理解。我們目前正在進行的研究是基于類腦機制的音樂創作，這是更大的挑戰，但也是更激動人心的探索。此外，這個網絡并不僅僅可以用于音樂的學習與記憶，還可以拓展到機器人序列學習等領域的應用，實際上這個模型最初版本的應用我的博士生梁倩就是在機器人動作序列學習上展開的，想到應用于音樂的學習與創作，我們都非常興奮并會一直做下去。希望這樣的努力使我們離實現真正“結構機制類腦，認知行為類人”的類腦智能可以又邁進一步”。