一、谷歌全新架構Titans介紹

谷歌于2025年1月15日發布了新架構Titans，它被視為Transformer架構的繼任者 。
從結構和原理層面來看，Titans的提出與對循環模型和注意力機制的長期探究密切相關。循環模型旨在將數據壓縮到固定大小的記憶（即隱狀態），而注意力機制能處理整個上下文窗口捕捉token間直接依賴，但準確的依賴建模常帶來二次成本，導致模型只能處理固定長度上下文。為克服這一局限，谷歌提出新的長期神經記憶模塊（neural memory module） 。
在此基礎上，Titans主要包含三個分支：

1. 核心分支（Core）：使用注意力機制進行數據處理，其主要關注有限的上下文窗口，扮演著類似短期記憶的角色，對應的是受限于上下文但依賴關系建模精確的注意力機制，對小塊數據進行及時處理，以達到高效運算的效果。

2. 長期記憶分支（Long - term Memory）：這一分支使用新的神經長期記憶模塊來存儲和回憶歷史信息，就像是一個容量較大、能夠長期存儲數據的倉庫，通過學習記憶歷史上下文，為當前的處理提供久遠的信息支持，能克服注意力機制在處理長序列時的局限。例如在處理長文本時，可避免信息隨距離的增加而丟失。

3. 持久記憶分支（PersistentMemory）：使用可學習但不依賴于數據的參數來編碼任務相關知識，提供了一種對任務“固有”知識的存儲和獲取方式，可以看作是一種先驗知識的儲備。

同時，谷歌還通過三種變體有效地將記憶融合到系統架構中：

1. 記憶作為上下文（Memory as a Context，MAC）：把長期記憶視為當前信息的上下文，使用注意力機制將長期記憶和持久記憶（編碼任務知識的不變參數）作為當前輸入的上下文一起輸入，這種方式能很好地融合不同的記憶單元，互相補充信息，對不同數據進行綜合考量。

2. 記憶作為門（Memory as a Gate，MAG）：通過門控機制將長期記憶與核心分支的信息融合，在記憶模塊和滑動窗口注意力（SWA，Sliding Window Attention）兩個分支上進行門控融合，這里的門控機制就像一個調節器一樣，通過這個“門”控制各部分的信息流量，決定長期記憶與核心分支信息在融合時的比例。

3. 記憶作為層（Memory as a Layer，MAL）：此變體是將長期記憶模塊作為深度神經網絡的一層，使長期記憶模塊成為深度神經網絡結構的一部分，從而將歷史信息的壓縮和當前的處理流程緊密地結合在一起。例如在模型進行層與層之間的數據傳遞時，可以直接將記憶相關的操作加入流程之中。

論文作者還設計了長期神經記憶模塊，這個模塊有獨特的工作方式。

1. 記憶的獲取：將訓練過程視為在線學習問題，目標是把過去的信息壓縮到其參數中。受人類記憶規律啟發，它將違反預期（令人驚訝）的事件視為更值得記憶的，并通過計算神經網絡相對于輸入的梯度來衡量輸入的驚訝程度以更新記憶。比如對于一些在文本語料中不常見的數據模式，如果出現就可能被認為是令人驚訝的并加以重點記憶。

2. 記憶的結構：研究發現深度記憶模塊（使用多層感知機）比線性模型更有效，這有助于更有效的存儲結構以及更好的記憶提取和利用方式。

3. 記憶的檢索：能夠通過簡單的正向傳遞（不更新權重）來檢索與查詢相對應的記憶，在查詢歷史相關信息時，不需要復雜的反向傳播等大量計算就能快速獲取記憶信息。

研究團隊還設計了遺忘機制，在處理非常大的序列（如百萬tokens）時非常關鍵，通過自適應遺忘機制允許記憶忘記不再需要的信息，有助于更好地管理有限的記憶容量。以避免記憶庫的無限膨脹以及提升效率，例如在處理海量文本中某些長尾信息，對后續處理作用不大就可選擇遺忘等。

二、谷歌Titans架構的特點

（一）有效整合記憶與注意力機制

1. 兼具短期與長期記憶功能

   • Titans架構中的注意力機制起著短期記憶的作用，能夠精準地對小塊的上下文窗口內的數據依賴關系進行建模。同時，通過神經長期記憶模塊實現長期記憶的功能，這種長期記憶可以存儲歷史信息并在需要的時候被調用。例如在語言建模任務中，注意力機制可以捕捉當前句子中的詞匯依賴，而長期記憶可以回想之前句子或者文本塊中的有用信息，協同起來提高模型對整個文本的理解能力和處理效率。

   • 從結構上，核心分支（Core）中的注意力機制負責快速處理即時信息，而長期記憶分支（Long - term Memory）則專注于對歷史信息的長期存儲與檢索，兩者相互配合，使得模型在處理各種任務時既能有效利用當前信息，又能兼顧歷史信息。

2. 創新的記憶融合方式

   • Titans提出了三種記憶融合變體MAC、MAG和MAL，這些變體提供了不同的策略將記憶融入到整體架構中。以MAG為例，門控機制的使用可以動態地調整長期記憶與核心分支信息的融合比例，使得模型能夠根據不同的數據模式和任務需求自適應地調整記憶的利用方式。

   • 在MAC中，把長期記憶作為當前信息的上下文輸入，為當前輸入補充更多的背景知識，這種方式類似于人類在理解句子時會借助上下文語境信息。MAL將長期記憶模塊作為神經網絡的一層，這種深度融合的方式可以讓記憶更好地融入到數據處理流程中。

（二）具備良好的學習與泛化能力

1. 在線元模型學習記憶策略

   • 對于長期神經記憶模塊，谷歌采用了在線元模型的策略來學習如何在測試時記憶或忘記數據。它解決了傳統神經網絡記憶帶來的問題，比如在傳統神經網絡訓練中，簡單地讓神經網絡記憶訓練數據會導致模型的泛化能力受限，以及可能引發隱私問題。而在線元模型在學習一個能夠記憶的函數時不會過擬合訓練數據，從而在測試時實現更好的泛化性能。

   • 例如，在語言建模中，當遇到一些在訓練數據中有但分布較為稀疏的詞匯或語法結構時，模型能夠根據學習到的記憶策略合理對待這些信息，而不是簡單地依賴于訓練中的記憶，從而提高對新語言模式的適應性。

2. 利用意外指標優化記憶更新

   • 訓練長期記憶時，使用的意外指標（Surprise Metric）是一個重要的特征。這里的意外指標基于輸入數據與過去數據的偏差，即梯度越大，表示輸入數據越意外。這種以意外性為導向的記憶更新方式有助于模型聚焦于那些與以往數據模式差異較大的數據點進行記憶。

   • 例如，當處理一個包含新知識或者新主題的文本段落時，意外指標會突出這個段落中的特殊信息，從而引導記憶模塊重點記憶這些創新或者特殊內容，進而優化模型在面對新情況時的表現。而且，谷歌將意外指標分解為過去意外（衡量最近過去的意外程度）和瞬時意外（衡量傳入數據的意外），改進了單一意外指標可能導致錯過重要信息的問題，使得記憶更新更加全面和合理。

（三）具有高效的訓練與推理性能

1. 并行化訓練優勢

   • 谷歌構建的神經長期記憶模塊具有快速并行化訓練的優勢，這使得Titans架構在訓練過程中可以更充分地利用計算資源。例如在大規模的數據集上進行訓練時，如果模型能夠實現并行訓練，那么訓練時間將會大大縮短。

   • 與一些傳統模型或者架構需要較長的訓練周期不同，Titans可以較快地收斂到較好的參數設定，有助于提高模型開發的效率。這種快速并行化訓練的特性也使得在實際應用場景中，如對大規模的文本語料庫或者基因組學數據等進行處理時，能夠更及時地得到可用的模型。

2. 保持快速推理

   • 在推理階段，除了需要快速提取記憶中的信息外，還需要高效地利用這些信息完成任務處理。Titans架構在保持快速推理方面表現出色，由于其結構上對注意力機制、長期記憶和持久記憶的有效組織，在推理過程中能夠快速地調動相應的記憶信息，并與當前輸入信息進行融合處理。

   • 在諸如時序預測等對實時性要求較高的任務中，快速推理能力可以使模型更快地給出預測結果，提高模型在實際應用中的響應速度。

三、谷歌Titans架構的應用場景

（一）語言建模領域

1. 處理長文本段落

   • 在語言建模方面，Titans架構的強項之一是處理長文本。由于其具有長期神經記憶模塊和有效的記憶融合方式，在處理長段落或者長篇文檔時，可以有效地利用之前的文本信息。對于長篇小說等長文本來說，之前章節中的人物關系、情節線索等信息可以被長期記憶存儲起來，并在后續章節的理解和生成中發揮作用。

   • 舉例來說，當對一部長篇小說進行續寫時，模型可以回顧之前的故事走向、人物性格特點等信息，使得續寫的內容在邏輯上和風格上與前文保持一致，避免出現邏輯漏洞或情節跳躍等問題。

2. 對語義信息的長期記憶與理解

   • Titans能夠更好地理解多義詞在不同語境下的語義。長期神經記憶模塊可以存儲與多義詞相關的各種語境信息，當再次遇到這個詞時，可以迅速從記憶中調出相關語境來理解其確切含義。

   • 例如，“bank”這個詞既可以表示金融機構的銀行，也可以表示河岸。在一段關于地理環境的描述和一段關于金融交易的描述中，模型能夠利用長期記憶區分“bank”的不同含義，這有助于提高語言建模的準確性，無論是在文本生成還是在語義理解方面。

（二）常識推理任務

1. 整合不同知識源信息

   • 在常識推理中，常常需要整合多個不同來源的知識。Titans架構的持久記憶分支（PersistentMemory）可以對任務相關知識進行編碼，長期記憶分支（Long - term Memory）可以存儲之前推理過程中的經驗信息。這使得模型在進行常識推理時可以從多個角度獲取信息，提供更全面的推理依據。

   • 比如在回答關于自然科學和社會科學交叉方面的問題，例如人口增長對生態環境影響的問題，模型既可以利用持久記憶中編碼的人口學、生態學的基本常識知識，又可以調用長期記憶中之前分析類似問題的邏輯推理線索，從而給出更加合理準確的答案。

2. 適應動態的推理環境

   • 現實世界中的常識推理場景往往是動態變化的，Titans架構中的在線元模型學習記憶方式和自適應遺忘機制有助于模型適應這種動態性。模型可以根據新的信息不斷更新自己的記憶內容，遺忘不再適用的舊知識，從而保持推理的準確性。

   • 例如，隨著社會觀念的更新，對于某些社會現象的評價標準可能發生變化，模型能夠及時調整記憶中的相關信息，如對于新型職業類型的態度轉變等方面的推理，使其在動態的推理環境中始終保持合理的判斷能力。

（三）基因組學研究

1. 處理長序列基因數據

   • 基因組學的數據往往是長序列數據。Titans的特性使得它可以有效地處理這種長序列信息。如同處理長文本一樣，長期神經記憶模塊能夠對較長的基因序列進行分段記憶，在分析基因序列之間的關系或者基因的功能表達時，可以從基因序列的不同區域提取信息進行綜合分析。

   • 例如在研究基因的遺傳性時，對于較長的基因片段，模型可以通過長期記憶存儲不同家族成員之間基因片段的相似性、變異情況等信息，進而分析某些基因與疾病遺傳性的關聯。

2. 關聯不同組學知識搭建基因網絡

   • 在基因組學中，往往需要關聯不同組學知識（如基因組學、轉錄組學、蛋白質組學等）來構建完整的基因網絡。Titans架構的記憶特性與記憶融合方式有助于在不同層次的組學知識之間建立聯系。

   • 比如在探索基因表達調控機制時，需要將基因結構信息（基因組學）與基因表達后的產物情況（蛋白質組學）聯系起來。Titans可以利用不同的記憶分支分別存儲不同組學層面的知識，并通過對記憶的整合構建起多層面之間的關聯關系，模擬整個基因表達和調控的過程。

（四）時序預測任務

1. 記憶長時間序列模式

   • 時序數據隨著時間的推移往往呈現出復雜的序列模式。Titans架構能夠記憶長時間序列中的模式特征，其長期神經記憶模塊可以對過去的時序數據進行有效記憶。對于如股票價格的長期趨勢分析或者氣象數據的季節性規律研究等，模型可以存儲多年的數據模式。

   • 舉例來說，在股票價格預測中，長期記憶可以存儲股票在不同經濟周期下的走向特點、在不同政策環境下的市場反應等歷史性信息，當預測未來走勢時，這些以往的記憶可以為模型提供寶貴的參考依據，使預測結果更具有前瞻性和可靠性。

2. 應對時序數據中的動態變化

   • 時序數據不僅有長期的趨勢特性，也存在短期內的波動和不規則變化。Titans的注意力機制在捕捉短期的動態變化方面發揮重要作用，同時長期記憶也能夠隨著新的時序數據不斷更新自己的記憶內容，以適應這種動態變化。

   • 例如在氣象預測中，雖然存在季節性的規律性變化，但也會受到突發氣象災害等異常事件的影響。模型能夠利用注意力機制及時捕捉氣象數據中的短期內突發變化，并在長期記憶中更新這種異常信息，從而提高氣象預測在短時間內對特殊天氣事件的應對能力。

四、谷歌Titans架構與其他架構的對比

（一）與Transformer架構對比

1. 上下文處理能力

   • Titans：具有獨特的長期神經記憶模塊，可以有效地擴展到超過200萬tokens的上下文窗口。例如在處理長篇小說或者大型文檔時，能夠捕捉遠距離的語義信息，保持對整個長文本的理解。

   • Transformer：受限于注意力機制的二次成本，在處理長上下文時存在困難，上下文長度往往較為有限，在長文本場景下可能會出現信息丟失或者語義理解不連貫的問題。

2. 記憶與泛化性能

   • Titans：采用在線元模型學習記憶，在訓練過程中不會過擬合訓練數據，具有較好的泛化能力。同時通過多種方式存儲和利用記憶，能夠根據不同情況調整記憶策略。

   • Transformer：雖然具有良好的并行計算能力，但記憶主要依賴于注意力機制本身對輸入的處理，在泛化性方面沒有Titans針對記憶與泛化專門設計的機制。

3. 訓練與推理效率

   • Titans：神經長期記憶模塊具有快速并行化訓練優勢并且能保持快速推理。在處理大規模數據時，這種優勢可以使訓練過程更快收斂并在推理階段及時響應。

   • Transformer：具有并行訓練的能力，但其處理長序列數據時由于計算復雜度的問題，在訓練和推理效率上會隨著序列長度的增加而受到影響。

（二）與現代線性RNN對比

1. 記憶功能

   • Titans：具備長期神經記憶模塊，可以在測試時學習記憶，既能夠存儲遙遠的歷史信息，又能夠根據實際情況進行遺忘和更新，提供了更靈活的記憶管理方式。

   • 現代線性RNN：將數據壓縮到固定大小的記憶（隱狀態）中，這種固定大小的記憶在存儲容量和信息更新方面面臨局限，可能導致長序列中的早期信息丟失。

2. 性能與效率

   • Titans：在多種任務（如語言建模、常識推理、基因組學和時序預測任務）上的實驗結果表明比現代線性RNN更有效，由于采用新的機制在訓練和推理過程中能夠更有效地利用資源處理信息。

   • 現代線性RNN：在處理較長序列或者復雜任務時，由于自身結構限制，效率和性能會有所下降，例如在處理長文本的語義理解或者復雜的基因組學數據關聯方面可能表現不佳。

（三）與GPT - 4等超大型模型對比

1. 性能表現

   • Titans：據論文一作稱，新架構Titans比GPT - 4等超大型模型性能更強，在多種任務場景下（如前所述語言建模、時序預測等任務）能夠更高效準確地處理任務。

   • GPT - 4：雖然具有很高的性能，但在Processing Long - Context等方面相對于Titans仍存在改進空間，例如，在處理長文本推理或者長時間序列數據分析時可能不如Titans架構高效。

2. 架構差異

   • Titans：架構上具有獨特的長期神經記憶模塊、三種記憶融合變體等，這些特性是專門針對記憶和處理能力進行設計的。

   • GPT - 4：其架構是基于Transformer架構構建的超大型模型，主要是利用大量的數據和大規模的模型結構來提升性能，沒有針對記憶做像Titans這樣專門的設計。

五、谷歌發布Titans架構的影響

（一）對人工智能研究領域的促進

1. 新的研究方向探索

   • Titans架構的提出為人工智能領域開辟了新的研究方向。其獨特的長期神經記憶模塊以及創新的記憶融合方式為其他研究人員提供了新的思路，在如何構建更有效的記憶存儲與利用的神經架構方面起到了示范效應。例如，未來研究可能圍繞如何進一步優化這種在線元模型學習記憶的方式，如何根據不同應用場景更好地設計和調整記憶結構等方面展開研究。

   • 記憶一直是神經網絡研究中的重要問題，Titans架構以一種新穎的方式解決了部分記憶相關的問題，如記憶的獲取、更新、遺忘等機制，這可能會激發更多關于神經網絡記憶理論的研究成果，推動整個領域對神經架構與記憶機制關系的深入理解。

2. 對長序列處理技術的推動

   • 在解決長序列處理問題方面，Titans架構有著重要的意義。在自然語言處理領域的長文本生成、基因組學中的長序列基因數據分析等眾多需要處理長序列的場景下，其成果可以促進相關領域對長序列處理技術進行進一步優化。

   • 研究人員可以基于Titans架構探索如何更好地處理音頻、視頻等其他類型的長序列數據，提高模型在這些領域對長序列數據的表達能力，從而提升各種長序列相關任務的準確性和效率。

（二）對應用領域的潛在影響

1. 提升自然語言處理任務效率

   • 在自然語言處理領域，隨著數據量的不斷增加以及對處理長文本需求的增長，Titans架構能夠為各類自然語言處理任務（如機器翻譯、問答系統等）帶來效率提升。例如在機器翻譯中，如果能有效利用歷史文本中的翻譯知識進行長文本的翻譯，就能夠提高翻譯的質量和速度。

   • 對于需要深入語義理解的任務，比如智能文檔分析系統，Titans架構能夠更好地處理長文檔的整體性理解，提取更全面準確的信息，為用戶提供更優質的服務。

2. 在生物信息等領域的變革潛力

   • 在生物信息學領域，尤其是基因組學研究中，處理海量的基因序列數據一直是一個挑戰。Titans架構通過其長序列處理能力和記憶特性，可以加速基因數據分析、基因疾病關聯研究等進程。例如，更精準地找到致病基因與基因組特定區域之間的關聯，提高基因疾病診斷的準確性。

   • 在其他復雜數據處理領域如氣象、金融等，其處理長序列數據和高效推理的特性也有望帶來新的應用模式，提升預測和決策的準確性。例如在金融領域，對于長期的市場趨勢分析和突發金融事件預測等方面可能會有新的突破。

3. 推動人工智能應用的集成創新

   • Titans架構的出現可能會促使各領域將其與現有的人工智能技術進行集成創新。比如在智能安防領域，可以與視頻分析技術集成，利用Titans處理長視頻序列的能力更好地分析事件發生過程。

   • 在機器人領域，可以與機器人的任務規劃和執行模塊結合，利用架構的記憶能力和推理能力優化機器人在復雜環境中的任務執行。這種集成創新有望催生更多新的人工智能應用場景和解決方案。