科技漫談 | AIGC技術大爆發，越來越智慧的人工智能，靠的是什么？
2023-08-26
最近AI圈子不可不謂熱鬧，被稱為大模型“奠基研究”的 《Attention is All You Need》論文的八位作者已全部從Google離職，投身AI創業，并且都收獲了資本市場認可，獲得巨額投資。當下最火熱的OpenAI的GPT模型、谷歌的Bard模型也都不約而同地借鑒了《Attention is All You Need》論文中的Transformer架構進行設計，這就讓人不禁好奇：這個改變了AI發展進程，使AI真正變得“智能”的Transformer究竟是何方神圣呢？
（圖 Attention Is All You Need）
解密Transformer：探索大語言模型核心
從過去拘泥于規則的程序，到如今能夠自我學習、自我進化的智能體，現如今的AI是如何做到飛速進步？早期的循環神經網（Recurrent Neural Network，RNN）到長短時記憶（Long Short Term Memory，LSTM），從卷積神經網絡（Convolutional Neural Network, CNN）到Transformer模型，這些拗口難念的英文單詞，背后卻是人工智能領域的一波又一波革命。
（圖 搭載LLM大模型的元享智能云平臺）
但在ChatGPT橫空出世前，自然語言處理領域的AI大語言模型應用似乎都離我們還很遙遠。以往的對話型AI，就像是個充滿預設臺詞的機器人，不管你說什么，它都是那一套機械式的“if x; then a; else if y; then b…… ”，只會選擇內容，而不會創造內容。但是，隨著Transformer模型的嶄露頭角，大語言模型似乎找到了新的方向。
那么Transformer是依靠什么機制或者說是原理，讓原本不能理解人類語言的AI，變的能夠理解并生成相應內容的呢？其核心在于《Attention is All You Need》論文中提到的自注意力機制，這種機制讓模型能夠在處理文本時更好地捕捉上下文信息，建立詞與詞之間的聯系，仿佛模擬了人類對話的連貫性。Transformer模型通過對輸入文本的自我關注，能夠在不同位置之間建立關聯，從而更好地理解整個文本的語義結構，也讓充滿創造力的生成式AI（AIGC）成為可能。
（圖 搭載AIGC虛擬數字人的元享數字魔盒）
釋放模型創造力的多頭自注意力機制
Transformer利用注意力機制來模擬人類對上下文的理解。這種機制允許模型在處理文本時，根據不同位置的詞匯建立自適應的注意力。換句話說，模型能夠理解每個詞匯與其他詞匯之間的關系，并且不受“距離”的限制。看似復雜的機制，其實原理很簡單，就是通過計算每個詞匯之間的相似度，來構建注意力權重。并且多頭機制的引入增加了模型的并行性，從而更高效地捕捉詞匯之間的關聯。
不過只有關聯性是不夠的，為了克服Transformer模型無法捕捉詞匯順序信息的問題，OpenAI在GPT模型中還引入了“位置編碼”技術，你可以把“位置編碼”理解為一本“地圖”，它告訴每個詞匯在句子中的位置。這樣一來，大語言模型模型不僅能理解詞匯的語義，還能感知它們在句子中的脈絡。就如同我們在閱讀時，會根據文字的位置來推斷它們的重要性和關系。
（圖 Multi-Headed Attention)
（圖 Transformer模型)
種種精妙的機制相互結合，造就了如今基于Transformer的各種大語言模型，也讓運行大語言模型的AI不再只能夠機械式回答，而是成為一個能夠深刻理解文本、生成獨特回應的智能體。通過自注意力、多頭機制和位置編碼的共同作用，模型在處理文本時，宛如一位詩人，能夠用恰到好處的言辭，構建出精彩紛呈的句子，令人嘆為觀止。也讓人們看到這項技術運用在虛擬數字人身上會產生怎樣的技術革命。
（圖 GPT-3 到 ChatGPT的心路歷程）
大語言模型能夠為虛擬數字人賦予“靈魂”嗎？
大語言模型造就的生成式AI，讓人與機器進行文字對話成為可能，但如何能夠突破恐怖谷，讓機器人與人的交流像人與人交流一樣自然流暢，則又是一個新的難題。
天娛數科子公司元境科技自研「MetaSurfing-元享智能云平臺」，搭載行業領先的虛擬數字人交互系統、大語言模型、多模態感知等技術，為虛擬數字人賦予了視覺、聽覺和語言能力，使虛擬數字人能夠像人類一樣交流、理解和思考。并通過「元享數字魔盒」以3D立體形式呈現出有靈魂、有記憶、多情感、多感知、超寫實的全擬真人類個體，讓虛擬數字人可以像真人一樣進行“面對面”交互，擁有自己的“身體”、“言辭”和“思想”，如人類一般通過語言表達內心的情感和思考。
（圖 大語言模型能夠為虛擬數字人賦予“靈魂”嗎？）
AI元年
正如《Attention is All You Need》論文的作者所展示的，科技的進步不斷推動著人工智能領域的前沿探索。當下我們正在身處AI時代的浪潮之中，目睹著大語言模型與虛擬數字人這兩個領域的碰撞與融合，未來我們或許能夠在虛擬世界中與虛擬數字人進行深刻的哲學對話，探討2023年的這場AI革命，對后世引發的深遠影響。