大模型，何處去？

   大模型的“浪潮”正奔涌向前。

   10月26日，在“2021人工智能計算大會（AICC 2021）”上，浪潮人工智能研究院宣布：正式開放源1.0的API（應用程序編程接口），開放高質量中文數據集，開源該大模型的訓練、推理及應用代碼，并和合作伙伴一起，推動面向多元AI芯片的模型移植開發。

   距發布全球最大人工智能巨量模型——源1.0不到1個月時間，浪潮人工智能研究院就邁出了開源開放的步伐。如此緊鑼密鼓的行動，浪潮將推動大模型向何處去？

 

智慧之“源”

 

   “智慧時代即將到來。”在2021人工智能計算大會上，中國工程院院士王恩東說，“算力已經成為智慧時代的決定性力量，面對指數級增長的戰略需求，計算產業正面臨多元化、巨量化、生態離散化交織的趨勢與挑戰。” 

   王恩東認為，當前多樣化的智能場景需要多元化的算力，巨量化的模型、數據和應用規模需要巨量的算力，算力已經成為人工智能繼續發展的重中之重；另一方面，從芯片到算力的轉化依然存在巨大鴻溝，多元算力價值并未得到充分釋放。

   大模型已經成為全球人工智能競爭的戰略制高點，成為應對新挑戰的必然選擇。但小公司只能做其中的一個環節，這造成生態的縱向不通；而大公司希望構建封閉的系統，這造成了生態的橫向不通。

   大模型對于算力、算法和數據的要求，對協同創新能力的要求非常高。比如，源1.0有2457億的參數，訓練部署一個完整的模型副本需要304塊GPU。為保證精度、加速訓練性能，研究團隊在模型算法上開展了一系列創新，解決了大模型開發不穩定這一業界難題，最后在2128塊GPU集群上取得了優異的性能。對比GPT-3完成訓練需要1萬塊GPU、1750億參數量和570GB訓練數據集，源1.0參數規模領先40%，訓練數據集規模領先近10倍。

   為訓練源1.0，研究團隊清洗了近860TB的互聯網數據，開發出5TB的業界最大規模高質量中文數據集。精度方面，源1.0在中文權威的自然語言處理任務CLUE零樣本學習和小樣本學習榜單上均排名第一。

   此外，開發大模型不但要保證巨量數據、超大規模分布式訓練及巨量模型算法框架可靠，還要解決算力調度等多方面的難題。

   “進入大模型時代，我們很多用戶和合作伙伴已無法自己去完成這樣一個大模型的研發、訓練和交互工作了。”浪潮信息副總裁劉軍說，“從算力行業發展來說，我們一定要幫助用戶和合作伙伴，推動人工智能向生態化、產業化發展。”

 

匯涓成“流”

 

   在人工智能領域，免費、共享、開放和開源是幾個不同的概念。即使同為開源，開到什么程度，到代碼、數據集、API還是指令集的區別也很大。

   研發源1.0之前，浪潮人工智能研究院首席研究員吳韶華團隊曾測試過包括GPT-3之類的開源模型。結果發現，使用這些模型會受到各種限制，有些進入門檻很高，有些所謂的開源實際上很難真正使用。

   “源1.0這次的開源非常徹底，從數據集、源代碼到API均開放，同時還開展針對多元AI芯片的模型移植工作。我們不希望這種巨量模型成為人工智能研究的藩籬。”劉軍說。

   目前，浪潮主要針對三類對象開放合作：一是大學或科研機構的人工智能研究團隊，二是元腦生態合作伙伴，三是智能計算中心。這種開放在用戶層面是產學研用全覆蓋，在內容上是從底層開始徹底的開源開放。浪潮希望源1.0 能成為具有通用性和普惠性的“算法基礎設施”，從而賦能千行百業，讓企業、科研機構或個人能真正使用這一模型。

   “源1.0已經做出來了，將來還會推出源2.0、3.0……”吳韶華說，“我們將其開源，下一步會向多模態方向發展，進一步優化算法、提高算力、提升參數數量。希望源2.0將來是和合作伙伴一起推出的，這樣可以更貼近應用場景、更快速實現落地，同時兼顧對前沿技術的探索。”

   大模型落地有諸多困難，一方面要考慮技術如何走出實驗室，另一方面真正有數據、有需求的行業可能又不具備算力、數據的承載能力。此外，應用場景的能源、人才是否適配都是難題。

   去年12月，浪潮和國家信息中心聯合發布的《智能計算中心規劃建設指南》指出，要采用領先的人工智能計算架構和最新的人工智能的理論，實現智能計算中心這個平臺的算力的生產、聚合、調度和示范，從而推動AI產業化、產業AI化和政府治理的智能化。

   為更好服務新型基礎設施建設，提供智慧城市解決方案與產品服務，浪潮首先提出自己的智能化，從智能工廠、智能客服體系來提升服務水平。同時，通過開源開放計劃，浪潮和合作伙伴一起，打造普惠產業的算法算力平臺，促進人工智能生態化、產業化發展。

 

奔涌“浪潮”

 

   新舊技術的更迭遠超人們的想像。IBM的締造者托馬斯•沃森曾說，“全世界只需要5臺電腦就足夠了”。微軟聯合創始人比爾•蓋茨在一次演講中宣稱，“個人計算機的內存640K足矣”。然而，現在一部手機的性能就“秒殺”20年前最快的“超級計算機”。

   “如果我們放寬視野，從更長的時間維度看，現在的大模型也許10年后就不值一提了。”劉軍說，“未來大模型的發展，要從應用場景和用戶需求出發，進一步優化算法、提高算力、增加數據量。” 

   吳韶華同樣認為，任何一項技術的發展，都要經歷從興起、成熟再到落地的過程。“從發展規律來看，大模型現在剛剛興起，大家正圍繞模型體量及模型體量帶來的推動效應開展探索。當大模型走向成熟之后，才會涉及具體的問題，比如小型化運營、高性能、可部署等方面”。

   “貧窮限制了我們的想象力。”劉軍風趣地說，“以前我們沒有相應資源、也不具備相關技術，不知道有更大的算力、更大的數據、更大的模型能干什么。今天我們有條件這么做，我認為這就是科技發展的趨勢，它能讓我們更快、更強。”

   浪潮研發源1.0的初衷有兩個：一是探索人工智能的前沿方向，推動智能算法創新；二是建設算力基礎設施，并落地應用、推動產業落地。由此可見，這個開放共享的“源”不僅是個大模型，也是創新之源、智慧之源。

   “道旅遼遠，山川悠長。”這是源1.0在人工智能計算大會上創作的一句意境悠遠的詩，似乎也在勉勵人們：從源出發，不捐細流、不畏險阻，終會形成澎湃“浪潮”，席卷人工智能的海灘。■