智譜｜強化學習打開能力上限，國產晶片能否打開盈利空間？

今年6月，我們在〈智譜MiniMax比較｜同為AI六小龍，為何智譜狂飆、MiniMax失速？〉一文中指出，智譜深耕本地部署與企業AI代理，大量採用國產晶片，並選擇較穩健的主流模型架構，這些差異化策略使其股價跑贏同儕。但最新財報顯示，公司的業務重心已大幅轉移：雲端API佔收入的比例由約15%升至86.5%，取代本地部署成為主要收入來源。智譜的轉變亦不止於商業模式，其在模型架構及訓練重點同樣作出了調整。

表一：智譜的競爭重心如何轉變？

其中智譜財報有大篇幅描述後訓練（尤其是強化學習）。我們曾在〈Meta AI的絕地大反擊：朱克伯格如何重建AI帝國？〉和〈亞馬遜AWS如何透過自研晶片打造雲端最強盈利機器？〉中介紹強化學習的特點，智譜的披露則提供了一個中國模型公司的實踐案例：強化學習能把模型能力提高多少？中國模型公司如何應對算力限制，並控制訓練與推理成本？

基礎模型不變，強化學習能讓AI進步多少？

智譜於8月發布的GLM-5.3，沿用6月GLM-5.2的模型架構，總參數及激活參數維持不變，經過一個月擴大長程任務環境與強化學習，能力明顯升級。獨立評測機構Artificial Analysis顯示，兩代模型的綜合指數分別為34及45。代理式任務的改善尤其明顯：在電腦終端機內完成軟件工程工作的Terminal-Bench 4.0，得分由1.0%升至41.9%。但能力提升也伴隨更高的使用成本：兩代模型的API定價相同，GLM-5.3卻消耗更多Token，令每項評測任務的平均成本由GLM-5.2的1.47美元升至2.01美元。

表二：GLM-5.2與GLM-5.3的第三方評測結果

控制成本亦改變了模型公司的架構選擇。我們在〈智譜MiniMax比較｜同為AI六小龍，為何智譜狂飆、MiniMax失速？〉中指出，智譜較重視穩健與精確，MiniMax則較重視長文本效率與低成本推理。如今，智譜在主打低成本的GLM-5.3-Flash亦引入線性注意力，與稀疏注意力結合，以降低成本和售價。這顯示智譜在低成本產品上的取向，正與MiniMax靠近。

FAQ：什麼是後訓練？

大模型有兩個訓練階段：

• 預訓練有如背書：模型讀入大量文字，學習語言與知識。過去提升能力的主要途徑，是加大模型參數和訓練數據。
• 後訓練有如做模擬考：後訓練有幾種方式，本文談的強化學習是其中之一。模型在模擬的工作環境（考場）裡嘗試完成任務，由系統評分，再按回饋調整做法。考場除了題目，還有可操作的工具或程式碼庫，以及判斷任務有沒有做好的驗證器（閱卷員）。每一步訓練分兩個動作：模型先作答，系統評分後再更新模型。

模型公司正加大在強化學習的投入。據研究機構SemiAnalysis所指，OpenAI的o1、o3以至GPT-5系列，一直沿用GPT-4o作為基礎模型，18個月間的能力提升全部來自後訓練，包括強化學習。除了智譜外，小米在9月在網上直播旗下MiMo-V2.6模型的強化學習過程，並逐步公布評測成績。小米的MiMo-V2.6 Pro版在編程評測DeepSWE得分，由首步訓練後的58.4升至最後一步的72.6分，可見強化學習對模型能力提升十分巨大。

考場難建、練習昂貴、評分不能有漏洞：強化學習的三個難處

這套做法聽起來簡單直接，實行時卻總會遇到以下三個困難：

考場建設成本高：模擬工作環境昂貴且需要按任務逐一搭建。金融從業員與軟件工程師的工作流程、使用的軟件各有不同，訓練環境亦須相應設計，例如仿照亞馬遜購物網站的介面及功能，讓模型練習搜尋商品、比較價格及下單。根據SemiAnalysis，已有超過35間公司專門負責向AI實驗室出售這類環境，一個網站的訓練環境售價約為兩萬美元。小米的直播顯示，其模型最後一步訓練開啟逾1.1萬個沙盒環境；約五日下來，累計開啟的沙盒環境逾350萬個，可見訓練過程需要反覆啟動大量工作環境。

反覆作答推高訓練成本：強化學習可以按答案對錯評分，但分數應如何轉化成模型的學習方向？一種主流做法，是讓模型對同一道題嘗試不同解法，將這批答案放在一起比較，以平均分代表模型目前的通常表現：高於平均的作答方式，日後更常採用；低於平均的，則減少採用。因此，每次更新模型之前，都要先完成多次作答。複雜任務可能一次就要花數小時，期間反覆思考、執行程式及操作工具；同一道題再試十幾次，算力開支便隨之累積。

小米直播則展示了前沿大模型後訓練的規模。以Pro版最後一步訓練為例，共有1,568道題，每題嘗試16次，合計逾2.5萬份答卷；該步用於訓練的Token達34億個，約54%的時間用於生成答卷。整場訓練約五日，花費約262萬美元。

評分有漏洞就會被鑽：如果評分標準有漏洞，模型便可能作弊。這種現象稱為「獎勵捷徑」（Reward Hacking）。訓練環境的價值，因此很大程度上取決於驗證器能否準確判斷模型有沒有把事情做好。

OpenAI在2016年公開過一個經典例子。研究人員用強化學習訓練AI玩快艇競速遊戲CoastRunners，希望它盡快完成賽事，並以遊戲分數衡量表現。然而，分數並不直接反映快艇的賽程進度，而是靠撞中沿途的目標累積。AI得以找到了一條研究人員意料之外的「捷徑」。

AI發現，賽道旁的小水灣內有三個目標，撞中後會重新出現。它於是留在水灣內兜圈，算準時間反覆撞擊，持續刷分。最終，它沒有完成賽事，平均得分卻比人類玩家高約20%（按此觀看影片）。

大模型亦會出現類似問題。OpenAI在2025年公布的研究中，便在強化學習訓練期間觀察到模型在編程任務中走捷徑：把程式裡負責核對結果的驗證函數改成一律回答「通過」，可見通過測試未必代表真正完成任務，訓練過程亦需要監察。

1,200個AI代理聯手作弊：從騙過評分程式到入侵Hugging Face

模型能力愈強，作弊的後果也可能愈嚴重。今年7月，OpenAI安排數以萬計的AI代理，各自在隔離環境內解題，以測試模型的網絡攻擊能力。部分代理反覆嘗試仍解不開題目，便轉而尋找繞過評分程式的捷徑。過程中，它們在公司內部的軟件套件庫發現其他代理留下的訊息，開始互相交流，合作研究如何騙過評分程式。

事後獨立調查此事的AI安全評估機構METR指出，約1,200個代理合共交換逾七萬則訊息及檔案，約700個參與了對AI開放模型平台Hugging Face的攻擊。過程中，有代理突破隔離環境、連上互聯網。原本各自進行的解題測試，演變成集體作弊，甚至波及外部平台。

部分代理的推理記錄顯示，它們知道入侵外部系統超出任務範圍，仍以「解不開題目」、「其他代理亦有參與」等理由，說服自己繼續。由始至終，沒有任何代理嘗試通知人類。

OpenAI事後檢討發現，問題源於強化學習期間的錯誤獎勵：曾有代理利用環境漏洞取得本應隱藏的標準答案，抄進答卷後仍獲得獎勵。事後檢視記錄亦發現，作弊行為隨訓練推進而增加。訓練原本要鼓勵模型解決問題，卻也鼓勵了繞過問題、直接取得分數的做法。

防作弊難在設計者無法預先想到模型的所有做法。模型會在大量試驗中找到人類未預見的取巧方式；只要這些做法仍能取得高分，訓練就可能把它們強化。OpenAI的研究更發現，直接懲罰思考過程中的作弊意圖，可能令模型學會隱藏意圖，卻繼續作弊。可見防止模型作弊十分困難。

模型公司因此要同時修正訓練中的獎勵方式、監察行為，以及加強環境隔離。OpenAI事後把思考過程監察擴展至前沿模型的強化學習訓練、評測及內部代理式編程，引入專門識別越界行為的獎勵模型，並把高風險任務置於以虛擬機隔離的沙盒內。這些措施亦帶來額外成本：監察與評分要更多推理算力，更嚴密的隔離要基建投入。考場、練習之後，監考成了第三筆開支。

相關文章：〈AI「降速」真的會拖累亞洲半導體需求嗎?〉

智譜如何擴大訓練？練習環境與算力的雙重考驗

考場、練習與評分，構成強化學習的成本。回到智譜，公司如何取得練習環境，又如何支撐反覆作答所需的算力？根據SemiAnalysis，海外環境供應商已向包括智譜在內的中國實驗室出售訓練環境。中美實驗室可取得類似的練習環境，或有助解釋中國模型近期在代理能力上的躍升。智譜亦提出，企業客戶的真實工作流程可反過來成為模型學習的環境與數據；API業務因此有機會同時帶來收入和回饋，讓模型練習更貼近客戶真正要完成的工作。

有了練習環境，生成答卷、評分及更新模型仍需要大量硬件。出口管制限制了中國實驗室取得先進晶片，算力供應與記憶體資源，亦會影響強化學習實驗的規模和速度。面向客戶的推理服務同樣需要控制算力成本：前文提到的混合架構，以及下文的國產晶片軟件適配，都是智譜提高服務效率的方向。

國產晶片：從採購賣點到降本關鍵

智譜表示，今年已實現十萬級國產晶片的規模化推理，單位Token推理成本較年初下降80%。GLM-5.3-Flash的全部線上推理亦由國產晶片承擔。

智譜指出，這套集群的主要硬件約束是記憶體容量與頻寬，支援長上下文尤其困難，因此要「以算力換帶寬」，用額外運算減少資料搬運。軟件適配同樣具挑戰：由於國產硬件的生態尚未成熟，底層運算程式（算子）支援不完整，部分技術文件亦不足。

智譜讓AI代理協助工程師開發及優化算子、診斷效能瓶頸，再以測試確認計算正確及服務表現。公司稱，由於運用AI協助軟件適配，國產硬件的算子開發週期縮短一半；GLM-5.3-Flash由初步適配到具備正式服務能力不足兩週，整套服務的吞吐量達初始水平的3倍。

AI編程能力提升，正在降低國產晶片的軟件適配門檻。過去需要工程師逐一開發和優化的運算程式，如今已有部分工作交由AI協助完成。這意味着，依靠大量人工適配工作維持的軟件壁壘正在下降，替代晶片更容易把硬件性能轉成可用的服務。CUDA這類軟件生態的競爭優勢，需要重新評估。

AI的作用亦開始延伸至晶片設計。OpenAI披露，與博通合作開發的Jalapeño推理晶片，在部分設計及優化過程中使用了自家模型。從智譜的軟件適配到OpenAI的晶片設計，AI正幫助工程師加快開發自身所需的基礎設施。我們相信，AI輔助設計配合持續資本投入，有望加快中國晶片企業的研發迭代，提升國產晶片的性能與效率。

投資啟示：算力需求有增無減，智譜估值仍高

我們維持推理算力需求具結構性增長動力的看法。強化學習本身需要大量推理，AI代理的使用亦持續擴大，推理晶片、記憶體及CPU都有機會受惠。

另外，判斷模型公司的競爭力，要看每成功完成一項任務的成本，以及效率改善能否轉成收費與毛利；國產晶片則要看實際服務用途能否擴大，並取得第三方效能驗證。至於智譜，收入轉化效率已有改善。公司自創的「算力乘數」顯示，每投入一元人民幣訓練及推理算力所對應的API收入，較去年同期提升約14倍；同期收入按年增長近4倍。但正如我們在〈智譜（2513.HK）：跌破千元大關 智譜該何去何從？〉中指出，雲端業務定價權脆弱，訓練與資本開支壓力持續，稀缺性溢價亦正消退。即使估值回落後仍有潛在升幅，模型競爭與市場情緒風險仍高，投資者宜等待更明確的信號再作部署。

表三：智譜的預測收入及潛在升幅