頂點光電子商城2024年9月5日消息:近日,壁仞科技在AI芯片領域取得了重大突破,成功實現了業界首次的三種異構GPU混訓技術。這一技術成就不僅標志著中國AI芯片技術的飛躍,也為全球AI訓練技術的發展注入了新的活力。
壁仞科技在2024全球AI芯片峰會上首次公布了其自主原創的異構GPU協同訓練方案HGCT。該方案業界首次支持3種及以上異構GPU(包括壁仞GPU、英偉達GPU及其他國產芯片)混合訓練同一個大模型。這一技術突破解決了傳統AI模型訓練中不同廠商、不同架構甚至不同型號GPU之間難以流暢協同的問題,實現了異構算力的有效整合和利用。
技術特點與優勢有
異構協同通信效率高:壁仞HGCT方案的異構協同通信效率大于98%,這一高效的通信效率保證了異構GPU在混合訓練過程中的數據交換和協同工作的順暢進行。端到端訓練效率高:該方案的端到端訓練效率達到90-95%,這意味著在大模型訓練過程中,整體訓練效率得到了顯著提升,從而縮短了訓練周期,降低了訓練成本。普適性與易用性:壁仞HGCT方案用一套統一方案支持多種不同型號、不同廠商的GPU,并且一行代碼即可適配多種框架。這種普適性和易用性使得該方案能夠廣泛應用于各種AI訓練場景中。解決異構算力孤島難題:通過實現三種及以上異構GPU的混合訓練,壁仞科技突破了異構算力孤島難題,使得不同來源、不同性能的GPU能夠協同工作,共同承擔大模型的訓練任務。
壁仞科技的這一技術突破實現了國產GPU和英偉達GPU的異構共存,有助于加快國產GPU的落地遷移和市場應用,提升國產芯片在AI領域的競爭力。HGCT方案具備普適性、易用性和兼容性,能夠助力最終客戶實現多種異構算力聚合,最大化異構GPU集群利用效率,從而推動整個算力產業的發展。高效的異構GPU協同訓練方案能夠顯著提升AI模型的訓練效率,縮短訓練周期,降低訓練成本,為AI技術的廣泛應用提供更加堅實的算力支撐。
未來,壁仞科技在實現三種異構GPU混訓技術的基礎上,將繼續深化技術研發,推動異構GPU協同訓練生態的完善和發展。同時,壁仞科技還將積極聯合客戶、合作伙伴和科研機構,共同推動AI技術的創新和應用,為構建更加智能、高效、可持續的未來世界貢獻力量。