華碩旗下台智雲推AI2.0大算力服務 已建置1760億個參數大模型

ChatGPT炒熱AI,帶動大型語言模型(LLM)及生成式AI(Generative AI)的快速發展。華碩(2357)旗下台智雲宣布成為全台第一個成功建置1,760億個參數的BLOOM大模型,推出「AI 2.0大算力顧問服務」,整合AI基礎建設、環境開發等一站式解決方案。

台智雲技術長陳忠誠指出,目前已有高科技研發製造、金融和零售領域企業正在洽談合作中。

華碩積極發展AI應用,繼日前宣布雲創園區租金、算力祭出大優惠,台智雲也推出AI2.0大算力服務。資料照/記者呂俊儀攝
華碩積極發展AI應用,繼日前宣布雲創園區租金、算力祭出大優惠,台智雲也推出AI2.0大算力服務。資料照/記者呂俊儀攝

他並說明,AI技術結合大型語言模型已是產業科技發展的趨勢,企業要單獨執行LLM專案難度極高,利用一站式AI 2.0大算力顧問服務,可更專心投入研發專案,大幅降低進入門檻。甚至將省下數百萬美元成本。

以台智雲完成的BLOOM大模型成果為例,資料集包含46種人類語言、13種程式語言,參數量達到1,760億個,整體資料量高達1.5TB以上,運用了840個GPU做跨節點(node)訓練,除了效能逼近線性理論值外,也可收斂訓練結果,若欲增加效能,亦能用線性的方式擴容(scale out),增加GPU來提升平行運算能力。

此外,企業自行推動LLM專案,需熟悉分布式訓練架構、建置AIHPC高速運算系統、理解微調技術(fine-tune)、大模型推論(inference),布建門檻極高,若透過「AI 2.0大算力顧問服務」,可快速降低投入時間、技術成本、開發風險、硬體設備和人力投資等成本,打造自有生成式AI應用。

延伸閱讀

吸引當紅新創進駐 華碩宣布AI雲創園區「算力打七折、租金至少砍半」

【科技點點名】ChatGPT續熱「妖股衝漲逾7%」!專家:AI題材仍要回頭看Google

華碩布局醫療領域新進展 攜手奇異醫療打造台灣原生醫療影像AI服務

  • Yahoo財經特派記者 呂俊儀:資深財經媒體工作者,曾任採訪團隊主管,專訪過長榮集團創辦人張榮發、鴻海創辦人郭台銘,也歷經台積電創辦人張忠謀退休記者會等大事件,堅持產出最專業、富有洞見的新聞。