近日,中科金財在與全球著名半導體公司AMD合作的項目中,特別是在算力調優、調度和軟件生態適配等方面,取得了顯著的技術進展。
目前,中科金財已成功完成多項測試和優化工作,其中在AMD軟件生態層面積累了豐富的多機多卡訓練經驗、推理系統的模型量化、模型轉換、計算圖優化和AI框架適配經驗。
具體來說,通過與行業專家的緊密合作,中科金財利用ROCm軟件生態工具和AMD GPU利用率可視化工具進行了深入的性能分析和優化,已完成Llama2-7b、Llama2-13b、ChatGLM2模型在AMD芯片上的訓練和推理測試,覆蓋了從單機單卡到多機多卡的多種配置。經過調優,在訓練方面,GPU利用率提升了27%;在推理方面,首token返回時長(Time To First Token,TTFT)提升了35%,吞吐量(Throughput QPS,tokens/s)提升了43%,有效加快了訓練和推理過程。在測試期間,中科金財的汽車、電商和銀行的垂類大模型已經可以在AMD的高端人工智能芯片MI210上高效順暢地運行。
未來,中科金財將繼續探索算力調優工作,涵蓋AI應用場景、網絡性能、存儲性能等多個層面,將幫助行業客戶提升算力性能,降低算力成本,并助力多模態大模型的發展以及AI Agent的應用,從而幫助產業實現AGI的升級。