近日，中科金財在與全球著名半導體公司AMD合作的項目中，特別是在算力調優、調度和軟件生態適配等方面，取得了顯著的技術進展。
目前，中科金財已成功完成多項測試和優化工作，其中在AMD軟件生態層面積累了豐富的多機多卡訓練經驗、推理系統的模型量化、模型轉換、計算圖優化和AI框架適配經驗。
具體來說，通過與行業專家的緊密合作，中科金財利用ROCm軟件生態工具和AMD GPU利用率可視化工具進行了深入的性能分析和優化，已完成Llama2-7b、Llama2-13b、ChatGLM2模型在AMD芯片上的訓練和推理測試，覆蓋了從單機單卡到多機多卡的多種配置。經過調優，在訓練方面，GPU利用率提升了27%；在推理方面，首token返回時長（Time To First Token，TTFT）提升了35%，吞吐量（Throughput QPS，tokens/s）提升了43%，有效加快了訓練和推理過程。在測試期間，中科金財的汽車、電商和銀行的垂類大模型已經可以在AMD的高端人工智能芯片MI210上高效順暢地運行。
未來，中科金財將繼續探索算力調優工作，涵蓋AI應用場景、網絡性能、存儲性能等多個層面,將幫助行業客戶提升算力性能，降低算力成本,并助力多模態大模型的發展以及AI Agent的應用，從而幫助產業實現AGI的升級。
