項目概況
項目背景
2023年10月，衛(wèi)寧健康發(fā)布了面向醫(yī)療垂直領(lǐng)域的大模型WiNGPT，能夠精確滿足各種業(yè)務(wù)需要，具有較高的準確率和較低的誤診可能性，幫助醫(yī)院提升了診療效率。
當(dāng)下，面對精益化運營的需求，為縮短WiNGPT生成時間，保障用戶體驗，同時降低大模型的部署成本，以更好地釋放大模型在智慧型醫(yī)療業(yè)務(wù)中的應(yīng)用潛力，衛(wèi)寧健康亟需進行全新算力方案開發(fā)，以加快人工智能驅(qū)動的醫(yī)療信息整合解決方案的更好實施。
解決方案
為滿足客戶低成本、高性能的算力建設(shè)訴求，超集信息基于第五代英特爾? 至強?可擴展處理器平臺，幫助其完成了WiNGPT推理平臺構(gòu)建。
超集信息基于 CPU 的大模型推理方案，在滿足性能要求的同時更具成本優(yōu)勢，助力加速醫(yī)院的大模型部署。方案高效利用第五代英特爾? 至強? 可擴展處理器，通過內(nèi)置的英特爾? 高級矩陣擴展（英特爾? AMX）等加速器進行模型推理，推理性能相較于基于英特爾? 至強? 可擴展處理器的平臺提升超過 3 倍，性價比較GPU方案提升13%，可滿足醫(yī)技報告自動生成等場景對于推理性能的要求，助力加速醫(yī)療機構(gòu)的大模型應(yīng)用拓展。
客戶價值
由超集信息調(diào)優(yōu)的算力方案充分釋放第五代英特爾? 至強? 可擴展處理器的 AI 性能優(yōu)勢，能滿足報告自動生成等場景對于模型推理性能的要求，縮短生成時間，保障用戶體驗；控制算力平臺構(gòu)建成本，提升經(jīng)濟性：方案可利用醫(yī)療機構(gòu)部署的通用服務(wù)器進行推理，無需額外部署專用的推理服務(wù)器，有助于降低相關(guān)采購、部署、運維、能耗等成本；兼顧大模型與其他信息化應(yīng)用： 方案可采用 CPU 進行推理，醫(yī)療機構(gòu)可根據(jù)任務(wù)需求靈活地在大模型推理與其他信息化應(yīng)用之間進行 CPU 算力資源調(diào)配，提升算力分配的敏捷性與靈活性。
