12月6日，在中共上海市委金融委員會辦公室、上海市經濟和信息化委員會的指導下，上海市人工智能行業協會和上海金融業聯合會聯合發布全國首個以金融業務能力為核心的團體標准《金融大模型應用評測指南》，上海庫帕思科技有限公司發布多維度金融大模型評測數據集（2024版）。市委金融辦副主任葛平出席並見証發布儀式。出席儀式的還有來自市委金融辦、市經信委相關處室、本市行業協會和相關組織、金融機構、金融科技企業、高校學者和媒體代表，共計100余人參加。

《金融大模型應用評測指南》，以金融業務為核心，以金融機構模型應用為導向，從模型基礎、金融安全與價值對齊、金融風險控制、金融專業認知、金融業務輔助拓展等5個維度185項指標要求，構建了金融領域大模型的能力測評框架。模型基礎能力方面，圍繞模型基礎理解和推演功能，指南定義了包括文本分類、信息抽取等在內的11項單模態、圖文檢索、視頻問答等在內的6項多模態指標要求。金融安全與價值對齊能力方面，圍繞模型的可靠性、可解釋性以及隱私保護，指南設計了內容合規、文化價值、倫理價值等在內的9項指標要求。金融風險控制能力方面，圍繞模型在實際應用中的風險防范與控制，指南提出了利率風險、匯率風險、輿情風險等在內的19項指標要求。金融專業認知能力方面，圍繞模型的金融基礎知識和信息解讀，指南歸納了會計核算、財務報表編制與分析等在內的23項指標要求。金融業務輔助拓展能力方面，圍繞銀行、基金、保險、証券、信托等5個領域，指南提煉了28項業務場景，包括存貸款業務、量化交易等在內的117項指標要求。《金融大模型應用評測指南》同步細化了相關的評測內容，給出了相關的評測方法與工具，並以附錄的形式給出了評測分級標准。

金融大模型評測數據集（2024版），以金融業務的是叫，結合金融行業的實踐，是金融領域大模型應用成效評測的重要抓手。評測數據集比照最高水平、最好標准，具有規模大、結構優、價值對齊等特點，符合金融領域對知識鮮活度、多樣性和高密度的整體要求。金融機構比照《金融大模型應用評測指南》能力測評框架，共設計評測數據44000余句對。聚焦“模型基礎能力”，圍繞計算能力、邏輯推理等6個維度，設計評測數據22000余句對。聚焦“金融安全與價值對齊能力”，圍繞信息內容、社會秩序等13個維度，設計評測數據2000余句對。聚焦“金融風險控制能力”，圍繞合規、市場、操作等5類金融風險，設計評測數據1000余句對。聚焦“金融業務輔助拓展能力”，圍繞輿情分析、智能投研等3項業務場景，設計評測數據12000余句對。聚焦“金融專業認知能力”，圍繞金融專業知識、IPO圖表等6種知識類型，設計評測數據7000余句對。后續，金融評測數據集將定期更新，樣例集已在Open Data Lab和開放原子社區發布。

《金融大模型應用評測指南》和金融大模型評測數據集的發布是深化金融垂類應用，規范和引導金融領域用好模型的重要裡程碑。相關評測報告也將在近期發布。

分享讓更多人看到