2025年2月25日，伦敦——GSMA创新中心GSMA Foundry今日宣布推出开放电信大语言模型基准测试（GSMA Open-Telco LLM Benchmarks）。该开源社区旨在提升大语言模型在电信专业场景中的性能，首创行业级框架用于评估AI模型在真实电信场景中的表现，并获得Hugging Face、哈利法大学、Linux基金会及多家领先移动运营商与供应商的支持。

随着AI在电信领域加速普及，大语言模型在处理电信专业技术知识、法规合规及网络故障排查方面暴露出明显缺陷。近期测试显示，GPT4¹在电信专业评估数据集TeleQnA²³中得分低于75%，在基于3GPP标准文档的3GPPTdocs分类任务⁴中得分不足40%。微软的小型模型Phi2⁵在包含500道数学题的MATH500⁶⁷基准测试中仅得10%。

这些结果凸显了当前AI模型在处理电信专业问题时的局限性。GSMA开放电信大语言模型基准测试将通过能力、能效和安全性三个维度的透明化评估来弥补这些不足。

「现有AI模型难以应对电信专业查询，常常产生不准确、误导性或不可行的建议，」GSMA人工智能计划负责人Louis Powell表示，「通过建立行业统一的基准测试体系，我们不仅能提升模型性能，更能确保电信AI的安全性、可靠性及与实际运营需求的契合度。」

支持该项目的移动运营商包括德国电信、LG U+、SK电信和土耳其电信，技术供应商华为也参与其中。

该社区鼓励运营商、AI研究者和开发者提交用例、数据集及模型进行评估。标准化测试框架确保所有AI模型都能在电信领域知识、数学推理、能耗及安全性等现实挑战中得到检验。测试结果将托管于Hugging Face平台以保证透明度并促进社区参与。

现诚邀移动运营商、供应商、初创企业及研究者通过邮件aiusecase@gsma.com提交参与意向及电信大语言模型用例，详情请访问www.gsma.com/get-involved/gsma-foundry/gsma-open-telco-llm-benchmarks。

合作伙伴致辞：

Hugging Face
产品与增长负责人Jeff Boudier表示：「作为领先的AI开发者开放平台，我们非常荣幸能支持并托管此基准测试，推动电信AI的普及与创新。」

哈利法大学
6G研究中心主任Merouane Debbah教授指出：「学术界通过 rigorous 基准测试与科学严谨性在推进电信AI发展中至关重要。我们自豪支持这一倡议，它将推动创新并增强AI模型在真实电信应用中的可靠性。」

LG U+
首席技术官李相烨表示：「正处于人类与AI智能体共存的历史转折点，电信商将在建立安全自主连接中发挥关键作用。我们将通过大语言模型技术推进AI智能体创新，并视此基准测试为实现可信智能服务的重要指引。」

Linux基金会
网络、边缘与物联网总经理Arpit Joshipura强调：「该基准测试的推出是电信业AI应用的重要里程碑。通过建立开放标准化基准，这一倡议带来了亟需的透明度与性能洞察，使运营商能 confidently 部署领域专用AI。Linux基金会的支持源于其与开放协作推动全球电信网络创新增效愿景的高度契合。」

SK电信
AI技术协作办公室主任Eric Davis认为：「此基准测试标志着电信业追求实质性AI效益的关键突破。通过标准化评估框架，我们既能推动创新，又能确保AI解决方案满足行业快速演进所需的稳健性、可靠性与精确度。」

该项目延续了去年行业对伦理化、可持续探索电信AI用例的承诺，其中GSMA负责任AI成熟度路线图帮助运营商确保从初始到演进全程贯彻最佳实践原则。

MWC25巴塞罗那AI专题
「生成式AI峰会：从实验到变革」将深入探讨生成式AI在电信领域的实际应用与变革潜力，重点议题包括AI驱动的网络优化、个性化客户体验以及生成式AI与5G及后续技术的融合。BT首席数字官Harry Singh、e&集团首席战略官Harrison Lung、亚马逊云服务行业技术总监Kaniz Mahdi及Orange首席技术官Laurent Leboucher等业界领袖将分享AI实践洞见。

其他亮点包括第七场主题演讲「科技颠覆者」中Mistral AI首席执行官Arthur Mensch探讨革命性电信AI应用，以及第十场主题演讲「AI智能体何以改变一切」中Sierra首席执行官兼OpenAI董事会成员Bret Taylor论述AI智能体对企业转型的影响。

（附录文献索引及GSMA简介略）

本资讯是由“中欧世界展会网”工作人员翻译整理，我们一家汇集全球展会时间地点资讯的服务平台，为客户提供：展位预定，参观服务，设计搭建等服务，欢迎您的来电：400-837-8606 （24小时）接听！