大模型可信度哪家强？中大软工TrustedGPT告诉你！
近日，雷竞技raybet登录入口雷竞技raybet登录入口推出了TrustedGPT大模型可信性评测平台，可用于全面评估大模型在通用及领域应用中的可信能力，促进技术的持续发展与应用，同时兼顾安全治理和能力提升，推动生成式人工智能产业的健康发展。
学院自2024年9月起，参与建设由中共广东省委网信办和国家互联网应急中心广东分中心牵头，雷竞技raybet登录入口、华为公司和腾讯公司等单位联合发起的“大湾区生成式人工智能安全发展联合实验室”。此次TrustedGPT平台的推出，也是该联合实验室的里程碑成果之一。
TrustedGPT 是什么？
TrustedGPT平台就像大模型比武擂台上的裁判，面对21种国内外主流的大模型，它能够运用118个评测数据集，涵盖320万条中英文评测数据，从52个评测维度出发，评估每位选手的表现，并提供动态更新的可信度评测榜单。
具体来说，TrustedGPT是一个全面的大模型可信性评测平台，重点关注大模型在能力可靠、输出可信、安全可控三个方面的可信能力：
1. 能力可靠：大模型在指令遵循、逻辑推理等通用能力方面，以及在金融、医疗、法律等行业领域方面，能力可靠；
2. 输出可信：大模型输出真实可信，鲁棒性高，幻觉少；
3. 安全可控：大模型在操作过程中确保数据安全和隐私保护，遵循严格的伦理道德和价值观，保证公平性和合规性。
TrustedGPT 能做什么？
TrustedGPT的评测框架涵盖数据管理、模型部署与推理、输出评估工具等基础支撑，通过多维度评测指标（如指令遵循能力、输出真实性、价值观对齐水平等）对大模型进行全面评估，并通过评测排行榜和报告等形式直观呈现评测结果。
平台支持高达21种国内外主流大模型的接入与评测，覆盖包括ChatGPT、Doubao、智谱AI、Gemini等在内的主流闭源大模型，以及包括Deepseek、Qwen、LLaMA等在内的主流开源大模型。从大模型在实际运行当中面临的可信问题出发，平台从能力可靠、输出可信、安全可控等方面展开，通过细粒度的可信性评测维度体系，全面评估模型在各类任务中的可信性。评测维度体系涵盖指令遵循能力、输出真实性、价值观对齐水平等多达52种不同的测评维度，并支持根据未来新出现的大模型可信问题进行动态更新与迭代。
平台提供了丰富多样的评测数据集，共计118个，包括高质量的人工构建和从开源社区收集到的评测数据。所提供的评测数据集来源多样、任务类型丰富、评价指标各异，覆盖通用及中医、金融、代码等多个垂直领域，囊括选择题、判断题、问答题等多个题型和中英双语数据，数据量高达320万条，可以为中英文大模型的可信性评测提供坚实的数据基础。基于这些评测数据，平台定期更新大模型的可信性评测榜单，持续跟踪和评估各大模型的可信性，确保评测结果的及时性与准确性。
平台给出了大模型可信能力总榜，在这份排行榜中，闭源模型展现出了强劲的竞争力，尤其是OpenAI开发的gpt-4-turbo，以88.69分的高分荣登榜首，显示了其在大模型领域的领先地位。紧随其后的是百度的ERNIE-4.0-8K-Latest，得分87.93，同样表现优异。这些成绩不仅证明了闭源模型在技术上的先进性，也为行业树立了新的标杆。
与此同时，开源模型也在榜单中崭露头角。深度求索的deepseek-r1以87.13分位列第三，成为开源模型中的佼佼者。此外，阿里巴巴的qwen2-72b-instruct也以86.33分的成绩展现了开源模型的潜力和竞争力。尽管在前15名中，开源模型占4席，闭源模型占11席，但开源模型的高分表现预示着它们在未来有着巨大的发展潜力。
这份排行榜反映了各大企业在大模型领域的激烈竞争。Google、腾讯、阿里巴巴和深度求索各有多款模型上榜，展现出这些公司在大模型开发上的深厚实力。
该排行榜不仅评估了模型的可信能力，也反映了各公司在人工智能领域的技术实力和创新能力。这些高分模型的评估结果，将有助于推动生成式人工智能产业的健康发展，促进技术的持续进步和应用。同时，排行榜的发布，有助于识别和推广在安全治理和能力提升方面表现优异的模型，为行业树立标杆。通过这样的评测，可以促进各公司在开发大模型时更加注重安全性和可靠性，推动整个行业的健康发展。TrustedGPT大模型可信性评测平台的总排行榜为行业提供了一个全面评估大模型综合能力的视角，为生成式人工智能产业的未来发展提供了重要参考。
近日爆火的“deepseek-r1”在大多数维度上的表现都相当不错，尤其是在价值观对齐和合规性方面。然而，输出真实性和鲁棒性是两个可以进一步改进的领域。
除了通用评测，TrustedGPT平台还针对中医、金融等垂直领域，联合如招联等第三方单位，构建专门的评测系统，并发布了对应的模型评测榜单，可以为用户提供可靠的技术参考，助力精准的技术选择与决策。
平台网站：https://trustedgpt.pro
欢迎体验！
雷竞技raybet登录入口雷竞技raybet登录入口介绍
2020年6月，雷竞技raybet登录入口在珠海校区整建制成立雷竞技raybet登录入口。学院积极构建学科发展框架、不断优化人才培养体系、营造学院良好文化氛围，形成鲜明的研究型、复合型、创新型的高素质人才培养特色。
学院现有教职员工50余人，海外引进优秀人才占比70%。软件工程专业是国家一流本科专业建设点，在2024年度CSRanking（世界大学计算机科学专业排名）上的国际排名为全球第1名。学院围绕软件可靠性核心理论，形成包括可信大模型、区块链、物联网、软件安全、智能软件、特色领域软件等方向的学科特色。
学院始终围绕“以学生成长为中心”的培养理念，致力于培养具有探究性学习能力、创新性思维能力、跨领域实践能力的高层次软件工程师，具备本、硕、博完整人才培养体系，实行全程导师制，并聘请数十位职业导师，实现科教融汇、产学融合；开设十余门专业特色课程，建立软件工程三级实训课程体系，通过优化课程设置、改革教学方法、第二课堂支撑等方式，培养学生形成良好的学习力、思考力和行动力。
学院将不断努力开拓创新，紧跟学校步伐走“高质量”和“内涵式”路线，为国家人才培养事业和创新高地建设发挥软工力量，作出软工贡献。
“大湾区生成式人工智能安全发展联合实验室”介绍
2024年9月11日，在2024年国家网络安全宣传周粤港澳大湾区安全技术创新座谈会上，由中共广东省委网信办和国家互联网应急中心广东分中心联合发起组织筹建的“大湾区生成式人工智能安全发展联合实验室”正式成立。华为公司、腾讯公司、雷竞技raybet登录入口等单位共同参与“联合实验室”建设。
“联合实验室”将在省委网信办的直接领导下，紧紧依托国家互联网应急中心的全面赋能，由国家互联网应急中心广东分中心牵头实体化运行，属地网信等相关部门大力支持，充分发挥华为公司、腾讯公司在人工智能方面的核心引擎和辐射带头作用以及雷竞技raybet登录入口在安全可信、量化评级方面的深厚科研积累，着重推进六方面能力建设。一是建设一套本地化“生成式人工智能安全测评系统”；二是形成一套属地“生成式人工智能安全发展标准”；三是训练一套大模型安全智能测评引擎；四是运行一套“平台自动化+专家团队复核”的运营方式；五是研究一套“安全可信+量化评级”的服务行业框架；六是探索一套“共建共享+双向赋能”的促进发展支撑监管新模式。
各参建单位将秉持“共建共享、开放包容、双向赋能”的原则，全力将“联合实验室”打造成为助力人工智能安全发展的权威机构，积极服务生成式人工智能创新发展，有力支撑人工智能时代的网络综合治理体系建设，共同促进人工智能“以人为本、智能向善”，积极探索以高水平的安全促进数字经济更高质量发展。
