FlagEval 是一款面向 智能体与自动化 场景的 AI 工具，智源研究院推出的FlagEval（天秤）大模型评测平台。
FlagEval（天秤）是北京智源人工智能研究院（BAAI）推出的科学、公正、开放的大模型评测体系及开放平台，为研究人员提供全面评估基础模型及训练算法性能的工具和方法。FlagEval采用“能力-任务-指标”三维评测框架，从多个维度对大模型的认知能力进行评估，涵盖对话、问答、情感分析等多种应用场景，提供超过22个数据集和8万道评测题目。平台支持多模态模型评测，覆盖文本、图像、视频等多种数据类型，兼容多种AI框架和硬件架构。FlagEval提供自动化评测机制，支持主观与客观评测的全自动流水线，帮助研究人员高效、准确地了解模型性能，推动大模型技术的发展。 多维度评测框架 ：采用“能力-任务-指标”三维评测框架，从多个维度全面评估大模型的认知能力，涵盖对话、问答、情感分析等多种应用场景。
FlagEval（天秤）是北京智源人工智能研究院（BAAI）推出的科学、公正、开放的大模型评测体系及开放平台，为研究人员提供全面评估基础模型及训练算法性能的工具和方法。FlagEval采用“能力-任务-指标”三维评测框架，从多个维度对大模型的认知能力进行评估，涵盖对话、问答、情感分析等多种应用场景，提供超过22个数据集和8万道评测题目。
什么是 FlagEval？
FlagEval（天秤）是北京智源人工智能研究院（BAAI）推出的科学、公正、开放的大模型评测体系及开放平台，为研究人员提供全面评估基础模型及训练算法性能的工具和方法。FlagEval采用“能力-任务-指标”三维评测框架，从多个维度对大模型的认知能力进行评估，涵盖对话、问答、情感分析等多种应用场景，提供超过22个数据集和8万道评测题目。平台支持多模态模型评测，覆盖文本、图像、视频等多种数据类型，兼容多种AI框架和硬件架构。FlagEval提供自动化评测机制，支持主观与客观评测的全自动流水线，帮助研究人员高效、准确地了解模型性能，推动大模型技术的发展。 多维度评测框架 ：采用“能力-任务-指标”三维评测框架，从多个维度全面评估大模型的认知能力，涵盖对话、问答、情感分析等多种应用场景。
FlagEval（天秤）是北京智源人工智能研究院（BAAI）推出的科学、公正、开放的大模型评测体系及开放平台，为研究人员提供全面评估基础模型及训练算法性能的工具和方法。FlagEval采用“能力-任务-指标”三维评测框架，从多个维度对大模型的认知能力进行评估，涵盖对话、问答、情感分析等多种应用场景，提供超过22个数据集和8万道评测题目。
FlagEval 的主要功能
多维度评测框架
丰富的评测数据集
多模态支持
自动化评测机制
广泛的模型覆盖
排行榜与结果展示
社区参与与持续更新
注册与登录
如何使用 FlagEval
- 01进入 FlagEval 官网并完成基础设置
先通过官网进入产品，按照当前账号体系完成登录、试用或订阅开通，确认你要处理的任务类型。
- 02从最接近业务目标的功能开始
优先使用它最擅长的能力，例如 多维度评测框架，先验证输出质量和稳定性。
- 03结合标签和场景逐步形成固定用法
围绕 AI模型评测 相关需求建立自己的提示词、模板或操作路径，减少重复摸索。
- 04把结果接入你的实际流程
当结果稳定后，再把 FlagEval 放进文档生产、设计创作、开发协作或内容分发流程，而不是只停留在单次试用。
FlagEval 的应用场景
FlagEval 适合用于对话，如果你正好有这类任务，它会比泛用型工具更省时间。
FlagEval 适合用于问答，如果你正好有这类任务，它会比泛用型工具更省时间。
FlagEval 适合用于情感分析等多种应用场景，如果你正好有这类任务，它会比泛用型工具更省时间。
FlagEval 适合用于图像，如果你正好有这类任务，它会比泛用型工具更省时间。
FlagEval 适合用于视频等多种数据类型，如果你正好有这类任务，它会比泛用型工具更省时间。
FlagEval 适合用于自动化评测机制，如果你正好有这类任务，它会比泛用型工具更省时间。
常见问题
FlagEval 适合哪些人？
FlagEval 适合需要处理 智能体与自动化 相关任务的人群，尤其适合 对话、问答、情感分析等多种应用场景、图像、视频等多种数据类型、自动化评测机制 这类高频场景。
FlagEval 是否需要付费？
当前收录信息显示它的收费方式为“官网可查看”。如果你只是评估是否适合团队使用，建议先从免费额度或试用入口开始。
FlagEval 的优势主要体现在哪里？
FlagEval 当前最突出的地方在于 多维度评测框架、丰富的评测数据集、多模态支持、自动化评测机制、广泛的模型覆盖、排行榜与结果展示、社区参与与持续更新、注册与登录，所以它更适合有明确任务目标的人直接拿来落地，而不是只做泛泛体验。