x-octo 首页 AI 应用的生意判断
EN

AI 应用的生意判断

Artificial Analysis

持续观察

Artificial Analysis 是模型评测与对比平台,持续发布各模型的智能指数、性能与价格数据,并新增按用例自定义基准的能力。它服务的是选型与评测环节,本身不交付面向终端业务的成果。

开始收费 早期 基础层社区热度 372
团队 / 作者
Gcam
本站首次收录
2026-08-14
本站最近更新
2026-11-11
产品官网
查看官网 ↗

01

它为什么会被需要

从用户的一天开始 · 公开事实 + 工作流推理 · 2026-08-28

使用场景

用你自己的任务测模型:跑完直接看分数、花了多少钱、快还是慢

公开材料尚未说明用户目前如何完成这项工作、它实际替代了什么。

它试图减少完成这项任务时的摩擦;公开用户材料尚未说明不解决的具体代价、发生频率或后果。

xOcto 的判断

这是把"评测"从一个公共产品变成一个私有工具。 公共榜单的价值在于横比, Optima 的价值在于竖比——只回答"你的任务上谁最好"。两者不冲突, Optima 反而给榜单吸引了更多愿意自己动手的用户。

趋势是选模型从看总榜变成用自己的活来测。切入做企业采购前的选型:同一任务比准不准、价钱和快慢,按评测场次收费,不要再做一张人人都能看的总榜。

使用理由

为什么用户会选择它

它承诺用更直接的方式完成这项任务:用你自己的任务测模型:跑完直接看分数、花了多少钱、快还是慢;具体采用动机与持续使用情况尚未核验。

还不能轻易下结论的地方

真正值得继续追问的矛盾

① Optima 的付费评测量三个月内有没有公开的增长数据(跑过的基准数、企业客户数); ② 评测结果能否导出可复现的报告(评分方法、judge 模型、版本号)——这决定它能不能进入企业的正式选型流程; ③ 它会不会把"agent 自己造基准、自己跑评测"纳入主流程——这才是真正改变工作方式的地方

如果你正在做这项工作

继续观察。它承诺用更直接的方式完成这项任务:用你自己的任务测模型:跑完直接看分数、花了多少钱、快还是慢;具体采用动机与持续使用情况尚未核验。

怎样切入 / 可以借走什么

如果你在做任何"帮用户做决定"的产品,把决定权交还给用户的具体任务, 而不是提供一份平均分。平均分只能引流,私有评测才收得到钱。 把评分和算力分离定价,赚组织层的钱而不是算力差价。

证据与风险

按用量收费:跑基准按所用模型的原始 token 成本计费,"不加任何加成"(官方原话);; rubric 评分每个标准、每条模型 $0.125;两两对比评分每对 $0.375。; 各阶段先按预估冻结信用额度,结束后只扣实际用量。 ① Optima 的付费评测量三个月内有没有公开的增长数据(跑过的基准数、企业客户数); ② 评测结果能否导出可复现的报告(评分方法、judge 模型、版本号)——这决定它能不能进入企业的正式选型流程; ③ 它会不会把"agent 自己造基准、自己跑评测"纳入主流程——这才是真正改变工作方式的地方

我们凭什么这样判断
公开事实

Artificial Analysis 是模型评测与对比平台,持续发布各模型的智能指数、性能与价格数据,并新增按用例自定义基准的能力。它服务的是选型与评测环节,本身不交付面向终端业务的成果。

工作流推理

它承诺用更直接的方式完成这项任务:用你自己的任务测模型:跑完直接看分数、花了多少钱、快还是慢;具体采用动机与持续使用情况尚未核验。

会改变判断的未知

公开补证:查找官方定价、客户案例或部署文档,确认谁付钱、不使用的代价及可确定交付的结果。

01 · 价值 证据不足

产品主张帮助用户完成:“Artificial Analysis 是模型评测与对比平台,持续发布各模型的智能指数、性能与价格数据,并新增按用例自定义基准的能力。它服务的是选型与评测环节,本身不交付面向终端业务的成果”。具体痛点强度与不采用代价尚未由用户证据核验。

02 · 共识 证据不足

已有采用或关注仍应记录,但不能替代痛点证据;未见持续使用、部署、复购或公开用户反馈,不能据此判断是否形成共识。

03 · 模式 证据不足

付费主体、定价与单位经济尚未核验;这是商业证据缺口,不反推问题不存在。

04 · 求真 证据不足

交付能否稳定发生、以及人工与安全边界,尚缺可复现的公开证据。

02

中英文生态与跨国机会

市场对照

英文生态 · English-language market

本地供给:早期出现
需求证据:初步成立

已覆盖的英文生态公开项目发布与开发者讨论。 · 2026-11-11

03

60 秒生意判断

先给出判断与下一步,再保留完整证据和反例。

一句话定位

把"用通用榜单选模型"改成"用你自己的任务造一个基准,跑完直接看分数、成本和时延", 让模型选型从拍脑袋变成可复现的测量。

做这个东西的人

Artificial Analysis,一家独立的第三方模型评测公司,由 George Cameron 联合创立。 长期运营模型智能指数(Intelligence Index,现 v4.1)和各类榜单,公开评测 150+ 模型, 2026 年中还推出了按 O*NET 职业分类加权的六个行业指数(金融、法律、医疗、运营、工程、经济)。

判断:选型评测是它的老本行,Optima 是把自家评测能力产品化的一次尝试。 它不是从零做的新玩家,而是给已有的权威榜单加了一个"你自己来造"的出口。

它到底能做哪几件事

  • 造自己的基准 → 描述任务、上传示例、导入自己的对话轨迹,或让构建 agent 起草任务和评分标准(rubric),支持小批量(示例页展示 24 题)
  • 四种评测类型 → Q&A(有标准答案)、文档问答(基于上传文件)、Agentic(用工具完成交付物)、Interaction(模拟真实对话,coming soon)
  • 横比多家模型 → 跑完后给出每个模型的分数、单任务成本、单任务时延;也支持把自己的 agent 通过 HTTP 接入同一场评测
  • 两种评分方式 → 按自定义 rubric 逐条评分,或用评测界常用的 judge 模型做两两对比

它明确不做:不造新模型,不造新基准集,也不替你做"该选谁"的决策——它只把评测这件事标准化。

它在替代什么旧行为

以前选模型有两条路,都不好用。

一条是看通用榜单:MMLU、智能指数这类平均分。它对"我要做合同审阅"这个具体场景没有区分度—— 榜首模型不一定在你的任务上最好,但平均分让人误以为它最好。

另一条是自己搭评测:写一版 eval 脚本,接 API,用你自己的几十条样例跑一遍,再手工比对输出。 每个团队都重复搭同一套东西,搭完还没人维护,下一轮模型发布又得重跑。

Optima 替代的是第二条里的全部脏活:样例组织、rubric 编写、批量跑分、结果汇总。 把"搭一次评测"的成本从以人日计压到以 token 计,把"选型靠榜单"变成"选型靠你自己的任务"。

商业模式

按用量收费:跑基准按所用模型的原始 token 成本计费,"不加任何加成"(官方原话); rubric 评分每个标准、每条模型 $0.125;两两对比评分每对 $0.375。 各阶段先按预估冻结信用额度,结束后只扣实际用量。

判断:这是"评测即服务"的定价——赚的不是跑模型的差价,而是评分和评测组织费用。 有意思的是评测者自己成了评测的裁判之一,这在信任上需要长期维护。

硬数字

  • 公司在评测界的公开记录:150+ 模型、Intelligence Index v4.1、六个行业指数、GDPval-AA v2(覆盖 44 个职业、9 个行业)
  • HN 首发:10 分、0 评论(2026-08-13 前后)
  • 团队规模、Optima 付费用户数:未披露
  • 站方月访问量约 420 万(第三方估算,未经官方确认)

四维评估

维度 结论
创始人-产品匹配度 评测公司做评测工具,天作之合,且公司已有数年公开记录
产品洞察力 抓住"通用榜单对具体场景无区分度"这个缺口,把评测权力交还给用例本身
技术实现质量 未披露,但 rubric 评分定价极细($0.125/标准/模型),说明后台有成熟的 judge 流水线
市场时机 恰逢其时。模型发布频率和 agent 工作负载都在涨,"用自己任务选模型"的需求刚被点燃

判断

这是把"评测"从一个公共产品变成一个私有工具。 公共榜单的价值在于横比, Optima 的价值在于竖比——只回答"你的任务上谁最好"。两者不冲突, Optima 反而给榜单吸引了更多愿意自己动手的用户。

可迁移的规律:评测权归用例,选型才成立。 任何一个要反复选供应商的场景 (云、模型、API、甚至外包团队),都可以造一套"用你的真实任务打分"的评测流程, 而不是信任一份公共排名。公共排名平均掉了对你最重要的那一维。

风险在于"谁评裁判"。 评测公司同时做评分工具,长期看信任取决于评分是否可复现、可审计。 rubric 逐条评分比两两对比更可审计,这个设计是对的。

另一个问题:评测是一次性的还是持续的?如果每轮新模型发布都要重跑, Optima 的价值随使用频率线性增长;如果只是选型时用一次,它就是一个低频工具,市场天花板有限。

下一步看什么

① Optima 的付费评测量三个月内有没有公开的增长数据(跑过的基准数、企业客户数) ② 评测结果能否导出可复现的报告(评分方法、judge 模型、版本号)——这决定它能不能进入企业的正式选型流程 ③ 它会不会把"agent 自己造基准、自己跑评测"纳入主流程——这才是真正改变工作方式的地方

可借鉴的做法

产品逻辑:如果你在做任何"帮用户做决定"的产品,把决定权交还给用户的具体任务, 而不是提供一份平均分。平均分只能引流,私有评测才收得到钱。

定价结构:把评分和算力分离定价,赚组织层的钱而不是算力差价。

结论

持续观察。 公司可信、方向成立、切入的是真痛点。但 Optima 刚上线,HN 反响平平, 付费数据和评测可复现性都还没被证明。记下来,拿上面三条验证。

04

可核验公开证据

证据链

05

从产品名直接追到一手材料

产品官网缺失或当前链接只是线索时,从这些检索入口继续核验。