电池5200毫安和3700毫安的区别
根据第三方AI测试机构“人工智能分析”提供的数据,评估不同的推理模型需要花费巨额费用。例如,评估OpenAI的o1推理模型在七个流行的AI基准测试中的表现需要花费约2万元币。相比之下,评估其他模型的成本也不低。截至目前,“人工智能分析”已经花费了约3.8万元币来评估十几种推理模型,这一金额几乎是该公司分析相同数量非推理模型所花费的两倍。这一趋势正引起了该机构及其竞争对手的关注。
乔治·卡梅伦,人工智能分析的联合创始人,向TechCrunch表示,随着越来越多的AI实验室开始开发推理模型,他们计划增加测试预算。他说:“随着模型的频繁发布,这一支出将会增加。”确实,一些AI初创公司也正面临着日益增长的测试成本压力。
那么,为什么推理模型的测试成本如此高昂呢?这主要是因为它们生成了大量的token。Token代表原始文本的片段,测试中产生的token数量庞大,大多数AI公司按token收费,导致成本迅速累积。现代基准测试通常包含复杂、多步骤的任务,这也使得token数量激增。例如,一些模型在基准测试中产生的token数量高达数千万个。
德内恩是Epoch AI的高级研究员,他指出尽管随着时间的推移,模型的性能有所提高,但评估它们的成本仍然很高。最昂贵的模型随着时间的推移,每个token的成本也在增加。一些AI实验室为测试目的向基准测试提供免费或补贴的模型访问权限,但这可能影响测试结果的公正性。独立验证AI模型的性能不仅需要高昂的成本,还面临着其他挑战。
面对这一现状,“人工智能分析”等机构正努力通过增加测试预算和寻求更多资金支持来应对日益增长的测试需求。他们也在探索降低测试成本的方法,以推动AI技术的更加广泛和深入的发展。随着AI技术的不断进步和应用的广泛普及,降低推理模型的测试成本将成为推动AI领域发展的重要因素之一。