孔雀手游网-真有意思的资讯攻略手游平台
您的位置:首页 > 孔雀资讯 > 开源逆袭:TAO 方法微调 Llama 模型,FinanceBench 跑分超 GPT-4o

开源逆袭:TAO 方法微调 Llama 模型,FinanceBench 跑分超 GPT-4o

  • 时间:2025-04-11 15:53:11
  • 来源:孔雀手游网
  • 作者:孔雀手游网
  • 本站 3 月 27 日消息,科技媒体 NeoWin 昨日(3 月 26 日)发布博文,报道称数据智能公司 Databricks 发布新型大语言模型微调方法 TAO(Test-time Adaptive Optimization),通过无标注数据和强化学习技术,在显著降低企业成本的同时提升模型性能。

    开源逆袭:TAO 方法微调 Llama 模型,FinanceBench 跑分超 GPT-4o

    开源逆袭:TAO 方法微调 Llama 模型,FinanceBench 跑分超 GPT-4o

    开源逆袭:TAO 方法微调 Llama 模型,FinanceBench 跑分超 GPT-4o

    测试显示,在金融文档问答和 SQL 生成任务中,通过 TAO 微调后的 Llama 3.3 70B 模型,表现甚至超越传统标注微调方法,逼近 OpenAI 顶级闭源模型。

    开源逆袭:TAO 方法微调 Llama 模型,FinanceBench 跑分超 GPT-4o

    开源逆袭:TAO 方法微调 Llama 模型,FinanceBench 跑分超 GPT-4o

    TAO 方法利用测试时计算(test-time compute)自动探索任务可能性,结合强化学习优化模型,省去人工标注成本。在三大企业基准测试中,TAO 微调的 Llama 模型表现亮眼:

      FinanceBench(7200 道 SEC 文档问答):TAO 模型得分 85.1,优于标注微调(81.1)和 OpenAI o3-mini(82.2)。

      BIRD-SQL:TAO 模型 56.1 分,接近 GPT-4o(58.1),远超标注微调(54.9)。

      DB Enterprise Arena:TAO 模型 47.2 分,而 GPT-4o 模型得分为 53.8 分。

      TAO 技术为开源模型提供了持续进化路径:用户使用越多,模型通过反馈数据自我优化的潜力越大,目前该技术已在 Llama 模型上启动私测,企业可通过申请表单参与。

    点击排行榜

    近期热点

    本类最新

    Copyright© 2024 All rights reserved. 版权所有 孔雀手游网

    浙ICP备18037638号-1 联系:bbbmo678@126.com 网站地图

    抵制不良游戏,拒绝盗版游戏。 注意自我保护,谨防受骗上当。 适度游戏益脑,沉迷游戏伤身。 合理安排时间,享受健康生活