大模型盲测榜单更新!Yi-Large跻身全球前七,李开复谈价格战影响

首页 > 科技

大模型盲测榜单更新!Yi-Large跻身全球前七,李开复谈价格战影响

来源:海底探探 发布时间:2024-05-24 13:24

作者 | ZeR0

编辑 | 漠影

智东西5月21日报道,本日,着名大模型竞技场LMSYS Chatboat Arena盲测评测结果更新,国内大模型独角兽零一万物的千亿参数闭源大模型Yi-Large在最新总榜中排名世界第七,中国大模型中第一,超过Llama-3-70B、Claude 3 Sonnet;其中文分榜更是与GPT-4o并列第一。

LMSYS Chatboat Arena由第三方非营利组织LMSYS Org发布,其盲测结果来自至今积累超过1170万的全球用户真实投票数。此次共有44款模型参赛,既包含了开源大模型Llama 3-70B,也包含了各家大厂的闭源模型。

Chatbot Arena评测过程涵盖了从用户直接参与投票到盲测,再到大规模的投票和动态更新的评分机制等多个方面,这些因素共同作用,确保了评测的客观性、权威性和专业性,能够更准确地反映出大模型在实际应用中的表现。

上周OpenAI的GPT-4o的测试版本便以“im-also-a-good-gpt2-chatbot”的马甲闯进Chatbot Arena排行榜,排名超过GPT-4-Turbo、Gemini 1 .5 Pro、Claude 3 0pus、Llama-3-70b等一众国际大厂当家基座模型。OpenAI CEO Sam Altman也在Gpt-4o发布后切身转帖引用LMSYS arena盲测擂台的测试结果。

从最新公布的Elo评分来看,GPT-4o以1287分高居榜首,GPT-4-Turbo、Gemini 1 5 Pro、Claude 3 Opus、Yi-Large等模型则以1240左右的评分位居第二梯队。

排名前6的模型分别来自海外巨头OpenAI、Google、Anthropic,且GPT-4、Gemini 1.5 Pro等模型均为万亿级别超大参数规模的旗舰模型,其他模型也都在大几千亿参数级别。

零一万物是总榜上唯一一家自家模型进入排名前十的中国大模型企业,按机构排序位于OpenAI、Google、Anthropic之后,排名第四。Yi-Large大模型以仅千亿参数量级排名第7,评分为1236。

其后Bard(Gemini Pro)、Llama-3-70b-Instruct、Claude 3 Sonnet的成绩则下滑至1200分左右;阿里巴巴的Qwen-Max大模型Elo分数为1186,排名第12;智谱AI的GLM-4大模型Elo分数为1175,排名第15。

为了提高Chatbot Arena查询的整体质量,LMSYS还实施了重复数据删除机制,并出具了去除冗余查询后的榜单。这个新机制旨在消除过度冗余的用户提示,如过度重复的“你好”。这类冗余提示可能会影响排行榜的准确性。LMSYS公开表示,去除冗余查询后的榜单将在后续成为默认榜单。

在去除冗余查询后的总榜中, Yi-Large的Elo得分更进一步,与Claude 3 Opus、GPT-4-0125-preview并列第四。

上一篇:苹果和OpenAI... 下一篇:智界S7“答网...
猜你喜欢
热门阅读
同类推荐