Moonshot AI 让 Kimi 从编程转向科学研究
月之暗面不再追逐编程基准分数,转而让 Kimi 模型面向生物、化学与制药研究,因为科学任务对模型能力的要求更高。
推荐理由:涉及模型与基准 · 24 小时内发布
共 34 条 · 全部主题 →
月之暗面不再追逐编程基准分数,转而让 Kimi 模型面向生物、化学与制药研究,因为科学任务对模型能力的要求更高。
推荐理由:涉及模型与基准 · 24 小时内发布
Vera Rubin 平台首次参加 MLPerf 就在训练、后训练和智能体推理上拿下领先成绩,英伟达包揽了全部项目。
推荐理由:官方来源 · 涉及推理与智能体 · 24 小时内发布
这项研究让前沿大模型做编码智能体写调度启发式算法,与商业求解器在未解实例上一较高下。
推荐理由:涉及模型与智能体 · 与本主题相关
这个数据集用真实世界的隐私修复案例,检验代码智能体审查时能否发现 GDPR 这类法规要求的隐私缺陷。
推荐理由:涉及智能体与基准 · 与本主题相关
这个评测把 LLM 智能体放进异构多智能体经济,考察它们处理长程任务乃至经营管理的能力。
推荐理由:涉及大模型与智能体 · 与本主题相关
OCTAVE把完整的HTML5游戏生成拆成按能力划分的评测维度,不再只用一个总分来衡量智能体能否协调规则、交互、状态与呈现。
推荐理由:涉及智能体与基准 · 与本主题相关
这个评测用最新的日本金融资格考试题持续考查大模型的金融能力,避免题目泄露过期。
推荐理由:涉及模型与大模型 · 与本主题相关
这个评测考察大模型能否发现实验方案里看似流畅却物理上不可行的部分。
推荐理由:涉及模型与大模型 · 与本主题相关
这项工作不再只看编程智能体任务成没成,而是分析它的行为轨迹,揭示成功与失败是怎么产生的。
推荐理由:涉及智能体与基准 · 与本主题相关
这项研究指出,部署中的模型答案会被质疑、会动摇,而评测只测单打独斗,于是让模型从自我分歧中学习。
推荐理由:涉及模型与基准 · 与本主题相关
这项研究拿 Vals 金融智能体评测自带的参考智能体做试验,检验它会不会漂移、如何诊断并可审计地干预。
推荐理由:涉及智能体与基准 · 与本主题相关
这个框架为电商网页智能体提供可控、可复现的真实仿真环境与可扩展的评测。
推荐理由:涉及智能体与基准 · 与本主题相关
这项研究在不同场景和任务要求下评估大模型的冒险倾向,系统地衡量模型是偏保守还是偏激进。
推荐理由:涉及模型与大模型 · 与本主题相关
BigCodeBench 用包含多样函数调用和复杂指令的任务评测大模型写代码的能力,比只看简单代码片段的基准更贴近真实开发场景。
推荐理由:涉及模型与大模型 · 与本主题相关
这项研究提出一个便携的筛查方法,先验证大模型的置信度信号是否真的随正确率变化,再用它来做弃答、路由和升级决策。
推荐理由:涉及大模型与基准 · 与本主题相关
REFORGE 用反编译二进制函数命名任务来评测大模型的逆向工程能力,回应了威胁情报中大模型参与逆向工程的现实。
推荐理由:涉及模型与大模型 · 与本主题相关
这项研究发现,编码智能体常在最后一公里掉链子:功能大体建成却丢了需求或测试不全,而在编码任务上做的强化学习可以在基准之间迁移。
推荐理由:涉及智能体与基准 · 与本主题相关
CastWorld 把智能体时间序列预测从一次性数值预测扩展到自主的上下文感知交互,评测维度超越了单纯的预测精度。
推荐理由:涉及智能体与基准 · 与本主题相关
当物联网时间序列遇上专家报告等外部文本时,这项基准专门诊断两者信号一致、冲突或缺失时,预测模型到底会如何表现。
推荐理由:涉及多模态与基准 · 与本主题相关
当GPU租赁市场的报价缺失时,每日定价基准可能失真,这项研究在四种受控缺失模式下检验了常用中位数规则的稳健性。
推荐理由:涉及基准 · 与本主题相关
这个合成评测考察因果发现方法能否从过程数据中找出真正驱动产品质量、产量或能耗的变量。
推荐理由:涉及基准 · 与本主题相关
这个评测用 70 个来自 13 个领域的真实职场任务,考查前沿模型处理专业工作簿的能力。
推荐理由:涉及模型与基准 · 与本主题相关
这个评测让中文语法纠错直面手写作文图像,要求修改有据可依,而不是只做文本到文本的转换。
推荐理由:涉及基准 · 与本主题相关
LEGAL-UQA 提供了一个英乌双语平行基准,用来检验法律信息助手能否可靠地帮乌尔都语使用者理解自己的宪法权利。
推荐理由:涉及基准 · 与本主题相关
ViroGym 为蛋白质语言模型提供了一套真实的大规模基准,系统检验它们对病毒蛋白突变效应的零样本预测能力。
推荐理由:涉及模型与基准 · 与本主题相关
TransitLM 提供了一个大规模数据集和基准,让模型无需结构化地图基础设施就能规划公交路线。
推荐理由:涉及基准 · 与本主题相关
URSA 提供了一个化学感知的基准,用来评估为目标分子寻找合成路线的规划能力,服务药物发现中的逆合成任务。
推荐理由:涉及基准 · 与本主题相关
NaijaFacts 针对非洲语言多语言基准只测翻译、不测本土知识的问题,专门检验模型对尼日利亚事实的真实掌握。
推荐理由:涉及基准 · 与本主题相关
Abacus.AI 把同一套微调方法用在三个差异很大的开源权重模型上,提升落点各不相同,这比单一基准分数更能说明问题。
推荐理由:涉及模型与基准 · 与本主题相关
新模型在部分任务上的成功率最高翻倍,同时发布了开放的安全基准来测试越狱风险。
推荐理由:涉及模型与Gemini · 与本主题相关
OpenAI 推出 BioBasicsBench,用 100 项任务测试智能体解读原始实验数据、完成日常湿实验工作的水平。
推荐理由:官方来源 · 涉及智能体与基准
Phonon TTS 把高质量语音合成做到设备本地,基准测试成绩领先,适合对延迟和隐私敏感的场景。
推荐理由:官方来源 · 涉及基准
OpenAI 推出 LifeVal 基准,衡量 AI 帮人完成找托儿、管理财务、办政府手续等日常任务的水平。
推荐理由:官方来源 · 涉及基准
文章在普通笔记本上实测两者,延迟都在个位数到几十毫秒量级,具体数值取决于 CPU、内存等因素。
推荐理由:涉及基准 · 与本主题相关