IT之家 12 月 12 日消息，开放式机器学习工程联盟 MLCommons 美国加州当地时间昨日宣布推出适用于衡量消费类 PC 的 AI 性能的 MLPerf Client 基准测试的 0.5 版本，这也是 该测试的首个公开版本 。

随着人工智能技术的迅猛发展，AI文本生成作为其中一个重要应用，越来越受到业界的关注。近日，UL ...

相关论文以《在自动大语言模型基准测试中作弊：零模型获得高胜率》（Cheating automatic LLM benchmarks：Null models achieve high win rates）为题发表在预印本 ...

在12月17日的动态中，谷歌DeepMind团队正式推出了新一代的FACTS Grounding基准测试，旨在评估大型语言模型（LLMs）在真实语境中回应用户的能力，以及它们在生成信息时避免“幻觉”（虚构事实）的表现。在越来越依赖智能助手解决问题的今天，提升这些AI工具的事实准确性不仅关乎用户信任，也是拓展应用场景的关键。

近年来，多模态大语言模型（MLLMs）的发展迅猛，但随之而来的安全性问题也引起了广泛关注。上海AI Lab近日推出了一款全新的安全基准工具——Multimodal Visual Leakless Safety Benchmark（VLSBench），旨在解决当前多模态模型在安全测试中面临的诸多挑战。VLSBench的核心目标是避免视觉信息泄漏（Visual Safety Information ...

MLCommons 组织在 2023 年首次推出了 MLPerf 存储基准测试（MLPerf Storage Benchmark），这是*也是目前*一个开源、公开透明的AI/ML 基准测试，旨在评估存储 ...

BlockBeats 消息，12 月 23 日，芝商所和加密货币基准指数提供商 CF Benchmarks 表示，投资顾问预计将在明年超越对冲基金，成为美国比特币现货 ETF 的最大持有者。美国比特币现货 ETF 的需求主要来自对冲基金经理，他们拥有 45.3% 的 ETF 份额。投资顾问位居第二，占 28%。根据 CF Benchmarks 的预测，这一情况将在 2025 ...

近期，代号为“Strix Halo”的APU引起了广泛关注，特别是其内置的锐龙AI MAX PRO 390处理器所搭载的Radeon 8050S与Radeon 8060S核心显卡，已被发现在PassMark基准测试数据库中现身。

IT之家 12 月 25 日消息，AMD 锐龙 AI MAX PRO 390 集成的 Radeon 8050S “次旗舰”核显已经出现在了 PassMark 基准测试数据库中，而更强的旗舰级 Radeon 8060S 跑分成绩也已经流出。

全新大语言模型越狱攻击基准与评估体系来了 ... 其研究成果《Bag of Tricks: Benchmarking of Jailbreak Attacks on LLMs》现已被NeurIPS D&B 2024接收。