BroadRouter

Альтернативы Artificial Analysis: где сравнивать LLM в 2026 году

Команда BroadNet Inference · 7 мин чтения · Опубликовано

Artificial Analysis — главный независимый источник данных о скорости, задержке и оценках интеллекта LLM по каждому API-провайдеру. Каждая альтернатива измеряет другое: Arena ранжирует по предпочтениям людей, Epoch AI и Vals AI публикуют результаты бенчмарков, OpenRouter ранжирует по использованию, а базы цен, такие как у BroadRouter (сайт BroadNet), содержат только цены. Используйте два источника рядом, затем тестируйте на своих данных.

Artificial Analysis часто становится первой остановкой при сравнении LLM API, потому что он замеряет реальные запросы к каждому провайдеру. Но это лишь один взгляд. Другие сайты ранжируют по голосам людей, по результатам бенчмарков, по использованию или по цене, и каждый отвечает на свой вопрос. В этом обзоре разобрано, что измеряет каждый сайт, как именно, какие данные можно забрать и когда его использовать. Каждый факт ниже взят с собственных страниц сайта 15 ноября 2026 г.

Сначала раскрытие: BroadRouter — собственный сайт BroadNet. Он направляет разработчиков в BroadNet Inference и публикует данные о ценах. Модели он не тестирует и попал в этот список только из-за цен.

В чём силён Artificial Analysis?

Artificial Analysis описывает себя как “Independent analysis of AI” (перевод: «Независимый анализ ИИ»). Его страница методологии объясняет три вещи, которые мало кто делает:

  • Скорость по эндпоинтам провайдеров. Скорость вывода — это “output tokens per second over each request’s full duration” (перевод: «выходные токены в секунду за всё время выполнения каждого запроса»), включая токены рассуждений, усреднённые “over the workloads we measured in the past 5 days” (перевод: «по нагрузкам, которые мы измерили за последние 5 дней»). Поскольку у одной модели “may have multiple endpoints across different providers” (перевод: «может быть несколько эндпоинтов у разных провайдеров»), видно, что одна и та же модель у одного хоста работает быстрее, чем у другого.
  • Сопоставимая задержка. Он сообщает время до первого токена, время до первого токена ответа (которое включает рассуждения, так что модели с рассуждениями и без них сравниваются честно) и полное время выполнения.
  • Собственные оценки. Intelligence Index v5.0.1 объединяет девять оценок в четыре равновесные группы (интеллектуальная работа, программирование, наука, общие задачи). Некоторые из них — его собственные бенчмарки или собственные прогоны чужих задач с указанным числом повторов.

Его рейтинг провайдеров охватывает “over 500 AI Model endpoints” (перевод: «более 500 эндпоинтов ИИ-моделей») со стоимостью задачи, временем задачи, задержкой до первого токена ответа, долей ошибок, контекстным окном и лицензией. Цены — это “the current prices listed by providers” (перевод: «текущие цены, указанные провайдерами»), а смешанная цена использует соотношение 7:2:1 для токенов из кэша, входных и выходных. Если ваша нагрузка в основном состоит из вывода, мысленно поменяйте эту пропорцию.

Если вам нужны измеренные скорость и доля ошибок по провайдерам, заменить его сложно. Альтернативы ищут, когда нужен другой сигнал: предпочтения людей, конкретная предметная область, сырые данные для скачивания или прайс-лист с источником для каждой строки.

Какие есть альтернативы Artificial Analysis?

Сайт Что измеряет Метод Какие данные можно забрать Лучше всего для
Artificial Analysis Индекс интеллекта, скорость вывода, задержка, доля ошибок, цена по эндпоинтам Проводит собственные оценки и замеряет запросы; скользящее окно скорости 5 дней Бесплатный API, указание источника обязательно Скорость и задержка по провайдерам
Arena (бывшая LMArena) Предпочтения людей Отвечают две анонимные модели, человек голосует, имена раскрываются после Открытые датасеты предпочтений на Hugging Face Как ответы воспринимаются людьми
Epoch AI Benchmarking Hub Результаты бенчмарков во времени Часть бенчмарков запускает сам через Inspect; остальные собирает из официальных рейтингов CSV и клиент на Python; его данные под CC BY Тренды и сырые оценки
Vals AI Точность в предметных областях, стоимость и задержка 42 бенчмарка, часть закрытые или отложенные На странице бенчмарков не указано Юриспруденция, финансы, налоги и другие области
Рейтинги OpenRouter Использование Токены, обработанные через OpenRouter, по суткам UTC Публичный API моделей с ценами Что разработчики реально запускают
Open LLM Leaderboard (Hugging Face) Оценки моделей с открытыми весами Шесть бенчмарков в обвязке Eleuther AI Датасеты результатов и заявок Сравнение открытых чекпойнтов
Данные о ценах BroadRouter (сайт BroadNet) Только опубликованные цены Берутся с собственной страницы цен каждого провайдера, с URL, датой и цитатой CSV и JSON, CC BY 4.0 для компиляции Проверка цены по первоисточнику

Чем отличается Arena?

Arena (lmarena.ai теперь перенаправляет на arena.ai) просит реальных людей сравнить два анонимных ответа и выбрать один. Названия моделей появляются только после голосования. Так измеряется предпочтение, в котором смешиваются точность, тон, длина и оформление. В рейтинге есть отдельные таблицы, в том числе Text, WebDev, Vision, Document и Search, а режим Pareto показывает стоимость задачи. Arena сообщает, что открыла свои данные о предпочтениях на Hugging Face; это полезно, если вы хотите изучать сами голоса, а не просто читать место в рейтинге.

Используйте её, чтобы понять, как ответ в чате воспринимают люди. Не используйте её для выбора провайдера API: она ранжирует модели, а не хосты, и ничего не говорит о скорости на конкретном эндпоинте.

Когда лучше подходят Epoch AI и Vals AI?

Epoch AI ведёт базу результатов бенчмарков; на момент проверки в ней отслеживались 99 бенчмарков и 428 моделей. Часть результатов он получает сам с помощью фреймворка Inspect, остальные берёт из официальных рейтингов, которые ведут авторы бенчмарков. Данные можно скачать в CSV или получить через клиент на Python. Собственные данные Epoch можно свободно использовать с указанием авторства по CC BY; результаты из внешних источников сохраняют исходные лицензии. Выбирайте Epoch, когда нужны сырые оценки или линия тренда, а не единый индекс.

Vals AI проводит 42 бенчмарка в юриспруденции, финансах, здравоохранении, программировании, математике и других областях, и часть наборов закрыта или отложена, что снижает риск того, что модель обучалась на тесте. Его рейтинги сравнивают точность, стоимость и задержку, а Inference Provider Index сравнивает провайдеров по точности, стоимости и скорости. Его составной Vals Index взвешивает отрасли по их доле в ВВП США. Выбирайте Vals, когда ваша задача похожа на одну из его областей.

Что на самом деле показывают рейтинги OpenRouter?

Использование. Каждая модель ранжируется по “tokens it processed through the OpenRouter API” (перевод: «токенам, которые она обработала через API OpenRouter»), промпт и ответ вместе, за последние один, семь или тридцать дней. На странице прямо сказано, что рейтинги “do not rank models by accuracy, reasoning ability, or benchmark performance” (перевод: «не ранжируют модели по точности, способности к рассуждениям или результатам бенчмарков»). Модель, которая пишет длинные ответы или работает в длинных циклах агентов, поднимается в таблице. Читайте это как сигнал популярности и список моделей, которые стоит протестировать. У OpenRouter также есть публичный эндпоинт моделей с ценами по каждой модели; он показывает, сколько берёт OpenRouter, а не сколько каждый хост берёт напрямую.

Стоит ли ещё пользоваться Open LLM Leaderboard от Hugging Face?

Для чекпойнтов с открытыми весами — да, с осторожностью. В документации Hugging Face сказано, что первая версия была архивирована в июне 2024 года и заменена. Текущая версия оценивает модели на IFEval, BBH, MATH level 5, GPQA, MuSR и MMLU-Pro в обвязке для оценки Eleuther AI и публикует результаты в виде датасетов. Она оценивает файлы моделей, а не размещённые API, поэтому ничего не скажет о цене, скорости или о том, как провайдер обслуживает модель.

Где сравнивать модели для арабского языка?

Общие рейтинги мало что говорят об арабском, а среди видимых фильтров Arena нет языка. Два Space на Hugging Face частично закрывают этот пробел:

  • Open Arabic LLM Leaderboard, который ведёт организация OALL, — для арабского текста.
  • Open Universal Arabic ASR Leaderboard, описанный как “a benchmark for open-source multi-dialect Arabic ASR models” (перевод: «бенчмарк для открытых моделей ASR для разных арабских диалектов»), — для распознавания речи. BroadNet сообщает, что её модель Transcribe Arabic находится на позиции № 2 из 37 (данные за сентябрь 2026 г.; в живом рейтинге на 15 ноября 2026 г. — № 4 из 39). Это данные BroadNet, а таблица меняется по мере добавления моделей.

Результаты распознавания речи смотрите по диалектам, а не только среднее. Как это делать, показано в статье Доля ошибок в словах (WER) для арабского ASR.

Какое место занимают данные о ценах BroadRouter?

BroadRouter публикует три ресурса о ценах: страницы цен LLM API по моделям, индекс цен с медианами и разбросом и исходную базу цен провайдеров. Каждая строка берётся с собственной страницы цен провайдера и хранится с URL источника, датой и дословной цитатой, а еженедельный скрипт заново загружает источники. Данные агрегаторов не используются.

Не менее важно, чего он не делает:

  • Он не измеряет скорость, задержку, аптайм или качество. Для этого используйте Artificial Analysis, Arena, Epoch AI или Vals AI.
  • Он содержит только цены третьих сторон. Собственные цены BroadNet — в её pricing.json и на странице цен.
  • Это сайт BroadNet, поэтому относитесь к нему как к компиляции от поставщика, которую можно проверить построчно, а не как к нейтральному арбитру.

Как сочетать эти сайты?

  1. Составьте шорт-лист по качеству. Arena — для ощущения от чата, Epoch AI или Vals AI — для оценок задач в вашей области. Оставьте от трёх до пяти моделей.
  2. Проверьте скорость у того хоста, которым будете пользоваться. Artificial Analysis показывает скорость и задержку по эндпоинтам. Какая цифра важна для вашего приложения, разобрано в статье Задержка LLM.
  3. Проверьте цену по первоисточнику. Найдите провайдеров через базу цен, затем откройте собственную страницу каждого. Следите за ценами входа из кэша и выхода: для многих нагрузок они влияют на счёт сильнее, чем цена входа.
  4. Протестируйте на своих данных. Прогоните 50–100 реальных входных данных через каждого финалиста и оцените результаты. Бенчмарк предсказывает ваши результаты лишь настолько, насколько его задачи похожи на ваши. Метод описан в статье Как оценить LLM перед сменой провайдера, а лимиты, приватность и поддержку покрывает чек-лист выбора провайдера из 20 пунктов.

Место BroadNet Inference

BroadNet Inference — OpenAI-совместимый API, а не рейтинг. Она обслуживает небольшой набор моделей: DeepSeek V4.1 Flash (у партнёра), GLM 5.3, Qwen3.8 27B, Gemma 4 VL 26B и две модели распознавания речи. Вызов инструментов и структурированный вывод задокументированы только для GLM 5.3 и Qwen3.8 27B. У аккаунтов с самостоятельным подключением нет SLA, нет batch API и эмбеддингов. Если одна из этих моделей попала в ваш шорт-лист, стартовый грант $5 покрывает Gemma 4 VL 26B, обе модели Transcribe и почасовые ключи Gemma, так что шаг 4 на своих данных можно выполнить до оплаты; для DeepSeek, GLM и Qwen нужно пополнение баланса. Промпты и ответы не хранятся. Сравните модели или создайте аккаунт.

Вопросы и ответы

Какая альтернатива Artificial Analysis лучше всего?

Зависит от того, что вы хотите сравнить. Для предпочтений людей — Arena. Для оценок по бенчмаркам, которые можно скачать, — Epoch AI. Для предметных задач вроде юриспруденции, финансов и налогов — Vals AI. Для того, что разработчики реально запускают, — рейтинги OpenRouter. Для измеренной скорости по провайдерам у самого Artificial Analysis среди этих сайтов близкой замены нет.

Есть ли у Artificial Analysis API?

Да. Его документация (проверено 15 ноября 2026 г.) описывает бесплатный API, "focused on model benchmarks" (перевод: «ориентированный на бенчмарки моделей»), с ключом из его Insights Platform. При любом использовании бесплатного API обязательно указывать artificialanalysis.ai как источник. Партнёрам предлагается коммерческий API с большим объёмом данных.

Полезен ли ещё Open LLM Leaderboard от Hugging Face?

По документации Hugging Face, его первая версия была архивирована в июне 2024 года. Версия 2 оценивает модели с открытыми весами на шести бенчмарках, таких как IFEval, GPQA и MMLU-Pro, с результатами в публичных датасетах. Она охватывает чекпойнты с открытыми весами, а не размещённые API, и ничего не говорит о цене или скорости.

Показывают ли рейтинги OpenRouter, какая модель лучшая?

Нет. На странице рейтингов сказано, что они считают токены, обработанные через OpenRouter, и "do not rank models by accuracy, reasoning ability, or benchmark performance" (перевод: «не ранжируют модели по точности, способности к рассуждениям или результатам бенчмарков»). Они показывают популярность, которую раздувают многословные модели и длинные циклы агентов.

Тестирует ли BroadRouter модели?

Нет. BroadRouter — собственный сайт BroadNet. Он публикует цены, взятые с собственных страниц провайдеров, с источниками и датами, плюс измерения токенизаторов. Скорость, задержку и качество ответов он не измеряет, поэтому не заменяет ни Artificial Analysis, ни сайт с бенчмарками.

Где сравнить модели для арабского языка?

Для арабского текста — Open Arabic LLM Leaderboard (OALL) на Hugging Face. Для распознавания арабской речи — Open Universal Arabic ASR Leaderboard, который описывает себя как бенчмарк для открытых моделей ASR для разных арабских диалектов. Смотрите долю ошибок в словах по диалектам, а не только среднее.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity

Источники