---
title: "Arena（旧Chatbot Arena・LMArena）の使い方｜arena.aiの投票手順とリーダーボードの見方"
url: "https://www.issoh.co.jp/tech/details/8131/"
published: 2025-08-08
updated: 2026-10-24
categories: ["LLM・RAG"]
publisher: "株式会社一創"
---

# Arena（旧Chatbot Arena・LMArena）の使い方｜arena.aiの投票手順とリーダーボードの見方

Chatbot Arenaは、2つのAIモデルに同じ質問を投げて匿名のまま回答を比べ、良いほうに投票する評価サイトです。その後「LMArena」の名前を経て、2026年1月28日に「Arena」へ改称しました。現在の入口は [arena.ai](https://arena.ai/) で、旧ドメインのlmarena.aiはarena.aiへ転送されます。

この記事では、Battleモードで投票するまでの手順、ログインが要るモード、リーダーボードのスコアと「Rank Spread」の読み方を順に説明します。後半では、公式が公開している順位データをPythonで取得するコードと、新しいモデルの初登場時の順位がその後どれだけ動くかを過去の公開データで測った結果、日本語の順位を業務のモデル選定に使うときの注意点を扱います。順位の数値は2026年10月22日に公開された分で、2026年10月24日に確認しました。

## まとめ：Arena（arena.ai）の使い方と要点

- **名前**：Chatbot Arena → LMArena → Arena（2026年1月28日）。運営はArena Intelligence Inc.です。
- **料金**：利用規約（2026年2月23日版）で現在は無料と明記されています。将来の有料化の権利は留保されています。
- **基本の使い方**：arena.aiでプロンプトを送り、匿名の2モデルの回答から良いほうに投票します。投票後にモデル名が表示されます。
- **ログイン**：Battleモードとリーダーボードの閲覧はログインなしでできます。Side by Side・Direct・画像・動画にはログインが必要です。
- **順位の読み方**：Rankは推定値の並びにすぎません。Rank Spreadが1を含むモデルは、どれも1位の可能性があります。
- **新モデルの順位**：初登場で10位以内に入った40モデルの順位は、初登場から28日以上経過した最初の掲載時点で、中央値が4.5位から7位へ下がっていました。順位を下げたモデルの上に来たのは、後から加わったモデルが約3分の2、既存モデルによる逆転が約3分の1です。
- **日本語**：画面は英語ですが、日本語で質問すれば日本語で答えが返ります。日本語カテゴリの票は総合の約1.6%しかなく、1位の可能性を残すモデルが16あります。
- **業務利用**：入力は研究用に公開されることがあります。社外秘のコードや個人情報は入れず、最終的なモデル選定は自社の評価データで行ってください。

## Arena（arena.ai）とChatbot Arena・LMArenaの関係

3つは同じサービスです。名前が2回変わっただけで、投票でモデルを順位付けする仕組みは続いています。「arena ai」で検索して出てくる公式サイトも、以前「Chatbot Arena」と呼ばれていたものです。

### 名称とドメインの変遷

| 時期         | 出来事                             | URL            |
| ---------- | ------------------------------- | -------------- |
| 2023年      | UC BerkeleyのLMSYSが研究プロジェクトとして公開 | chat.lmsys.org |
| 2024年9月20日 | 専用サイトを開設                        | lmarena.ai     |
| 2025年      | Arena Intelligence Inc.を設立      | lmarena.ai     |
| 2025年5月27日 | 新UIを「LMArena」の正式版に              | lmarena.ai     |
| 2026年1月28日 | 「Arena」へ改称                      | arena.ai       |

改称時の[公式ブログ](https://arena.ai/blog/lmarena-is-now-arena)は、「Arena」はChatbot Arenaを作ったときに自分たちが作った言葉だとし、プラットフォームが「LM」（言語モデル）の枠を超えて成長したので外すことにした、と説明しています。2026年10月24日の確認では、lmarena.aiはarena.aiへ転送され、最初期のchat.lmsys.orgは名前解決できませんでした。古い記事のリンクは新しいドメインに読み替えてください。

### 無料で使える理由と運営会社

運営会社のArena Intelligence Inc.の収益源は一般ユーザーではありません。モデル開発企業や事業会社に向けた評価サービス（AI Evaluations）で収益を得ています。2026年10月8日には、評価額31億ドルで2億ドルのシリーズBを調達したと[公式ブログで発表](https://arena.ai/blog/series-b)しました。リード投資家はLightspeed Venture PartnersとKhosla Venturesで、同じ発表の中で年換算の売上が1億ドルを超えたことにも触れています。

利用者側の料金は、[利用規約](https://arena.ai/terms-of-use)に「Company currently offers the Service free of charge.」とある通り無料です。同じ条項に、将来は機能単位で課金する権利を留保する一文も続きます。「ずっと無料」と決めつけず、課金の告知があれば規約を読み直してください。

## Battleモードで投票するまでの手順

順位に反映される投票は、主にBattleモードで行います。ログインしなくても次の流れで使えます。2026年5月12日からは、Directモードの会話の一部が匿名の対戦（Battles in Direct）に切り替わり、その票も順位に入るようになりました（実験を始めた3月時点では会話の10%。[変更履歴](https://arena.ai/blog/leaderboard-changelog/)）。

1. arena.aiを開きます。入力欄の上のモード表示が「Battle」になっていることを確認します。
2. 入力欄にプロンプトを書いて送信します。画像を生成させたいときは画像アイコンを選ぶなど、目的に合った種類を先に選びます。
3. 名前を伏せた2つのモデルが、左右に回答を返します。両方を読み比べます。
4. 良いほうに投票します。ボタンは左が良い・右が良い・引き分け・両方ダメの4つです（論文では後ろ2つを「tie」「both are bad」と呼んでいます）。
5. 投票すると2つのモデル名が表示されます。同じ会話を続けるか、新しい会話を始めます。

[FAQ](https://arena.ai/faq)と[ヘルプセンター](https://help.arena.ai/articles/4489017547-how-to-use-battle-mode)には、順位の集計で見落としやすい決まりが書かれています。

- 順位に数えられるのは、モデル名が伏せられている間の投票だけです。名前を見た後の投票は反映されません。
- 投票するまでの追加の質問は同じ2モデルが答えます。投票すると、次の回答からは別の2モデルが匿名のまま選び直されます。
- 組み合わせが変わると、それまでの会話の文脈が引き継がれないことがあります。前の回答を前提にした追加質問は、新しいモデルには通じないことがあります。

### ログインが必要なモードと不要なモード

[ヘルプセンターのアカウント作成の案内](https://help.arena.ai/articles/7258407731-arena-how-to-create-an-account)によると、ログインしていなくてもArenaの利用とリーダーボードの閲覧はできます。モデルを自分で選ぶDirectモードとSide by Sideモード、画像と動画のArenaにはログインが必要です。動画のArenaはBattleモードだけです。アカウントはGoogleかメールアドレスで作れ、ログインすると利用回数の上限が上がり、会話の履歴が端末間で同期されます。利用規約では、利用者は18歳以上（または契約できる年齢以上）と定められています。

### コードネーム付きモデルの正体と公開条件

Battleモードでは、見慣れないコードネームのモデルが相手になることがあります。FAQによると、これはモデル開発企業が公開前にテストしている版です。企業の公開基準とArenaのポリシーを満たしたものだけが、正式名でリーダーボードに載ります。

## モードの違いと使い分け

チャット系のモードは3つあり、モデルの選び方と投票が順位に数えられるかどうかが違います。

| モード          | モデルの選び方 | 匿名       | 投票の順位反映 | 向いている用途   |
| ------------ | ------- | -------- | ------- | --------- |
| Battle       | 自動で2つ   | 投票まで匿名   | される     | 先入観なしの比較  |
| Side by Side | 自分で2つ   | 名前を表示    | されない    | 候補2つの直接比較 |
| Direct       | 自分で1つ   | 通常は名前を表示 | 対戦時のみ反映 | 特定モデルの試用  |

Side by Sideと通常のDirectでのやり取りは、公開リーダーボードの順位には入りません（Directが匿名の対戦に切り替わったときの票は除く）。候補を2つまで絞れているならSide by Side、どれが良いか見当がつかないならBattle、と選ぶのが効率的です。

### Agentモードとエージェント型AIの比較

2026年6月4日には、複数手順の作業を任せる**Agentモード**（arena.ai/agent）が加わりました。ウェブ検索・画像生成・ファイル添付・サンドボックス上のbash環境を使い、ウェブサイトの作成や調査を1つの指示で進めます。こちらの順位は、タスク成功の明示的な確認、称賛と苦情、修正指示の負担、bash実行の信頼性、存在しないツールの呼び出しという5つの指標から作られます。

2026年8月14日の[更新](https://arena.ai/blog/agent-categories-and-cost)で、Agentのリーダーボードは作業の種類（Code・Chat・Work）で絞り込めるようになり、1タスクあたりの費用も表示されるようになりました。コーディングエージェントを選ぶときは、モデルだけでなく実行環境（ハーネス）も結果を左右します。Arenaの[HarnessTaxの検証](https://arena.ai/blog/coding-agents-harness-tax)（2026年9月16日）は、7モデルをClaude Code・Codex CLI・Piの3つのハーネスで動かした21通りを比べ、SWE-bench LiteとTerminal-Bench 2.0から各30タスクを抽出した検証で、同じモデルでもハーネスによって成功率が近いまま費用が最大5倍になったと報告しています。Agentの順位を見るときは、成功率と1タスクあたりの費用を並べて確認してください。

## リーダーボードの見方：スコア・信頼区間・Rank Spread

リーダーボードは、Text・WebDev（Code）・Vision・Document・Text to Image・Image Edit・検索付き回答のSearch Arena・Text to Video・Image to Video・Agentなど、用途別に分かれています。[Text Arenaの総合（Overall）](https://arena.ai/leaderboard/chat/text)は、2026年10月22日の公開分で418モデルを対象にしていました。上位5行は次の通りです（Rank Spreadは後述の公式の定義で計算した値です）。

| Rank | Rank Spread | Model                  | Score   | Votes  |
| ---- | ----------- | ---------------------- | ------- | ------ |
| 1    | 1〜3         | Gemini 4 Argon (High)  | 1517 ±7 | 10,083 |
| 2    | 1〜7         | Claude Opus 5.5 (High) | 1509 ±7 | 10,322 |
| 3    | 1〜8         | Muse Wonder (Max)      | 1509 ±8 | 6,001  |
| 4    | 2〜10        | Claude Fable 5 (High)  | 1503 ±4 | 44,253 |
| 5    | 2〜12        | Claude Fable 5.1 (Max) | 1503 ±6 | 16,343 |

2位と3位はスコアの差が0.02点しかなく、整数に丸めるとどちらも1509です。票数が約4万4千件ある4位の誤差幅は±4で、票が6千件の3位の±8の半分です。Votesの列は、そのモデルが参加した対戦の数です。画面には入出力100万トークンあたりの価格（Price $/M）の列もあります。

### Rank Spreadの読み方

[公式のランキング手法の解説](https://arena.ai/blog/ranking-method)によると、Rankはスコアを大きい順に並べて付けた一意の番号で、同順位は作りません。信頼区間を考えたときの順位の幅はRank Spreadの列に出ます。

- **最良の順位**：1＋（自分の信頼区間の上限より、下限が高いモデルの数）
- **最悪の順位**：1＋（自分以外で、自分の信頼区間の下限より上限が高いモデルの数）

Rank Spreadが重なるモデル同士は、公式の定義でも同順位扱いです。上の表では、1位の可能性を残すのは上位3モデルで、4位以下は最良でも2位です。「1位のモデル」を1つ選ぶより、Rank Spreadに1を含むモデル群を候補にするほうが実態に合います。

スコアの横に **Preliminary** と付いたモデルは暫定扱いです。公開前にテストされていたモデルが正式公開された場合も、新しい票が十分に集まるまでこの表示になります。**AutoEval** と付いたスコアは、人の選好を学習した報酬モデルが自動で投じた票を人の票と合わせて出した値です（[2026年7月30日の公式発表](https://arena.ai/blog/autoeval-scores)）。人の票が十分に集まると更新されます。

### Style ControlとFactualityの切り替え

Text Arenaの既定の表示は **Style Control** がオンの状態です。回答の長さ、Markdownの見出し・太字・箇条書きの数を回帰式の変数に加え、「長くて見栄えがいい回答」が票を集める効果を差し引いた順位になります。フィルタで「None」を選ぶと調整前の順位を見られます。

2026年7月14日には **Factuality** の切り替えが加わりました（[公式発表](https://arena.ai/blog/factuality-in-arena)）。回答に含まれる主張を検索エージェントで検証し、その正しさを25%の重みで人の選好と合成する順位です。既定ではオフで、Text ArenaとSearch Arenaのリーダーボードの画面で切り替えて選びます。公式の分析では、人の選好で上位のモデルの多くは、この重みを上げるとスコアが下がります。事実の正確さが大事な用途なら、両方の表示を見比べてください。

### 用途別カテゴリと職種別ランキング

Text Arenaには29のカテゴリがあります。Coding・Math・Creative Writing・Hard Prompts・Instruction Following・Multi-Turnのような作業別、Japaneseのような言語別のほか、専門家が作ったプロンプトだけの **Expert** と、職種に関係するプロンプトで分けた **Occupational**（ビジネス・法務と行政・ソフトウェアとIT・医療など8分野）があります。[ヘルプセンターの案内](https://help.arena.ai/articles/7011479247-how-to-see-ai-rankings-in-arena-leaderboards-2-0-wip)の通り、「Show Filters」→「Categories」で切り替えます。

カテゴリを絞ると票が減り、1位の候補が増えます。10月22日の公開分で主なカテゴリを比べると次の通りです（票の割合は、各モデルの対戦数の合計を総合と比べた値です）。

| カテゴリ         | 票の割合  | 1位のモデル                 | 1位のRank Spread | 1位の可能性があるモデル数 |
| ------------ | ----- | ---------------------- | -------------- | ------------- |
| 総合（Overall）  | 100%  | Gemini 4 Argon (High)  | 1〜3            | 3             |
| Hard Prompts | 47.1% | Gemini 4 Argon (High)  | 1〜4            | 4             |
| ソフトウェアとIT    | 33.3% | Gemini 4 Argon (High)  | 1〜10           | 10            |
| Coding       | 21.4% | Gemini 4 Argon (High)  | 1〜20           | 14            |
| ビジネスと金融      | 15.8% | Gemini 4 Argon (High)  | 1〜19           | 12            |
| Expert       | 7.1%  | Claude Fable 5 (High)  | 1〜15           | 15            |
| 法務と行政        | 6.8%  | Muse Spark 1.2 (xHigh) | 1〜28           | 28            |
| Japanese     | 1.6%  | Claude Fable 5.1 (Max) | 1〜16           | 16            |

法務と行政のカテゴリでは、1位と28位までを統計的に区別できていません。職種別の順位は「この分野で極端に弱いモデルを外す」用途に使い、1位を決める根拠にはしないでください。ウェブアプリの生成ならWebDev、検索付きの回答ならSearch Arenaのリーダーボードのほうが、実際の使い方に近い比較です。

## 公式順位データのPythonによる取得と集計

2026年10月24日の確認では、curlによるリーダーボード画面の取得は、ボット対策のチャレンジによりHTTP 403となりました。利用規約もプログラムによるデータの抽出を禁じています。順位を表計算や社内資料で扱いたいときは、Arenaが[Hugging Faceで公開しているlmarena-ai/leaderboard-dataset](https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset)を使います。ライセンスはCC BY 4.0で、2026年10月23日に更新されていました。アリーナ（Text・Vision・Search Arena・WebDev・画像・動画・Agent）ごとに、最新の公開分（latest）とすべての過去の公開分（full）が入っています。

```
pip install pandas pyarrow huggingface_hub numpy
```

```
import numpy as np
import pandas as pd

BASE = "hf://datasets/lmarena-ai/leaderboard-dataset"
# 文体補正ありのText Arena（公式の既定表示）。最新の公開分だけを読む
df = pd.read_parquet(f"{BASE}/text_style_control/latest-00000-of-00001.parquet")
print(df["leaderboard_publish_date"].max(), df["category"].nunique(), "categories")

def rank_spread(d):
    lo, up = d["rating_lower"].to_numpy(), d["rating_upper"].to_numpy()
    best, worst = [], []
    for i in range(len(d)):
        others = np.arange(len(d)) != i
        best.append(1 + int((lo[others] > up[i]).sum()))
        worst.append(1 + int((up[others] > lo[i]).sum()))
    return best, worst

for cat in ["overall", "japanese"]:
    d = df[df["category"] == cat].sort_values("rank").reset_index(drop=True)
    d["best"], d["worst"] = rank_spread(d)
    d["pm"] = (d["rating_upper"] - d["rating_lower"]) / 2
    print(cat, len(d), "models / 1位の可能性があるモデル", int((d["best"] == 1).sum()))
    cols = ["rank", "best", "worst", "model_name", "rating", "pm", "vote_count"]
    print(d.head(5)[cols].round(1).to_string(index=False))
```

実行すると、最新の公開日・カテゴリ数・総合と日本語の上位5行が出ます。2026年10月24日の出力から、公開日・カテゴリ数・モデル数の行を抜粋すると次の通りです。コードは実行時点の最新データを読むため、更新後の出力は掲載値と異なります。

```
2026-10-22 29 categories
overall 418 models / 1位の可能性があるモデル 3
japanese 284 models / 1位の可能性があるモデル 16
```

Rank Spreadは表示用の値なのでデータセットには入っていません。`rank_spread` 関数は、前章の公式の定義をそのまま計算しています。カテゴリ名は `overall`・`japanese`・`coding`・`expert`・`industry_legal_and_government` のような英小文字です。文体補正なしの順位は `text`、Factualityの順位は `text_factuality` のサブセットを読みます。

### 新モデルの初登場順位と28日以上後の順位変化

今回の集計では、初登場で10位以内だった40モデルのうち30モデルが、28日以上経過した比較時点で順位を下げていました。`full` には2024年8月28日から2026年10月22日までの192回分の総合順位が入っています。2025年10月1日〜2026年9月15日に初登場したモデルについて、初登場時と28日以上後の最初の公開分（間隔の中央値は29日）を比べました。

```
import pandas as pd

BASE = "hf://datasets/lmarena-ai/leaderboard-dataset"
full = pd.read_parquet(
    f"{BASE}/text_style_control/full-00000-of-00001.parquet",
    columns=["model_name", "rating", "rating_lower", "rating_upper", "rank", "category", "leaderboard_publish_date"],
    filters=[("category", "==", "overall")],
)
full["date"] = pd.to_datetime(full["leaderboard_publish_date"])
full = full[full["date"] < "2026-10-15"]  # 10月15日から表示名の書式が変わるので手前で切る
snap = {d: g.set_index("model_name") for d, g in full.groupby("date")}

rows = []
for name, g in full.sort_values("date").groupby("model_name"):
    first = g.iloc[0]
    if not pd.Timestamp("2025-10-01") <= first["date"] <= pd.Timestamp("2026-09-15"):
        continue
    later = g[g["date"] >= first["date"] + pd.Timedelta(days=28)]
    if later.empty:
        continue
    last = later.iloc[0]
    s0, s1 = snap[first["date"]], snap[last["date"]]
    above = s1[s1["rank"] < last["rank"]].index
    above0 = set(s0[s0["rank"] < first["rank"]].index)
    rows.append({
        "new_above": sum(m not in s0.index for m in above),  # 初登場時には表に無かったモデル
        "passed": sum(m in s0.index and m not in above0 for m in above),  # 当時は下にいた既存モデル
        "debut_rank": first["rank"],
        "rank_28d": last["rank"],
        "diff": last["rating"] - first["rating"],
        "outside_ci": not (first["rating_lower"] <= last["rating"] <= first["rating_upper"]),
    })

r = pd.DataFrame(rows)
top = r[r["debut_rank"] <= 10]
print(len(r), "models")
print("スコア変化の中央値（絶対値）:", round(r["diff"].abs().median(), 1))
print("初登場時の信頼区間の外へ動いた割合:", round(r["outside_ci"].mean(), 3))
print("順位が下がった割合:", round((r["rank_28d"] > r["debut_rank"]).mean(), 2))
print("初登場10位以内:", len(top), "モデル / 順位の中央値", top["debut_rank"].median(), "->", top["rank_28d"].median())
down = top[top["rank_28d"] > top["debut_rank"]]
print("順位を下げた10位以内:", len(down), "モデル / 上に来た新顔", down["new_above"].sum(), "/ 抜き返した既存", down["passed"].sum())
```

| 項目                         | 結果              |
| -------------------------- | --------------- |
| 対象モデル数                     | 161             |
| スコアの変化（絶対値の中央値）            | 2.8点            |
| 初登場時の信頼区間の外へ動いた割合          | 4.3%            |
| 順位が下がった割合                  | 83%             |
| 初登場10位以内（40モデル）の順位の中央値     | 4.5位 → 7位       |
| 順位を下げた10位以内（30モデル）の上に来たモデル | 新顔 延べ86・既存 延べ45 |

スコアが初登場時の信頼区間の外へ出たモデルは4.3%だけでした。それでも8割以上のモデルが順位を下げています。初登場10位以内で順位を下げた30モデルについて、初登場から28日以上経過した最初の掲載時点で自分より上にいたモデルを数えると、初登場時には表に無かったモデルが延べ86、当時は下にいて抜き返した既存モデルが延べ45でした。順位の下落は、後から加わるモデルと既存モデルの小さなスコアの動きの両方で起きます。[リーダーボードの変更履歴](https://arena.ai/blog/leaderboard-changelog/)を見ると、2026年10月だけでもmistral-large-4、muse-spark-1.3-max、beam-1.0-501b-a23b、Claude Haiku 5.5 (High)がText Arenaに加わりました。

1つのモデルを追うと、この動きがよくわかります。Claude Opus 5.5 (High)は2026年9月25日に票2,307件・1509 ±12で1位として初登場しました。5日後の9月30日には、Gemini 4 Argon (High)が1位で加わったうえ、自身のスコアも1504へ下がってClaude Opus 4.6 (High)とClaude Fable 5 (High)にも抜かれ、4位になりました。10月22日には票が10,322件に増えて1509 ±7の2位です。スコアの上下は初登場時の誤差幅（±12）の中に収まっていますが、新顔の追加と既存モデルとの小さな逆転の両方で順位は2〜3段動きました。初登場の順位だけで採用を決めず、追加の票が集まった時点で順位と信頼区間を再確認し、自社の評価結果と合わせて判断してください。

なお、2026年10月15日の公開分から、モデルの表示名が「claude-opus-5.5-high」から「Claude Opus 5.5 (High)」のような書式へ切り替わりました。10月13日と10月22日の総合順位で同じ表記のままだった名前は、418件中6件だけです。上のコードはその手前で切っています。それ以降も含めて1つのモデルを追うときは、新旧2つの名前をつなげてください。

## 順位の決まり方：Bradley-TerryモデルとEloの関係

Arenaのスコアは、チェスのEloレーティングと同じ目盛りで表示されますが、計算はBradley-Terryモデルで行っています。LMSYSが2023年12月7日に[オンラインのElo方式からの移行](https://www.lmsys.org/blog/2023-12-07-leaderboard/)を発表し、公式データセットの説明では2024年1月9日に公開順位の計算方式が切り替わったと記録されています。FAQは、Bradley-Terryを選んだ理由として、ペア比較の手法として実績があること、全投票から効率よく計算できること、スタイルなどの変数を追加しやすいことを挙げています。

Bradley-Terryモデルでは、モデルiがモデルjに勝つ確率をスコアの差から求めます。

```
P(i が j に勝つ) = 1 / (1 + 10 ^ ((Rj - Ri) / 400))
```

スコアが400点高ければ勝率は約91%、100点差なら約64%です。上の表の1位と2位の差は約8.5点で、文体特徴の差をゼロとする条件では、この式による値は約51%です。引き分けを半勝として扱うモデル上の推定であり、実際の対戦で観測された勝率ではありません。上位のモデル同士は、ほぼ五分の勝負をしています。

個々の対戦データから順位を計算し直したい場合は、Arenaが公開している [lmarena-ai/arena-human-preference-140k](https://huggingface.co/datasets/lmarena-ai/arena-human-preference-140k)（CC BY 4.0・2025年4月17日〜7月24日の135,634件）を使えます。ただし対象は当時のモデルで、引き分けの扱いやStyle Controlの補正、票の重み付けをそろえない限り公式のスコアとは一致しません。現在の順位を知りたいだけなら、前章の公式データセットを読むほうが確実です。

## Arenaの日本語利用：表示言語と日本語ランキングの不確実性

arena.aiの画面は英語です。2026年10月24日の確認では、arena.ai/jaを開いてもトップページへ転送され、ボタンやメニューは英語のままでした。質問は日本語で書けます。上の公開対戦データにも日本語の対戦が135,634件中2,444件（約1.8%）入っており、多くのモデルは日本語で答えます。

注意が要るのは日本語カテゴリの順位です。2026年10月22日の公開分の「[Japanese](https://arena.ai/leaderboard/chat/text/japanese)」は284モデルで、票の割合は総合の約1.6%でした。1位のClaude Fable 5.1 (Max)は票が299件しかなく、スコアは1551 ±37、Rank Spreadは1〜16位です。2位のClaude Opus 5.5 (High)は票193件で±43あり、Rank Spreadは1〜31位まで広がります。日本語の上位16モデル程度は統計的に区別できていません。

日本語の順位表を見て「日本語ならこのモデルが1位」と判断するのはやめてください。候補の足切りには使えますが、1位と10位の差は誤差の範囲に収まっている可能性が高いです。日本語の品質で選ぶなら、自社で日本語の評価セットを作って比べるほうが確実です。

## リーダーボードを業務のモデル選定に使うときの判断基準

Arenaの順位が示すのは「世界中の不特定多数が、自分で書いたプロンプトに対して好んだ回答」です。社内文書を使うRAG、定型の帳票作成、特定業界の日本語の質問応答の成績ではありません。業務のモデル選定での使い道は、候補を3〜5つに絞るところまでです。

### Arenaの事前テストと選択的公開による順位の偏り

2025年4月の論文「[The Leaderboard Illusion](https://arxiv.org/abs/2504.20879)」（arXiv 2504.20879）は、公開前の非公開テストと、その結果の選択的な公開がスコアを偏らせると指摘しました。MetaがLlama 4の公開前に27の非公開版をテストしていたこと、GoogleとOpenAIがArenaの全データのそれぞれ推計19.2%と20.4%を受け取っていた一方、83のオープンウェイトモデルの合計は29.7%だったことが挙げられています。

運営側は[反論記事](https://arena.ai/blog/our-response/)で、50の版を事前テストして3,000票を集めても選択による上昇はEloの目盛りで約+11点で、新しい票が集まればゼロに近づくと反論しました。現在の[評価ポリシー](https://arena.ai/policy)には、公開前に集めた票によるスコアは公開後の新しい票が十分に集まるまでPreliminaryと表示すること、どの提供者も公開前に複数の版を試せることが書かれています。資金力のある企業ほど多くの版を試せる構造自体は残っています。数点の差を根拠に選ぶのは避けてください。

### 業務データを入れてはいけない理由

[プライバシーポリシー](https://arena.ai/privacy-policy)（2025年12月16日版）は、入力と出力を含むデータを公開する場合があるとして、公開されたくない個人情報や機微な情報を入力しないよう求めています。利用規約でも、入力内容について会社に取り消し不能のライセンスを与えること、入力が外部のAIサービス提供者に共有され、その提供者は機密を保持する義務を負わない場合があることが定められています。社外秘のソースコードや顧客データを貼り付けて試すのは不適切です。

利用規約は、プログラムや自動化による利用とデータの抽出も禁じています。Arenaを自社の評価パイプラインに組み込んだり、票を大量に投じて比較したりはできません。

### Arenaで候補を絞った後の社内評価

候補が決まったら、自社の実データに近い入力を使って各社のAPIに同じ条件で流し、品質とコストを測ります。手順は[AI比較の実装手順｜同じ入力を各社モデルへ流して品質とコストを測る](/tech/details/17569/)で、評価指標とデータセットの作り方は[LLM評価とは？指標・データセット設計・評価ツールの選び方を実装視点で解説【2026年版】](/tech/details/16319/)で解説しています。エージェントとして使う場合は、Agentモードの順位よりも[AIエージェント評価](/tech/details/15942/)の方法で、自社のツール呼び出しとタスク完了率を測ってください。

採点を人手で回しきれない場合は、別のLLMに採点させる[LLM-as-a-Judge](/tech/details/10331/)が現実的です。ただし審査役のモデル選びには注意が要ります。Arenaが2026年9月30日に公開した[検証](https://arena.ai/blog/llm-judge-self-preference)では、12モデルにText Arenaの実際の対戦1,460件を判定させたところ、自分の回答を選ぶ割合が人の投票より平均23ポイント高い結果でした。また、自作回答を含む対戦を除き、人とLLMの双方が勝敗を付けた判定の一致率は56.9%でした。自己選好を避けるため、審査役には比較対象と別の会社のモデルを候補にし、その判定が人手の評価と一致するかも確認してください。

知識量を問う固定問題のベンチマークと、人の好みを集計するArenaは測っているものが違います。[MMLU](/tech/details/8126/)のスコアと並べると、固定問題への正答率と対話での選好を別々に確認できます。候補の絞り込みから社内評価、本番への組み込みまでを外部に相談したい場合は、[生成AI導入支援](/service/ai/genai/)で承っています。

## Arena（Chatbot Arena）に関するよくある質問

### Arena（arena.ai）は無料で使えますか？

無料です。利用規約（2026年2月23日版）に現在は無料で提供していると明記されています。運営会社の収益はモデル開発企業などに向けた評価サービスから得ています。規約には将来の課金の権利も留保されています。

### Chatbot Arena・LMArena・Arenaは何が違いますか？

同じサービスの新旧の名前です。UC BerkeleyのLMSYSが始めたChatbot Arenaが、2024年9月に専用サイトlmarena.aiへ移ってLMArenaの名前で運営された後、2026年1月28日にArena（arena.ai）へ改称しました。lmarena.aiは現在arena.aiへ転送されます。

### Arenaは日本語で使えますか？

質問も回答も日本語で使えます。画面の表示は英語です。リーダーボードには日本語カテゴリもありますが、2026年10月22日の公開分で票は総合の約1.6%しかなく、1位の可能性を残すモデルが16あります。

### Arenaを使うのにログインは必要ですか？

Battleモードでの投票とリーダーボードの閲覧はログインなしでできます。モデルを指定するDirectモードとSide by Sideモード、画像と動画のArenaを使うにはログインが必要です。

### Arenaのランキングのデータはダウンロードできますか？

できます。Arenaは公式の順位をHugging Faceの `lmarena-ai/leaderboard-dataset` でCC BY 4.0として公開しており、最新の順位と過去の全公開分をpandasで読めます。リーダーボードの画面を自動で取得するのは利用規約で禁じられているので、こちらを使ってください。

## 関連記事

- [AI比較の実装手順｜同じ入力を各社モデルへ流して品質とコストを測る](/tech/details/17569/)
- [LLM評価とは？指標・データセット設計・評価ツールの選び方を実装視点で解説【2026年版】](/tech/details/16319/)
- [LLM-as-a-Judgeとは？評価プロンプトの書き方・3つのバイアス対策と人手との一致率の測り方](/tech/details/10331/)
- [MMLUとは？57科目・14,042問の中身とスコアの正しい読み方](/tech/details/8126/)

---

出典: [Arena（旧Chatbot Arena・LMArena）の使い方｜arena.aiの投票手順とリーダーボードの見方](<https://www.issoh.co.jp/tech/details/8131/>)（株式会社一創）