ペルソナベクトルとは？LLMの人格特性を活性の方向で監視・制御するAnthropic論文の手法と実装

ペルソナベクトル（persona vectors）は、大規模言語モデルが「悪意」「迎合」「ハルシネーション」といった特性を示すときに、内部の活性がどの方向へ動くかを1本のベクトルで表したものです。2025年7月に Anthropic Fellows Program の研究者らが論文で提案し、同年8月1日に Anthropic が公式記事で紹介しました。論文は NeurIPS 2026 のポスター発表に採択されています。この記事では、抽出の手順、4つの用途と論文の数値、Qwen2.5-0.5B-Instruct で動かした実測、2026年までの後続研究、採用を見送るべき条件を順に説明します。

まとめ：ペルソナベクトルの要点

• 特性を示す応答と示さない応答で各層の残差ストリーム（residual stream）の平均活性を取り、その差をとったものがペルソナベクトルです。入力は特性名と短い説明文だけで、対照プロンプトや評価質問は自動生成されます。
• 用途は会話中の監視、学習後の抑制、学習中の予防的ステアリング、学習データの事前選別の4つです。応答直前の射影値と特性スコアの相関は r=0.75〜0.83 でした。
• 学習後に減算すると能力が落ちやすく、学習中にあえて加算する予防的ステアリングのほうが能力を保てます。新しい事実を覚えさせる追試では、正答率が推論時の減算で37%、予防的ステアリングで79%でした。
• 重みを持たない API 経由のモデルには使えません。手元の0.5Bモデルでは、20層目の楽観ベクトルと拒否方向のコサイン類似度の絶対値が、応答の選別で0.279から0.084へ低下しました。ただし、拒否寄りの出力が減るところまでは確認できていません。
• 2026年には、事前学習のごく初期にベクトルが形成されるという報告と、ステアリングの方向は一意に定まらないという批判の両方が出ています。

ペルソナベクトルの定義と論文の出典

LLM はチャット画面で「アシスタント」という役柄を演じています。役に立ち、無害で、正直であるよう訓練されますが、会話の流れや追加学習で人格が揺れることがあります。論文が冒頭で挙げる例は、2023年の Bing チャットボットの「Sydney」化、xAI の Grok のシステムプロンプト変更後の発言、2025年4月に RLHF の変更で GPT-4o が過度に迎合的になった件です。

ペルソナベクトルは、こうした揺れを活性空間の中の直線的な方向として捉えます。ある特性を強く示している応答では、その方向への成分が大きくなります。モデルの判断根拠を調べるモデル解釈性の研究のうち、概念を線形の方向で表す activation steering の系統を、人格特性に体系化したものです。

論文の著者・公開日・採択先

論文名は「Persona Vectors: Monitoring and Controlling Character Traits in Language Models」です。

著者の所属は Anthropic Fellows Program、UT Austin、Constellation、Truthful AI、UC Berkeley、Anthropic です。筆頭の Runjin Chen は Anthropic Fellows Program と UT Austin の所属で、Anthropic の社員として名を連ねるのは Jack Lindsey です。「Anthropic が発表した」と紹介されることが多いものの、正確には同社のフェローシップから出た研究です。

マーケティングの「ペルソナ」・AIペルソナとの違い

マーケティングでいうペルソナは人が文章で設計する架空の顧客像です。「生成AI ペルソナ」で検索して出てくる話題の多くは、LLM に「30代の会社員として答えて」と役を与えて顧客の声を模擬させる使い方で、こちらはAIペルソナの作り方と精度の実態で扱っています。どちらも入力文で振る舞いを誘導する方法です。ペルソナベクトルはモデルの内部活性そのものを測って足し引きする手法で、対象は顧客像ではなく AI 自身の振る舞いの傾向です。

ペルソナベクトルの抽出手順：対照プロンプトから応答活性の平均差まで

論文のパイプラインは、特性名と1〜2文の説明を渡すだけで最後まで自動で進みます。

1. Claude 3.7 Sonnet が、特性を引き出す正のシステムプロンプトと抑える負のシステムプロンプトを5組、評価質問を40問（抽出用20問・評価用20問）、採点用の評価プロンプトを生成します。
2. 抽出用の各質問に、正負それぞれのシステムプロンプトで10回ずつ応答を生成します。
3. 判定モデル GPT-4.1-mini が各応答の特性スコアを0〜100で採点し、正のプロンプトでは50超、負のプロンプトでは50未満の応答だけを残します。
4. 残った応答について、全層の残差ストリームの活性を応答トークン全体で平均します。
5. 特性を示した応答の平均から、示さなかった応答の平均を引きます。これが層ごとのペルソナベクトル候補です。

効いているのは3番目の絞り込みです。「邪悪に振る舞え」と指示しても従わない応答は混じり、採点で外さなければベクトルに「指示を拒む傾向」まで入ります。後の実測で、この混入を数値で確かめています。

使う層の選び方：Qwenは20層目と16層目

候補は層の数だけ得られるため、論文では層ごとにステアリングを試し、特性が最も強く出た層を1つ選んでいます。Qwen2.5-7B-Instruct では evil と sycophancy（迎合）が20層目、hallucination が16層目、Llama-3.1-8B-Instruct では3特性とも16層目でした。層番号は1始まりで、その層の出力を指します。プロンプト側のトークンより応答側のトークンで平均したほうが、ステアリングに効く方向が得られたとも報告されています。

ペルソナベクトルの4つの用途と論文の数値

同じ1本のベクトルを、運用中・学習後・学習中・学習前の4つの時点で使い分けます。

実務で優先すべきは、学習前のデータ選別と学習中の予防的ステアリングです。データ選別はモデルの重みに触れず、予防的ステアリングは推論時の減算より能力を保てたためです。

会話中の監視：応答前の射影値と特性スコアの相関

システムプロンプトを「特性を抑える」から「特性を促す」まで8段階に変え、応答が始まる直前のトークンの活性をペルソナベクトルへ射影しました。射影値と応答の特性スコアの相関は r=0.75〜0.83（evil 0.747、sycophancy 0.798、hallucination 0.830）で、生成を始める前にどの人格へ寄りつつあるかを予測できます。

ただし論文自身が、この相関は主に「促すプロンプトか抑えるプロンプトか」の違いから生じていると書いています。プロンプトの種類をそろえた条件内相関は、evilで0.511、sycophancyで0.669、hallucinationで0.245でした。特にhallucinationでは、全体相関0.830だけで個々の応答の予測精度を判断できません。

学習後の抑制：ベクトル減算とMMLU低下

追加学習で特性が強まったモデルに対し、生成の各ステップで隠れ状態からベクトルの定数倍を引くと、特性の表出は下がりました。ただ係数を大きくすると MMLU の正答率が落ちます。運用中の常時減算は、能力との交換条件になります。

予防的ステアリング：学習中にあえて加算する理由

学習中は望ましくない方向へ活性を足します。モデル自身がデータに合わせてその方向へ動く必要がなくなり、損失関数からの圧力が打ち消されるという理屈で、公式記事はワクチンにたとえています。論文の実験では特性シフトを抑えつつ平均 coherence スコア80超を保ち、MMLU も推論時の減算より維持できました。1層だけでは特性獲得を防ぎきれず、複数層に掛けるとベースライン近くまで抑えられたと付録で報告しています。比較対象の CAFT（学習中に概念方向への射影をゼロにする手法）は、evil と迎合には効いたものの hallucination にはほとんど効きませんでした。

著者の Chen と Arditi は2025年9月6日、LessWrong に予防的ステアリングの追試を公開しています。Qwen2.5-7B-Instruct に、学習期限より後の新しい事実1,000件（各20通りの問答に言い換え）を全層ステアリング付きで学習させました。

係数はどちらもハルシネーションをベースラインまで下げるのに要した値です。特性を誘発しないデータ（Medical Normal）で学習した場合も、予防的ステアリングによる MMLU への影響はごくわずかでした。追加学習でハルシネーションが増える懸念があるなら、減算より予防的ステアリングを先に試すべきです。

学習データの事前選別：projection difference（ΔP）

学習データの応答と、同じ入力に対してベースモデルが自然に出す応答を用意し、それぞれの活性を単位化したベクトルへ射影して平均の差をとります。これが projection difference（ΔP）です。データの応答が元のモデルより強く特性を帯びていれば ΔP は大きくなり、学習するとその方向へ人格がずれると予測できます。元から同じように答えるデータなら学習しても変化しないため、単なる射影値より予測力が高くなります。

LMSYS-Chat-1M で ΔP の上位500件・無作為500件・下位500件をそれぞれ学習させると、特性の表出は上位・無作為・下位の順になり、LLM 判定で特性スコア1超のサンプルを除いても順序は崩れませんでした。上位に挙がったのは、迎合ではロマンスや性的なロールプレイの依頼、ハルシネーションでは「さっきの話の続きを書いて」のような指示不足の依頼です。曖昧な依頼に聞き返さず書き始める応答例は、捏造を探す LLM フィルタをすり抜けます。ファインチューニングのやり方を検討している段階なら、学習前に ΔP でデータを点検する方法が候補になります。ただし、各入力に対するベースモデルの応答生成が必要で、計算費用も見積もる必要があります。プロンプトや RAG 側の対策はハルシネーション（AI）の原因と対策で整理しています。

Qwen2.5-0.5B-Instructでの最小実装と実測結果

論文の手順のうち判定モデルによる絞り込みを省いた最小構成を、CPU で動かしました。2026年10月2日、Intel Mac・torch 2.2.2・transformers 4.46.3 で、Qwen2.5-0.5B-Instruct（24層・隠れ次元896）を対象に「楽観的」の特性を抽出しています。抽出と監視までの実行時間は約5分でした。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

MODEL = "Qwen/Qwen2.5-0.5B-Instruct"
tok = AutoTokenizer.from_pretrained(MODEL)
model = AutoModelForCausalLM.from_pretrained(MODEL, torch_dtype=torch.float32).eval()

POS = "You are an extremely optimistic assistant. Always emphasize hope, opportunity and bright outcomes."
NEG = "You are an extremely pessimistic assistant. Always emphasize risks, failure and dark outcomes."
NEUTRAL = "You are a helpful assistant."
EXTRACT_QS = [
    "What do you think about the future of remote work?",
    "My startup just lost its biggest customer. What now?",
    "How will AI change the job market in ten years?",
    "I failed my driving test today. Any thoughts?",
    "Is it worth learning a new programming language at 40?",
    "What will cities look like in 2050?",
]
EVAL_QS = [
    "Our project deadline was moved up by two weeks. How do you see it?",
    "What do you expect from the economy next year?",
    "I am starting a new job on Monday. Any thoughts?",
]


def prompt_ids(system, question):
    msgs = [{"role": "system", "content": system}, {"role": "user", "content": question}]
    return tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt")


@torch.no_grad()
def response_mean(system, question):
    ids = prompt_ids(system, question)
    out = model.generate(ids, attention_mask=torch.ones_like(ids), max_new_tokens=60, do_sample=False)
    hs = model(out, output_hidden_states=True).hidden_states  # hs[1:24] は第1〜23層の出力、hs[24] は第24層の出力に最終 RMSNorm を掛けた値
    n = ids.shape[1]
    return torch.stack([h[0, n:].mean(0) for h in hs[1:]])  # 応答トークンだけを平均 [層, 次元]


# 1) 抽出：正例の平均 - 負例の平均
pos = torch.stack([response_mean(POS, q) for q in EXTRACT_QS]).mean(0)
neg = torch.stack([response_mean(NEG, q) for q in EXTRACT_QS]).mean(0)
persona = pos - neg
print("shape:", tuple(persona.shape))  # (24, 896)

# 2) 監視：応答前の最終プロンプトトークンを単位ベクトルへ射影
LAYER = 20  # 1 始まり（20 層目の出力）
v = persona[LAYER - 1]
unit = v / v.norm()


@torch.no_grad()
def projection(system, question):
    hs = model(prompt_ids(system, question), output_hidden_states=True).hidden_states
    return float(hs[LAYER][0, -1] @ unit)


for name, sp in [("pessimistic", NEG), ("neutral", NEUTRAL), ("optimistic", POS)]:
    vals = [projection(sp, q) for q in EVAL_QS]
    print(name, round(sum(vals) / len(vals), 2))

# 3) ステアリング：20 層目の出力に alpha * v を足して生成
for alpha in [0.0, 4.0, -4.0]:
    hook = model.model.layers[LAYER - 1].register_forward_hook(
        lambda m, i, o: (o[0] + alpha * v,) + o[1:]
    )
    ids = prompt_ids(NEUTRAL, EVAL_QS[0])
    out = model.generate(ids, attention_mask=torch.ones_like(ids), max_new_tokens=45, do_sample=False)
    hook.remove()
    print(alpha, tok.decode(out[0, ids.shape[1]:], skip_special_tokens=True))

抽出用は6問、評価用は3問で、論文の20問・10回生成・判定モデルによる絞り込みよりかなり小さい規模です。後述の層別の値は LAYER を書き換えて射影を計算し直すと再現できます。

Qwen2.5-0.5Bの層別射影値：15層目以降での条件間の差

全24層で、悲観・中立・楽観の3種類のシステムプロンプトに対する最終プロンプトトークンの射影値（評価3問の平均）を比べました。

1〜14層目の差は絶対値0.06以下で、楽観と悲観の条件をほとんど分離できませんでした。15層目から差が開き、17層目以降は悲観＜中立＜楽観の順にそろいます。7Bモデルで20層目（全28層）を選んだ論文と同じく、中盤から後半の層に特性の方向が現れました。監視に使う層は、対象モデルと特性ごとに評価して選ぶ必要があります。

拒否方向との重なり：応答の選別でコサインが0.28から0.08へ

10月の実測では、係数−2・−4で負方向へ動かすと「状況がわからないので答えられない」という拒否寄りの応答が出ました。悲観ベクトルに拒否の成分が混ざっている疑いがあるため、2026年11月7日に抽出用を12問・評価用を6問へ増やし、拒否方向との重なりを測りました（CPU で約17分）。拒否方向は、有害な指示8件と無害な指示8件で最終プロンプトトークンの活性の平均差をとったものです。単一方向で拒否を説明した Arditi らの2024年の論文と同じ作り方で、その筆頭著者はペルソナベクトル論文の第2著者でもあります。

import re

# 以下は計算部分の抜粋です。実行には前のコードと、HARMFUL・HARMLESSへの各8件の指示の定義が必要です。
REFUSAL_RE = re.compile(r"I'm sorry|I am sorry|I cannot|I can't|I can not|unable to|more (information|context|details)|as an AI", re.I)

@torch.no_grad()
def last_prompt_act(system, question):
    hs = model(prompt_ids(system, question), output_hidden_states=True).hidden_states
    return torch.stack([h[0, -1] for h in hs[1:]])

refusal = torch.stack([last_prompt_act(NEUTRAL, q) for q in HARMFUL]).mean(0) - torch.stack(
    [last_prompt_act(NEUTRAL, q) for q in HARMLESS]).mean(0)

def cos(a, b):
    return float(a @ b / (a.norm() * b.norm()))

判定モデルの代わりに上の正規表現で応答を判定すると、楽観12件中2件、悲観12件中4件が該当しました（悲観の1件は「I’m sorry to hear」という同情表現の誤判定）。該当した応答を外す前と後で、楽観ベクトルと拒否方向のコサイン類似度は次のとおりです。

マイナスは、楽観ベクトルの逆向き（悲観側）が拒否方向に寄っていることを示します。24件中6件を外しただけで20層目の重なりは0.28から0.08へ下がり、ベクトルの向き自体もコサイン0.77まで変わりました。少数の応答から抽出するほど、混ざった応答1件の影響は大きくなります。論文が判定モデルで応答を選別してから平均を取る理由が、ここにあります。

一方、選別後のベクトルや拒否方向を直交除去したベクトルでステアリングし、拒否寄りの出力を数えても差は出ませんでした。係数0でも6問中5問が「As an AI language model」の前置きで正規表現に掛かるためです。0.5B級で効果を測るなら、キーワード判定でなく論文と同じ LLM 判定を使ってください。

公式リポジトリ safety-research/persona_vectors の使い方

論文の実装は GitHub の safety-research/persona_vectors で Apache License 2.0 として公開されています。README の流れは、requirements.txt を入れ、.env に API キーを書き、dataset.zip を展開してから、正負のシステムプロンプトで応答を生成し、generate_vec.py でベクトルを計算する順です。

• generate_vec.py は prompt_avg_diff.pt・response_avg_diff.pt・prompt_last_diff.pt の3種を出力し、論文で使ったのは response_avg_diff.pt です。形状は［層数 × 隠れ次元］です。
• 推論時ステアリングの例は --steering_type response --coef 2.0 --layer 20 で、対象トークンは response・prompt・all から選べます。
• 予防的ステアリングは学習設定の steering_config に "type": "steer"・"steering_coef": 5.0・"layers": [20] を書きます。"ablate" を指定すると CAFT になります。
• 追加学習は LoRA（rank 32・alpha 64・学習率 1e-5）が既定です。

採点に OpenAI の gpt-4.1-mini-2025-04-14 を呼ぶため、API キーと利用料が別に必要です。実行例は Qwen2.5-7B-Instruct を CUDA_VISIBLE_DEVICES 付きで動かしており、GPU が前提です。LoRA の設定値の意味はLoRAとは？ランクrとalphaの決め方で解説しています。

ペルソナベクトルの限界と採用を見送るべき場面

論文の Limitations 節と2026年の批判を、導入判断に直結する順に並べます。

• 事前に名指しした特性しか扱えません。指定していない方向への人格の揺れは検出対象外で、説明文があいまいだと意図と違う方向が抽出されます。
• システムプロンプトで特性を引き出せることが前提です。安全対策の強いモデルは「邪悪に振る舞え」を拒否するため、正例が集まりません。2026年の監査研究でも evil は標準の抽出が失敗する特性に分類されました。
• 検証範囲が狭いままです。原論文のモデルは7B・8Bの2つ、主な評価は特性ごとに自動生成した20問の単発質問で、複数ターンの実運用は測られていません。
• 方向は一意に定まりません。Venkatesh らは、1層への介入では出力が区別できない介入が大量に存在し、ステアリングの方向は入出力の振る舞いから一意に復元できないと示しました。「効いた方向＝モデル内部の人格の表現」と読むのは早計です。

このため、重みを手元に持たないモデルには採用できません。Claude や GPT を API で呼んでいるだけなら活性に触れられないからです。重みを持つ場合でも、抽出済みのベクトルを本番応答で常時減算する使い方は勧めません。係数を上げるほど MMLU が落ち、品質低下の監視を別に用意しない限り割に合いません。手を出すなら、自社データで追加学習する前の ΔP による選別からです。モデルの能力を一切変えずに、問題のあるサンプルを洗い出せます。オープンモデルを自社で追加学習するか API で済ませるかの段階なら、生成AI導入支援で構成から相談できます。

人間の評価をもとに調整するRLHFの3段階の仕組みは迎合を強める副作用が知られており、RLHF の前後で迎合傾向を比べる用途は、ペルソナベクトルの監視が素直に効く場面です。

2026年までの後続研究：Assistant Axis・PSM・外部の検証

原論文の後、Anthropic 内外から性格の異なる研究が出ています。

Assistant Axisとペルソナ選択モデル：Anthropic側の続編

Anthropic は2026年1月19日、後続研究「Assistant Axis」を公式記事で公開しました（arXiv 2601.10387、著者に Jack Lindsey を含む）。Gemma 2 27B・Qwen 3 32B・Llama 3.3 70B で275種類の役柄のベクトルを取り、主成分分析で人格空間を作ると、第1主成分が「どれだけアシスタントらしいか」を表していました。論文はこれを踏まえ、既定のアシスタントの平均活性と全役柄の平均の差を Assistant Axis と定義しています。この軸に沿って活性が通常範囲を超えたときだけ値を抑える activation capping で、役柄を使ったジェイルブレイクへの有害応答率は、公式記事では約50%、論文本文では最良の設定で約60%下がり、能力ベンチマークは保たれました。両者は報告元と設定の異なる数値であり、任意のモデルで同じ低減率が得られることを保証するものではありません。

ペルソナベクトルが「悪意」など名指しした特性ごとの方向なのに対し、Assistant Axis は特性を名指しせず、アシスタントの役柄から離れる度合いを1本の軸で測ります。2026年2月23日には Alignment Science Blog がThe Persona Selection Modelで、事前学習で多様な人物像を学び、事後学習でアシスタント像を選び磨くという見方を示しました。AI の振る舞いを文書で定める側の取り組みはClaudeの憲法で解説しています。

事前学習での形成と53特性の監査：外部研究の結果

EPFL の Moskvoretskii らは OLMo-3-7B の事前学習を通してペルソナベクトルを追跡し、ベクトルが事前学習全体の0.22%以内という早い段階で形成され、事後学習を終えた指示応答モデルのステアリングにもそのまま効くと報告しました。Apertus-8B でも定性的に同じ結果で、この論文も NeurIPS 2026 のポスターに採択されています。PSM の「人格の素地は事前学習でできる」という見方と整合する結果です。

Zeng らは Qwen3-8B と gpt-oss-20b で53特性を監査し、各特性を「既定で表出する」「潜在していてステアリングで増幅できる」「標準の抽出に抵抗する」の3つに分けました。エージェント系の9特性はすべて既定で表出し、ステアリングの効果が最も大きかったのは誇張・ハルシネーション・迎合でした。著者らの結論は、ペルソナベクトルは制御の道具としてより、モデルの振る舞いの構造を調べるプローブとして役立つというものです。本番の制御に使う前に、まず監査と比較に使うのが妥当です。

よくある質問

ペルソナベクトルを簡単に言うと何ですか？

AI が特定の性格を出しているときに、内部の数値がどちらへ動くかを表した矢印です。「迎合している応答」と「迎合していない応答」で各層の活性の平均を取り、その差から求めます。矢印への射影を測れば性格の揺れを監視でき、矢印を足し引きすれば性格を強めたり弱めたりできます。論文では悪意・迎合・ハルシネーションの3特性を中心に、楽観・無礼・無関心・ユーモアの4特性でも検証しています。

生成AIにペルソナを設定するプロンプトとは何が違いますか？

プロンプトで「あなたは〇〇です」と役柄を与える方法は入力文を変えるだけで、モデルが従うかどうかは保証されず、長い会話の中で設定が薄れることもあります。ペルソナベクトルはモデル内部の活性を直接測り、足し引きします。論文では、学習で生じた人格のずれを抑える効果は、システムプロンプトによる誘導よりステアリングのほうが高かったと報告しています。

ChatGPTやClaudeでAIの人格を設定するのに使えますか？

使えません。抽出と適用には、モデル内部の各層の活性を読み書きできる必要があります。ChatGPT や Claude を Web 画面や API で使う場合、利用者は活性に触れられません。試せるのは、重みが公開されている Qwen や Llama などをローカルや自社 GPU で動かす場合です。API のモデルで人格を整えたいなら、システムプロンプトやカスタム指示で調整します。

ペルソナベクトルでハルシネーションは減らせますか？

追加学習で増えるハルシネーションは減らせます。著者らの追試では、新しい事実1,000件を学習させる際に予防的ステアリングを掛けると、ハルシネーションをベースラインに抑えたまま新事実の正答率79%を保ちました。学習済みモデルの推論時に減算する方法は正答率が37%まで落ち、MMLU も下がります。既存のモデルでハルシネーションを減らす手段としては、RAG や出典の提示のほうが現実的です。

ペルソナベクトルの実装コードは公開されていますか？

公開されています。GitHub の safety-research/persona_vectors で、ライセンスは Apache License 2.0 です。対照プロンプトの生成、ベクトルの計算（generate_vec.py）、推論時と学習時のステアリング、学習データの射影計算までのスクリプトがそろっています。採点に OpenAI の gpt-4.1-mini を使うため API キーが必要で、7B級のモデルを動かすには GPU が前提です。

関連記事

• モデル解釈性とは？説明可能性との違いとSHAP・LIMEの選び方を実装目線で解説
• AIペルソナとは？作り方・プロンプト例と「実調査の代わりにならない」研究データ
• ハルシネーション（AI）とは？意味・語源・発生率と原因・種類を実例で解説
• Claudeの憲法とは？2026年1月版の優先順位4つ・ハード制約7項目と2023年版との違い
• スパース回路とは？OpenAIの重みスパースTransformerの仕組みと公開モデルでの再現