SAM 2(Segment Anything Model 2)は、Metaが2024年7月に公開した、画像と動画の両方で任意の物体を切り出せるセグメンテーションモデルです。クリックした点や囲んだボックスを手がかりに対象のマスクを返し、動画では最初のフレームで指定した物体を後続のフレームでも追い続けます。本記事では、インストールから画像・動画のPythonコードまでを公式のソースコードと論文を根拠に説明し、GPUの無いCPUで動かしたときの所要時間、4つの導入経路の違い、後継のSAM 3ではなくSAM 2を選ぶ条件も示します。
まとめ:SAM 2を動かす最短経路と、SAM 3ではなくSAM 2を選ぶ条件
最短の手順は、公式リポジトリをクローンしてpip install -e ".[notebooks]"でインストールし、SAM 2.1のチェックポイントを取得してSAM2ImagePredictorに点を1つ渡すことです。公式の要件はPython 3.10以上とPyTorch 2.5.1以上で、Windowsでは公式がWSL上のUbuntuを強く推奨しています。動画はbuild_sam2_video_predictorで予測器を作り、1フレーム目の指定をpropagate_in_videoで全フレームへ広げます。MP4を直接読むには[notebooks]に含まれるeva-decordが必要です。
GPUが無くても動きます。4コアのCPUで実測したところ、tinyで画像1枚の特徴量計算が2.6秒、点を変えた再推論は110ミリ秒でした。点を打って確かめる用途ならCPUで足ります。一方、自動マスク生成と動画の追跡はCPUでは1枚あたり秒単位から分単位になるので、本番はGPUで回します。
後継のSAM 3はテキストで対象を指定できますが、SAM 2にはチェックポイントがApache 2.0ライセンスで公開されているという利点があります。点やボックスによる指定で足り、ライセンスを単純に保ちたい案件では、2026年11月時点でもSAM 2.1が有力な選択肢です。ただし公式リポジトリは2024年12月を最後にコードの更新が止まっている点を、採用前に押さえてください。
SAM 2の概要:画像と動画を1つのモデルで切り出すMetaのセグメンテーション基盤
初代SAMからの変更点:動画のフレームをまたいで物体を覚えるストリーミングメモリ
初代SAMは静止画専用でした。SAM 2は、過去のフレームで得た物体の特徴をメモリに蓄え、次のフレームの推論で参照する仕組みを足しています。これにより、物体が一時的に隠れても追跡を続けられます。論文「SAM 2: Segment Anything in Images and Videos」によれば、動画では従来手法より3分の1の操作回数で同等の精度に届き、画像では初代SAMより6倍高速です。
学習には、Metaが新たに構築した動画データセットSA-Vを使っています。Metaの公式ページによると、SA-Vは約5.1万本の動画と60万を超えるマスクレット(時間方向に連続したマスク)で構成され、47か国の映像を含みます。クラスごとに画素を分類するセマンティックセグメンテーションの仕組みと代表モデルとは異なり、SAM 2はクラスを決めずに指定された物体を切り出します。
SAM 2.1の4サイズ比較:パラメータ数・FPS・SA-V精度で選ぶチェックポイント
2024年9月末に、改良版のチェックポイントであるSAM 2.1が公開されました(READMEの表の注記は9月29日、更新履歴は9月30日)。新規に使うなら2.1系を選びます。公式リポジトリのREADMEに掲載されている4サイズの値は次のとおりです。速度はA100・torch 2.5.1・CUDA 12.4で、モデル全体をコンパイルした場合の計測値です。
| チェックポイント | パラメータ数 | ファイルサイズ | 速度(FPS) | SA-V test(J&F) |
|---|---|---|---|---|
| sam2.1_hiera_tiny | 38.9M | 156MB | 91.2 | 76.5 |
| sam2.1_hiera_small | 46M | 184MB | 84.8 | 76.6 |
| sam2.1_hiera_base_plus | 80.8M | 324MB | 64.1 | 78.2 |
| sam2.1_hiera_large | 224.4M | – | 39.5 | 79.5 |
ファイルサイズは2026年11月16日に公式URLから取得した実ファイルの大きさです。tinyとsmallの精度差は0.1ポイントしかありません。largeはtinyより精度が3ポイント高い代わりに、速度は半分以下になります。リアルタイム処理が要るならtiny、オフラインでアノテーションの下書きを作るならlargeという分け方が素直です。
Apache 2.0で商用利用できる点と、SAM 3のライセンスとの違い
READMEの記載では、SAM 2のチェックポイント、デモコード、学習コードはApache 2.0ライセンスです。例外はデモで使うフォント(Inter・Noto Color Emoji)のSIL Open Font Licenseと、後処理に使う連結成分の計算をcc_torchから取り込んだ部分のBSD 3-Clauseです。後継のSAM 3は独自のSAM Licenseに変わり、利用条件の確認項目が増えました。モデルごとの差分はSAM 3の解説記事にあるSAM 2との比較にまとめています。受託案件で顧客の法務確認を短く済ませたい場合、この違いはモデルの精度差より効いてきます。
公式リポジトリの保守状況:2024年12月を最後にコード更新なし
GitHub APIで2026年11月16日に確認したところ、facebookresearch/sam2のmainブランチの最終コミットは2024年12月16日(UTC)のMPS向けの修正で(その後に更新があるのはデモ画面の依存を上げる自動生成のブランチだけです)、GitHubのリリースは0件、未解決のIssueとPull Requestは合わせて487件でした。スター数は約2万です。アーカイブ(読み取り専用化)はされていませんが、新しいPyTorchやCUDAで不具合が出ても、公式の修正は期待しにくい状態です。
対処は、動いた時点のPyTorchとtorchvisionの版をrequirements.txtで固定することと、保守が続いているTransformersの実装(後述)を代替経路として確保しておくことです。
SAM 2のインストール手順:Python 3.10とPyTorch 2.5.1以上
SAM 2はリポジトリをクローンして編集可能モードでインストールします。事前に、PyTorch公式の手順で、GPUのCUDAに合ったPyTorch 2.5.1以上とtorchvision 0.20.1以上を入れておきます。
GitHubのクローンから本体導入とチェックポイント取得までの公式手順
次のコマンドで、本体のインストールとSAM 2.1のチェックポイント取得まで完了します。download_ckpts.shは4サイズすべてをcheckpointsディレクトリに保存します。
git clone https://github.com/facebookresearch/sam2.git
cd sam2
pip install -e ".[notebooks]"
# 全4サイズを取得する場合
cd checkpoints && ./download_ckpts.sh && cd ..
# tinyだけ取得する場合は上の一括取得行を実行せず、checkpointsディレクトリ内で次を実行
curl -L -O https://dl.fbaipublicfiles.com/segment_anything_2/092824/sam2.1_hiera_tiny.pt
[notebooks]を付けると、matplotlib、Jupyter、OpenCV、MP4を読むためのeva-decordが一緒に入ります。pip install -e .だけで済ませると、後の動画処理でMP4を渡したときにdecordが見つからず失敗します。
PyPIにはsam2という名前のパッケージもありますが、2026年11月16日時点の作者欄はMetaではなく個人名で、最新版1.1.0の公開日は2024年12月21日です。参照先のGitHubも公式とは別のリポジトリです。pip install sam2で公式版が入ると考えないでください。
CUDA拡張のビルド失敗とWindowsでの回避策
インストール時には、マスクの小さな穴や点状のノイズを除く後処理用のCUDA拡張がビルドされます。ビルドに失敗してもインストールは止まらず、実行時に「Skipping the post-processing step due to the error above」という警告を出して後処理を飛ばします。INSTALL.mdは、この場合も多くのケースで結果に影響しないと説明しています。GPUとCUDAの関係はCUDAの仕組みとバージョンの解説を参照してください。
INSTALL.mdは、Windowsでの利用にWSL上のUbuntuを強く推奨しています。ネイティブのWindowsでもPython部分は動きますが、CUDA拡張のビルドでコンパイラ周りが詰まりやすいためです。よく出るエラーと対処は次の4つです。
- CUDA拡張のビルドに失敗する:
SAM2_BUILD_CUDA=0 pip install -e ".[notebooks]"で拡張のビルドを省く - MissingConfigExceptionで設定ファイルが見つからない:
pip install -e .を実行済みか確かめ、それでも出るならリポジトリのルートをPYTHONPATHに加える - CUDA_HOMEの未設定エラー:PyTorchに対応するCUDA Toolkitを導入し、必要に応じてそのパスをCUDA_HOMEに設定する。解消しない場合は、
pip install --no-build-isolation -e .を使う - SAM 2.1のチェックポイントが読めない:リポジトリを最新にし、
pip uninstall -y SAM-2で消してから入れ直す
後処理を有効にしたい場合は、GPUマシンでSAM2_BUILD_ALLOW_ERRORS=0を付けて再インストールすると、隠れていたビルドエラーが表示されます。
SAM2ImagePredictorによる点・ボックス指定の画像マスク生成
画像の推論にはSAM2ImagePredictorを使います。set_imageで画像の特徴量を一度だけ計算し、その後はpredictに指定を変えて何度でも渡せる構造です。
点プロンプト1つで対象を切り出し、3つの候補マスクとスコアを受け取る最小コード
次のコードは、画像の座標(500, 375)にある物体を切り出します。point_labelsの1は「この点は対象の内側」という意味です。GPUが無い環境ではdevice="cpu"を渡し、torch.autocastを外します。GPUでも、torch.cuda.is_bf16_supported()がFalseを返す世代ではbfloat16のautocastを外して実行します。
import numpy as np
import torch
from PIL import Image
from sam2.build_sam import build_sam2
from sam2.sam2_image_predictor import SAM2ImagePredictor
checkpoint = "./checkpoints/sam2.1_hiera_large.pt"
model_cfg = "configs/sam2.1/sam2.1_hiera_l.yaml"
predictor = SAM2ImagePredictor(build_sam2(model_cfg, checkpoint)) # CPUなら device="cpu" を追加
image = np.array(Image.open("input.jpg").convert("RGB"))
with torch.inference_mode(), torch.autocast("cuda", dtype=torch.bfloat16):
predictor.set_image(image)
masks, scores, _ = predictor.predict(
point_coords=np.array([[500, 375]]),
point_labels=np.array([1]),
multimask_output=True,
)
best = masks[np.argmax(scores)]
print(masks.shape, scores)
multimask_output=Trueでは、マスクを3つ返します。点1つでは「タイヤだけ」「車体全体」のように対象の範囲が曖昧になるため、候補を複数出してスコアで選ばせる設計です。公式サンプルのトラック画像(1800×1200)で実行すると、masks.shapeは(3, 1200, 1800)でした。set_imageはRGBでHWC形式のNumPy配列か、PILの画像を受け付けます。OpenCVで読んだBGRの配列をそのまま渡すと色の順序がずれるので注意してください。
ボックス指定と対象外の点を組み合わせて誤検出を減らす指定方法
点1つで意図しない範囲が返るときは、ボックスで範囲を絞り、含めたくない部分に「対象外」の点を打ちます。point_labelsの0が対象外を表します。
with torch.inference_mode(), torch.autocast("cuda", dtype=torch.bfloat16):
masks, scores, _ = predictor.predict(
point_coords=np.array([[575, 750]]),
point_labels=np.array([0]),
box=np.array([425, 600, 700, 875]),
multimask_output=False,
)
ボックスは左上と右下の座標(x0, y0, x1, y1)で渡します。対象がはっきりしている場合はmultimask_output=Falseにしてマスクを1つに絞ると、後段の処理が単純になります。物体検出モデルの出力したボックスをそのまま渡せば、検出結果を輪郭レベルの切り抜きに変換できます。検出モデルの選び方は物体検出の仕組みと代表手法の比較を参照してください。
SAM2AutomaticMaskGeneratorによる全物体の自動抽出設定
指定なしで画像内の物体をすべて切り出すなら、SAM2AutomaticMaskGeneratorを使います。画像全体に格子状の点を打ち、点ごとのマスクを重複除去してまとめる方式です。
from sam2.automatic_mask_generator import SAM2AutomaticMaskGenerator
sam2 = build_sam2(model_cfg, checkpoint)
generator = SAM2AutomaticMaskGenerator(
sam2,
points_per_side=32,
pred_iou_thresh=0.8,
stability_score_thresh=0.95,
)
records = generator.generate(image)
print(len(records), sorted(records[0].keys()) if records else [])
ここに書いた3つの値は、automatic_mask_generator.pyの既定値と同じです。戻り値は辞書のリストで、segmentation(マスク)、bbox(XYWH形式のボックス)、area、predicted_iou、stability_scoreなどのキーを持ちます。細かな物体を拾い漏らすときはpoints_per_sideを増やしますが、推論回数は辺の点数の2乗で増えます。CPU実測では、tinyでpoints_per_sideを16から32に上げると、処理時間が35.5秒から122.7秒になりました。
教師データ用にCOCO形式のRLEでマスクを書き出す設定
SAM 2のマスクを物体検出やインスタンスセグメンテーションの教師データに回すなら、COCO形式のRLE(ランレングス符号)で書き出すと扱いやすくなります。SAM2AutomaticMaskGeneratorはoutput_modeに"binary_mask"(既定)、"uncompressed_rle"、"coco_rle"の3つを受け付け、"coco_rle"にはpycocotoolsが必要です。次のコードを実行する前にpip install pycocotoolsで導入してください。
import json
from pycocotools import mask as mask_utils
generator = SAM2AutomaticMaskGenerator(sam2, output_mode="coco_rle")
records = generator.generate(image)
anns = [{"segmentation": r["segmentation"], "bbox": r["bbox"], "area": r["area"]} for r in records]
# SAM2ImagePredictorのマスク(NumPyの二値配列)を変換する場合
rle = mask_utils.encode(np.asfortranarray(best.astype(np.uint8)))
rle["counts"] = rle["counts"].decode("ascii")
json.dump({"annotations": anns, "point_prompt": rle}, open("masks.json", "w"))
mask_utils.encodeはFortran順のuint8配列を要求し、countsはバイト列で返るため、JSONに入れる前に文字列へ変換します。
SAM2VideoPredictorで1フレーム目の指定を伝播する動画処理
動画では、あるフレームで物体を指定すると、SAM 2がその物体を前後のフレームで追跡します。画像の予測器とは別に、動画用の予測器を作ります。
MP4の読み込みに要るdecordモジュール:JPEG連番とMP4の違い
sam2/utils/misc.pyのload_video_framesが受け付けるのは、MP4ファイルと、00000.jpgのようにフレーム番号をファイル名にしたJPEGのディレクトリです。それ以外を渡すと「Only MP4 video and JPEG folder are supported」というエラーになります。MP4の読み込みは内部でdecordを使うため、eva-decordなどが提供するdecordモジュールを導入していない環境では、MP4を渡した時点でimport decordが失敗し、ModuleNotFoundErrorになります。公式のサンプルはJPEGのディレクトリを使っており、ffmpegで次のように書き出せます。
mkdir frames
ffmpeg -i input.mp4 -q:v 2 -start_number 0 frames/'%05d.jpg'
JPEGに書き出しておけば、フレームの間引きや区間の切り出しがファイル操作だけで済み、decordも要りません。
動画内の物体IDと点の指定から全フレームへの追跡を実行するコード
次のコードは、add_new_points_or_boxで0フレーム目の座標(210, 350)にある物体にIDの1を付け、propagate_in_videoで動画全体を追跡します。
import numpy as np
import torch
from sam2.build_sam import build_sam2_video_predictor
checkpoint = "./checkpoints/sam2.1_hiera_large.pt"
model_cfg = "configs/sam2.1/sam2.1_hiera_l.yaml"
predictor = build_sam2_video_predictor(model_cfg, checkpoint)
with torch.inference_mode(), torch.autocast("cuda", dtype=torch.bfloat16):
state = predictor.init_state(video_path="./frames")
predictor.add_new_points_or_box(
inference_state=state,
frame_idx=0,
obj_id=1,
points=np.array([[210, 350]], dtype=np.float32),
labels=np.array([1], dtype=np.int32),
)
results = {}
for frame_idx, obj_ids, mask_logits in predictor.propagate_in_video(state):
results[frame_idx] = {
obj_id: (mask_logits[i] > 0.0).cpu().numpy()
for i, obj_id in enumerate(obj_ids)
}
print(len(results))
propagate_in_videoが返すのはマスクそのものではなくロジットなので、0より大きい画素を対象とみなす二値化が必要です。複数の物体を追う場合は、obj_idを2、3と変えてadd_new_points_or_boxを物体の数だけ呼びます。途中のフレームで追跡が外れたら、そのフレームのframe_idxで点を追加して伝播をやり直します。
長尺の動画でメモリが足りないときのoffload設定とvos_optimized
init_stateにはoffload_video_to_cpuとoffload_state_to_cpuという引数があります。前者はフレーム画像を、後者は推論状態をCPU側のメモリに置き、GPUメモリの消費を抑えます。数千フレームの動画でメモリ不足になったら、まずこの2つをTrueにします。転送の分だけ処理は遅くなります。
init_stateは指定したフレームを最初に全部、1024×1024に縮小・拡大した浮動小数点の配列として読み込みます。長い動画をそのまま渡すとここで時間とメモリを使い切るので、追跡したい区間だけをJPEGで切り出して渡すのが確実です。
速度を上げたい場合は、2024年12月11日の更新で加わったbuild_sam2_video_predictor(..., vos_optimized=True)を使います。モデル全体をtorch.compileでコンパイルする設定で、初回はコンパイルの待ち時間がかかります。同じ予測器で多くの動画を続けて処理するバッチ用途に向く設定です。
GPUなしで動かすSAM 2:CPUでの実測値とMacのMPS対応状況
「GPUが無いPCやMacで試せるか」「1枚に何秒かかるか」に公式READMEは答えていません。そこで、公式リポジトリのコードとSAM 2.1のチェックポイントをCPUだけで動かし、所要時間を測りました。
測定条件:4コアのLinux環境とPyTorch 2.15.0のCPU版
| 項目 | 内容 |
|---|---|
| CPU | Intel Core i9-9880H(Docker用VMに4コア・6GiBを割当) |
| OS・Python | Debian(python:3.12-slim)・Python 3.12.15 |
| PyTorch | 2.15.0(CPU版)・torchvision 0.29.2 |
| SAM 2 | 公式リポジトリ main の最終コミット 2b90b9f |
| CUDA拡張 | SAM2_BUILD_CUDA=0でビルドせず(後処理は省略) |
| 入力 | 公式サンプルtruck.jpg(1800×1200)・bedroom(960×540)の先頭30フレーム |
| 計測 | 2026年11月16日・画像は3回の中央値 |
CPUで動かすには、build_sam2とbuild_sam2_video_predictorにdevice="cpu"を渡します。既定値は"cuda"なので、省略するとGPUの無い環境ではモデルの読み込みで失敗します。導入では次の2点で手間取りました。
pip install -e .は、CPU版のPyTorchが入っていてもビルド用に別のPyTorchを取得します(pyproject.tomlのbuild-systemにtorch>=2.5.1があるため)。CUDA版の大きなパッケージでディスクを使い切ったので、SAM2_BUILD_CUDA=0 pip install --no-build-isolation -e .で既存のPyTorchを使わせました。- クローンした
sam2の親ディレクトリにスクリプトを置いて実行すると、「You’re likely running Python from the parent directory of the sam2 repository」というRuntimeErrorで止まります。リポジトリ名とパッケージ名が同じsam2のためbuild_sam.pyが意図的に止めており、スクリプトを別のディレクトリへ移せば解消します。
PyTorch 2.15では読み込み時にtorch.jit.scriptの非推奨警告(FutureWarning)が、動画の追跡ではCUDA拡張が無い旨の警告が出ますが、どちらも推論は最後まで進みました。
画像の推論時間:set_imageは秒単位、predictは数百ミリ秒以下
| チェックポイント | set_image | predict(点1つ) | predict(ボックス) |
|---|---|---|---|
| tiny(39.0M) | 2.58秒 | 110ms | 94ms |
| small(46.1M) | 3.01秒 | 105ms | 98ms |
| base_plus(80.9M) | 5.72秒 | 174ms | 98ms |
時間のほとんどはset_imageでの画像エンコーダの計算で、base_plusはtinyの約2.2倍でした。predictはどのサイズも0.2秒未満なので、点を打ち直しながら範囲を詰める操作はCPUでも待たずに進みます。この画像のボックス指定では、モデル自身が予測したIoUスコアはtiny 0.969、small 0.977、base_plus 0.979でした。正解マスクと比べた実測IoUではないので、モデル間の精度差としては読めません。
SAM 2 tinyのCPU処理時間:自動マスク生成と動画追跡
| 処理(tiny) | 時間 | 結果 |
|---|---|---|
| 自動マスク生成 points_per_side=16 | 35.5秒 | マスク16個 |
| 自動マスク生成 points_per_side=32(既定) | 122.7秒 | マスク34個 |
| 動画 init_state(JPEG 30枚) | 4.0秒 | 最大メモリ1,210MB |
| 動画 init_state(JPEG 200枚) | 12.5秒 | 最大メモリ3,250MB |
| 動画 propagate_in_video(30フレーム) | 161.8秒 | 1フレーム約5.4秒 |
| 動画 init_state(MP4 200フレーム) | – | メモリ不足で強制終了 |
自動マスク生成は既定の設定で1枚2分を超え、動画の追跡は1フレームに約5.4秒かかりました。30fpsの動画なら、1秒分の追跡に約2分半かかる計算です。CPUで回せるのは、数枚の確認か夜間の小さなバッチまでです。同じ200フレームでも、JPEGのディレクトリは最大3,250MBで読み込めた一方、MP4はメモリ6GiBのVM上で強制終了(終了コード137)しました。MP4の読み込み関数は全フレームをいったんリストに読み、まとめて浮動小数点に変換するため、一時的にJPEG読み込みより多くのメモリを使います。メモリの小さい環境では、JPEGに書き出したうえで、追跡する区間やフレーム数を減らして渡します。init_stateのasync_loading_frames=True(JPEG専用)は初期読み込みの待ち時間を短くする設定で、読み込んだ全フレームを保持するため総メモリ量は減りません。
Apple SiliconのMacでは、公式ノートブックがMPS(Metal)を選べますが、「MPSへの対応は暫定的で、CUDAで学習したため数値が異なったり性能が落ちたりする場合がある」と注記しています。まずCPUで結果を確かめ、速度が要るときにMPSへ切り替えます。
公式・Hugging Face・Transformers・Ultralyticsの4経路の比較
Hugging Faceの重みを公式コードで直接読み込む方法
公式の予測器には、Hugging Faceに公開された重みを読み込むfrom_pretrainedが用意されています。事前にpip install huggingface_hubを実行すると、チェックポイントの手動ダウンロードと設定ファイルの指定を省けます。
from sam2.sam2_image_predictor import SAM2ImagePredictor
from sam2.sam2_video_predictor import SAM2VideoPredictor
image_predictor = SAM2ImagePredictor.from_pretrained("facebook/sam2.1-hiera-large")
video_predictor = SAM2VideoPredictor.from_pretrained("facebook/sam2.1-hiera-large")
モデルIDはfacebook/sam2.1-hiera-のあとにtiny、small、base-plus、largeのいずれかを付けます。初版の重みを使う場合はsam2.1をsam2に置き換えます。Hugging Face Hubの仕組みやトークンの扱いは、Hugging Faceでできることと使い方の解説を参照してください。
TransformersのSam2Modelで動かす方法(v4.56.0以降)
Hugging FaceのTransformers v4.56.0(2025年8月29日公開)で、SAM 2がSam2Modelとして追加されました。PyTorchとPillowを導入済みならpip install transformersで追加できます。新しい環境ではpip install "transformers[torch]" pillowで必要な依存も導入します。保守はTransformers側で続いています。点の指定は、画像・物体・点・座標の4階層のリストで渡します。
import torch
from PIL import Image
from transformers import Sam2Model, Sam2Processor
model = Sam2Model.from_pretrained("facebook/sam2.1-hiera-tiny")
processor = Sam2Processor.from_pretrained("facebook/sam2.1-hiera-tiny")
image = Image.open("input.jpg").convert("RGB")
inputs = processor(images=image, input_points=[[[[500, 375]]]], input_labels=[[[1]]], return_tensors="pt")
with torch.no_grad():
outputs = model(**inputs)
masks = processor.post_process_masks(outputs.pred_masks.cpu(), inputs["original_sizes"])[0]
print(masks.shape, outputs.iou_scores)
このコードをTransformers 5.23.0とtinyでCPU実行すると、masks.shapeは(1, 3, 1200, 1800)、1回の推論(画像エンコーダ込み)は約2.9秒でした。読み込み時に「sam2_video型のモデルをsam2型として読み込む」旨の警告が出ます。Hubのconfig.jsonのmodel_typeがsam2_videoのためで、画像の推論は問題なく動きました。
Hugging Face Hubのfacebook/sam2.1-hiera-*の4モデルは、どれも公式形式の.ptとTransformers形式のmodel.safetensorsを両方含みます。動画にはSam2VideoModelとSam2VideoProcessorが別に用意され、全物体の自動抽出はpipeline("mask-generation", ...)で行えます。公式リポジトリにある学習コードは含まれません。
Ultralyticsのsam2.1_b.ptによる短い実装と制御上の限界
YOLOシリーズで知られるUltralyticsのパッケージもSAM 2に対応しています。Ultralyticsのドキュメントに沿えば、ボックス指定の推論が3行で書けます。
from ultralytics import SAM
model = SAM("sam2.1_b.pt")
results = model("input.jpg", bboxes=[100, 100, 200, 200])
ドキュメントの対応表では、SAM 2とSAM 2.1の8モデルとも推論だけが対応で、学習・検証・エクスポートは非対応です。検出モデルと組み合わせて画像フォルダに一括でラベルを付けるauto_annotateは、Ultralytics独自の機能です。ただしUltralyticsのパッケージ自体はAGPL-3.0なので、Apache 2.0の利点を製品で生かすなら公式リポジトリかTransformersを使います。
| 経路 | 導入 | 動画の細かな制御 | 自動マスク生成 | 保守 | パッケージのライセンス |
|---|---|---|---|---|---|
| 公式リポジトリ | git clone | すべて可能 | あり | 2024年12月で停止 | Apache 2.0 |
| 公式+from_pretrained | git clone | すべて可能 | あり | 2024年12月で停止 | Apache 2.0 |
| Transformers | pip | Sam2VideoModelで可能 | pipelineで可能 | 継続 | Apache 2.0 |
| Ultralytics | pip | 限定的 | あり | 継続 | AGPL-3.0 |
検証の初日はUltralyticsで挙動を確かめ、製品に組み込む段階で公式リポジトリかTransformersに移す、という二段構えが現実的です。長く運用する製品なら、保守が続いているTransformersを優先します。
業務でSAM 2を使う判断:SAM 3へ移行すべき場面と、SAM 2に留まる条件
SAM 3が出た後もSAM 2を選ぶかどうかは、対象の指定方法とライセンスで決まります。
SAM 2に留まるのが妥当な条件:点とボックスの指定で足り、ライセンスを優先する場合
次の条件がそろうなら、SAM 2.1を選びます。対象の位置を人か別のモデルが指定できること。商用製品への組み込みで、ライセンスをApache 2.0に揃えたいこと。既にSAM 2で組んだパイプラインが動いていること。検出モデルのボックスを輪郭に変換する用途が典型です。CPUでも1枚数秒で返るtinyは、GPUの無い社内の検証環境にも置けます。
SAM 2を採用しない条件:テキストによるクラス指定と同一クラスの全個体抽出
「画像内の作業員をすべて切り出す」のように、物体の種類を言葉で指定して全インスタンスを取りたいなら、SAM 2は向きません。SAM 2にはテキストで指定する機能が無く、自動マスク生成では物体の種類を区別しないためです。この要件ではSAM 3を使うか、対象クラスを学習させた専用モデルを作ります。リアルタイムでの全物体抽出をCPUで回したい場合も、上の実測のとおりSAM 2では間に合いません。
SAM 2のアノテーション下書き利用と追加学習の設備条件
業務でSAM 2が最も効果を出しやすいのは、教師データの作成です。作業者がポリゴンを手で描く代わりに点を1つ打ち、SAM 2のマスクを修正するだけにすれば、1枚あたりの作業量が減ります。作業手順と品質管理はアノテーションの種類とやり方の解説を参照してください。こうして集めたデータで業務専用の軽量モデルを学習させ、本番の推論はそちらに任せる流れが、費用と速度の両面で無理がありません。
SAM 2そのもののファインチューニングは、公式のtraining/README.mdが手順を用意していますが、前提はメモリ80GBのA100で、例示はMOSEデータセットを8GPUでbase_plusを学習する構成です。医用画像のように見た目が大きく違う領域でなければ、まずプロンプトの工夫と後段の専用モデルで足りるかを確かめてから着手します。画像認識の開発を外部に任せる場合の進め方は、画像認識AIモデル構築の支援内容で紹介しています。
よくある質問
SAM 2はGPUが無いCPUだけの環境やMacでも動きますか?
動きます。build_sam2にdevice="cpu"を渡し、サンプルコードのtorch.autocast("cuda", ...)を外します。4コアのCPUでの実測では、tinyの画像1枚のset_imageが2.6秒、点を変えた再推論が110ミリ秒でしたが、動画の追跡は1フレーム約5.4秒かかりました。Apple SiliconのMPSは公式ノートブックが「暫定的な対応」と注記しています。
SAM 2とSAM 2.1はどちらを使えばよいですか?
新規ならSAM 2.1です。2024年9月末に公開された改良版のチェックポイントで、READMEの表ではSA-V testの精度が全サイズでSAM 2より上がっています(tinyは75.0から76.5、largeは76.0から79.5)。コードは共通で、設定ファイルをconfigs/sam2.1/配下、チェックポイントをsam2.1_hiera_*.ptに変えるだけです。
SAM 2は商用利用できますか?
できます。チェックポイント、デモコード、学習コードはApache 2.0ライセンスで公開されています。製品に同梱する場合は、ライセンス文と著作権表示を添えてください。注意点は周辺のパッケージで、Ultralytics経由で使う場合はUltralyticsのパッケージ自体がAGPL-3.0なので、製品の配布形態によってはソースコードの開示義務が生じます。
SAM 2でテキストを入力して物体を指定できますか?
できません。SAM 2が受け付ける指定は、点、ボックス、マスクの3種類です。「犬」「ヘルメット」のように言葉で対象を指定したい場合は、テキスト指定に対応した後継のSAM 3を使うか、物体検出モデルでボックスを作ってからSAM 2に渡す二段構成にします。後者のライセンスは検出モデルの実装と重みにも依存します。Apache 2.0系で揃えるには、検出モデル側も同条件で利用できるものを選びます。
動画の途中で追跡が外れたときはどう直しますか?
外れたフレームの番号をframe_idxに指定し、同じobj_idでadd_new_points_or_boxを呼んで点を追加します。そのうえでpropagate_in_videoをもう一度実行すると、追加した指定を反映して追跡し直します。対象外の部分まで含んでしまう場合は、ラベル0の点を足して範囲を削ります。