データベース

Databricksの使い方:ノートブック作成からDeltaテーブル・ジョブ化までの手順【2026年11月】

Databricksの使い方:ノートブック作成からDeltaテーブル・ジョブ化までの手順【2026年11月】

Databricksの使い方は、ノートブックでSQLやPythonを書き、結果をDeltaテーブルに保存し、同じノートブックをジョブとして定期実行する、という流れで覚えると迷いません。この記事では2026年11月時点の公式ドキュメントをもとに、ワークスペースと計算資源の選び方、ノートブックのマジックコマンドとウィジェット、ボリュームに置いたCSVをread_filesとMERGEでテーブルへ取り込む手順、Lakeflow Jobsで毎朝実行する設定までを、そのまま動かせるコード付きで整理します。databricks notebookの基本操作を一通り押さえたい人向けのチュートリアルです。

まとめ:Databricksの使い方はノートブックで書き、テーブルに残し、ジョブで回す

最初の1日でやることは4つです。計算資源をサーバーレスにしてノートブックを開く。ファイルをUnity Catalogのボリュームに置く。read_filesとMERGE INTOでDeltaテーブルに入れる。ノートブック右上のScheduleからジョブにする。この順で進めれば、手で動かした処理がそのまま毎朝の定期処理になります。

費用で失敗しやすいのは、対話開発用の汎用クラスタをジョブにも使い続けることです。ジョブにはジョブ用の計算資源かサーバーレスを割り当てます。Databricksの全体像とDBU課金の単価は、親記事のDatabricksとは?できること・DBU課金の料金と業種別の費用・導入事例にまとめています。

Databricksを使い始める前に決めるワークスペースの入口と計算資源の選び方

ノートブックを開く前に、どの契約で使うかと、どの計算資源で動かすかを決めます。ここを後回しにすると、業務データを入れてはいけない環境で検証を進めてしまったり、想定外のDBUを消費したりします。

Free Edition・無料トライアル・自社クラウド契約の3つの入口と選ぶ条件

Databricksを触り始める入口は3つあります。入れるデータの種類で選ぶのが確実です。

入口 向いている用途 入れてよいデータ
Free Edition 個人の学習・操作の練習 公開データ・ダミーのみ
無料トライアル 14日間の業務評価 評価用の業務データ
AWS・Azure等の契約 本番の基盤 社内規程に沿う全データ

この記事の手順は、どの入口でも同じ画面で進められます。Free Editionの登録方法と制限値はDatabricks Free Editionの使い方、自社のAWSアカウントにワークスペースを作る手順はDatabricks on AWSの構築手順、AzureならAzure Databricksとはで扱っています。

サーバーレス・汎用クラスタ・SQLウェアハウスの使い分けとDBU単価の差

計算資源は3種類を使い分けます。ノートブックの対話開発はサーバーレスか汎用(All-Purpose)クラスタ、定期実行はジョブ用の計算資源かサーバーレス、SQLだけのダッシュボードや分析はSQLウェアハウスです。

単価の差は小さくありません。親記事の表(AWS東京・Premium・2026年10月22日取得)では、Jobs Computeが0.15ドル/DBU、All-Purpose Computeが0.55ドル/DBUで、約3.7倍の開きがあります。同じ処理を汎用クラスタで毎日回すと、計算量が同じでもDBU代は3倍以上になる計算です。ワークスペースでサーバーレスが有効なら、公式のETLチュートリアルのとおり、クラスタを作る手順そのものを省けます。

Workspace・Catalog・Jobs & Pipelinesの操作先

2026年11月時点の画面では、使い始めに触るのはサイドバーの次の項目です。

  • +New:ノートブック、クエリ、ファイルのアップロードなど、新しく作るものの入口
  • Workspace:ノートブックとフォルダの置き場所。個人用は/Users/(ユーザー名)の下
  • Catalog:カタログ・スキーマ・テーブル・ボリュームの一覧と権限
  • Jobs & Pipelines:ジョブとパイプラインの作成・実行履歴
  • Compute:汎用クラスタとSQLウェアハウスの作成・停止

Databricksは機能名の変更が続いており、2024年以前の解説記事にある「Workflows」「Data」といった項目名は、今の画面では見当たらないことがあります。古い記事の手順で項目が見つからないときは、公式ドキュメントの同じ機能のページで現在の名前を確かめます。

Databricksノートブックの言語切り替え・マジックコマンド・共通処理の読み込み

ノートブックは、セルごとにコードを実行して結果をその場で確かめる開発画面です。+NewからNotebookを選び、右上の計算資源の選択でServerlessか起動済みのクラスタに接続すれば、すぐにセルを実行できます。

既定言語と%sql・%md・%pipでセルごとに言語を切り替える書き方

Develop code in Databricks notebooksによると、ノートブックの既定言語はノートブック名の下に表示され、セルの先頭に%言語名を書くとそのセルだけ言語を切り替えられます。既定言語をPythonにした場合の書き分けは次のとおりです。

%md
## 売上データの取り込み
このノートブックは日次の売上CSVを取り込む。

%pip install openpyxl

%sql
SELECT current_catalog(), current_schema(), current_user();

上の3つは別々のセルに書きます。%mdは説明文の表示、%pipはこのノートブックだけで使うPythonパッケージの導入、%sqlはSQLの実行です。注意点は、言語ごとに変数が共有されないことです。公式ページにも「Variables and state are isolated between different language REPLs.」とあり、Pythonで作った変数をSQLセルからは参照できません。受け渡したいときは、一時ビューかテーブルを経由します。

%runとdbutils.notebook.runの違いと共通関数ノートブックの分け方

別のノートブックを呼ぶ方法は2つあり、用途がはっきり分かれます。Orchestrate Databricks notebooks and modularize codeの記述を整理すると次のとおりです。

観点 %run dbutils.notebook.run
実行のされ方 呼び出し元に取り込んで実行 新しいジョブとして実行
関数・変数の共有 できる できない
戻り値 返せない 文字列で1つ返せる
主な用途 共通関数の読み込み 処理の分岐・並び替え

使い始めの段階では、日付の変換やテーブル名の組み立てなど、複数のノートブックで使う関数をcommonというノートブックにまとめ、各ノートブックの先頭セルに%run ./commonだけを書く形が扱いやすい構成です。%runはセルに単独で書く必要があります。処理の順番や条件分岐は、ノートブックからdbutils.notebook.runで組むより、後述のジョブのタスクとして並べるほうが実行履歴を追いやすくなります。

dbutils.widgetsで日付などの引数を受け取り、後のジョブ化に備える

ノートブックに処理対象の日付などを直接書き込むと、ジョブにしたときに毎回書き換えが要ります。最初からウィジェットで受け取る形にしておけば、日付の直接の書き換えは不要です。Access parameter values from a taskのとおり、ジョブから渡した値もdbutils.widgets.getで読めます。

from datetime import datetime
from zoneinfo import ZoneInfo

# 対話実行では空欄のまま。ジョブから run_date が渡されればその値を使う
dbutils.widgets.text("run_date", "", "処理日 (YYYY-MM-DD)")
run_date = dbutils.widgets.get("run_date") or datetime.now(ZoneInfo("Asia/Tokyo")).date().isoformat()

# 処理対象のファイル置き場(次の章で作るボリューム)
source_dir = f"/Volumes/dev/sales/raw/{run_date}"
print(run_date, source_dir)

ウィジェットを作るとノートブック上部に入力欄が出て、値を変えて試せます。ジョブのパラメータとタスクのパラメータで同じキーを使った場合はジョブのパラメータが優先される、という点も同じページに書かれています。

CSVのボリューム配置とread_files・MERGEによるDeltaテーブルへ取り込み

ここからはデータの取り込みです。例として、日別の売上CSV(order_id・order_date・customer_id・amountの4列)を、カタログdev・スキーマsalesのテーブルに入れます。カタログ・スキーマ・テーブルの3階層と権限の考え方はUnity Catalogとは?3レベル名前空間と権限継承・移行判断で解説しています。

カタログ・スキーマ・ボリュームを作り、UIから5GBまでのCSVを上げる

SQLセルで置き場所を作ります。カタログの作成権限が無い場合は、管理者にdevカタログを用意してもらうか、すでにあるカタログ名に置き換えます。

CREATE CATALOG IF NOT EXISTS dev;
CREATE SCHEMA IF NOT EXISTS dev.sales;
CREATE VOLUME IF NOT EXISTS dev.sales.raw
  COMMENT '売上CSVの受け口';

CSVのアップロードは、+New、Add or upload data、Upload files to a volumeの順に開き、置き先に/Volumes/dev/sales/raw/2026-11-15のようなフォルダを指定します。Work with files in Unity Catalog volumesには、UIからアップロードできるファイルのサイズ上限は、1ファイルにつき5GBとの記載です。それより大きいファイルや毎日届くファイルは、Python SDKやCLIで置くか、クラウドストレージを外部ボリュームとしてつなぎます。CLIでの転送はDatabricks CLIの使い方で扱っています。

read_filesとCREATE TABLE ASによるCSVのDeltaテーブル化

read_filesは、ボリュームやクラウドストレージ上のファイルをテーブルのように読むSQL関数です。Databricks Runtime 13.3 LTS以上で使え、サーバーレスでもそのまま動きます。

-- まず中身と推定された型を確かめる
SELECT * FROM read_files(
  '/Volumes/dev/sales/raw/2026-11-15/',
  format => 'csv',
  header => true
) LIMIT 10;

-- 型を明示して最初のDeltaテーブルを作る
CREATE OR REPLACE TABLE dev.sales.orders AS
SELECT
  CAST(order_id AS BIGINT)        AS order_id,
  CAST(order_date AS DATE)        AS order_date,
  CAST(customer_id AS STRING)     AS customer_id,
  CAST(amount AS DECIMAL(12, 0))  AS amount,
  current_timestamp()             AS loaded_at
FROM read_files(
  '/Volumes/dev/sales/raw/2026-11-15/',
  format => 'csv',
  header => true
);

Databricksで形式を指定せずに作ったテーブルはDeltaテーブルになります。型の推定に任せたままにすると、先頭ゼロ付きの顧客コードが数値になって00123が123に変わる、といった事故が起きます。最初のテーブルを作る時点でCASTを書いておくのが安全です。推定した型に合わない値は、_rescued_data列に退避されます。この列に値が入っている行を数えると、CSV側の崩れに早く気づけます。

MERGE INTOで日次の差分を上書き取り込みし、重複キーの失敗を防ぐ

2日目以降は、同じ注文が訂正されて再送されることを前提に、INSERTではなくMERGE INTOで取り込みます。Upsert into a Delta Lake table using mergeのUPDATE SET *・INSERT *の書き方を、ウィジェットの日付と組み合わせた例です。

run_date = dbutils.widgets.get("run_date") or "2026-11-16"
path = f"/Volumes/dev/sales/raw/{run_date}/"

spark.sql(f"""
CREATE OR REPLACE TEMP VIEW orders_src AS
SELECT order_id, order_date, customer_id, amount, loaded_at FROM (
  SELECT
    CAST(order_id AS BIGINT)       AS order_id,
    CAST(order_date AS DATE)       AS order_date,
    CAST(customer_id AS STRING)    AS customer_id,
    CAST(amount AS DECIMAL(12, 0)) AS amount,
    current_timestamp()            AS loaded_at,
    -- 同じ注文が1ファイルに複数行あるときは最後の行だけ残す
    row_number() OVER (PARTITION BY order_id ORDER BY _metadata.file_modification_time DESC) AS rn
  FROM read_files('{path}', format => 'csv', header => true)
) WHERE rn = 1
""")

spark.sql("""
MERGE INTO dev.sales.orders AS t
USING orders_src AS s
ON t.order_id = s.order_id
WHEN MATCHED THEN UPDATE SET *
WHEN NOT MATCHED THEN INSERT *
""")

row_numberで重複を落としているのは、公式ページに「Only a single row from the source table can match a given row in the target table.」とあるためです。取り込み元に同じorder_idが2行あると、MERGEは失敗します。手作業のCSVではこの重複がよく起きるので、最初から取り込み側で1行に絞っておきます。

DESCRIBE HISTORY・VERSION AS OF・RESTOREでの復旧

Deltaテーブルは書き込みのたびに版が残ります。誤ったファイルをMERGEしてしまっても、Work with table historyの手順で前の版に戻せます。

-- 書き込みの履歴(新しい順)を見る
DESCRIBE HISTORY dev.sales.orders LIMIT 5;

-- 誤更新の直前の版を読み、件数と合計を比べる
SELECT count(*), sum(amount) FROM dev.sales.orders VERSION AS OF 3;

-- 問題がなければ、その版へ戻す
RESTORE TABLE dev.sales.orders TO VERSION AS OF 3;

戻せる期間には限りがあります。履歴の保持は既定で30日、VACUUMで消される古いデータファイルの保持は既定で7日です。7日より前の版はデータファイルが消えている可能性があるため、月次の締めのように後から遡る用途には、履歴に頼らず日付ごとのスナップショットのテーブルを別に作ります。

ノートブックをLakeflow Jobsでジョブ化し、毎朝の定期実行にする設定

手で動かしたノートブックは、そのままジョブにできます。Databricksのジョブ機能は現在Lakeflow Jobsという名前で、1つのジョブに最大1,000タスク、ワークスペース全体で同時2,000タスクまで実行できます。使い始めの段階では、1ジョブ1〜3タスクで十分です。

ノートブック右上のScheduleから作るジョブと、ジョブ用計算資源の指定

公式チュートリアルの手順をもとにした流れです。

  1. 取り込み用のノートブックを開き、右上のScheduleをクリックする
  2. Job nameにsales_orders_dailyのような名前を入れる
  3. 最初はトリガーをManualにし、計算資源にServerlessを選んでCreateする
  4. Run nowで1回実行し、Last runのリンクから結果を確かめる
  5. 手動実行が通ってから、Jobs & Pipelinesのジョブ画面で定期実行のトリガーを足す

いきなり定期実行にせず、手動で1回通してからトリガーを足すのは、権限不足やパスの誤りを日中に潰すためです。ノートブックがSQLだけで書かれ既定言語もSQLの場合は、Notebook task for jobsのとおり、計算資源にSQLウェアハウスも選べます。

Quartz cronとAsia/Tokyoで毎朝6時に実行し、日付パラメータを渡す設定

ジョブ画面のAdd triggerでScheduledを選び、Advancedにすると時刻とタイムゾーンを指定できます。Show Cron Syntaxにチェックを入れると、Quartzのcron式で直接書けます。設定する値の例です。

# Trigger type: Scheduled / Schedule type: Advanced
# Quartz cron(秒 分 時 日 月 曜日):毎日 6:00:00
0 0 6 * * ?

# Timezone
Asia/Tokyo

# Job parameters(Key = Value)
# 空欄なら、ノートブック側で実行日の日付を使う
run_date =

Quartzのcronは先頭が秒で、Linuxのcronより1項目多い点に注意します。Run jobs on a scheduleには、夏時間のあるタイムゾーンでは切り替え時に実行が飛ぶか遅れることがあると書かれています。日本時間には夏時間が無いので、Asia/Tokyoを選べばこの問題は起きません。また、スケジューラは低遅延向けではなく、数分の遅れはありうるとされています。6:00に始まり6:05までに終わる必要がある処理は、開始時刻に余裕を持たせます。

ジョブパラメータは、Configure task parametersのとおりキーと値の形式のタスクへ自動で渡されます。過去日を取り込み直したいときは、Run now with different parametersでrun_dateに日付を入れて実行すれば、ノートブックを書き換えずに済みます。

出力30MB・セル8MBの上限と失敗通知・再試行で止まらないジョブにする

ジョブにしたノートブックで止まりやすい原因と、先に入れておく設定です。重要度の高い順に並べます。

  • 出力の上限:ノートブックの出力は合計30MB、1セル8MBまでで、超えると実行は失敗扱いになる。ジョブ用のノートブックからはdisplayでの全件表示を外す
  • 失敗の通知:ジョブ画面の通知設定で、失敗時に担当者のメールかSlackへ送る。通知が無いと、翌日の集計がずれてから気づく
  • 再試行:一時的な接続エラーに備え、タスクに再試行を1〜2回設定する。MERGEで書く処理は同じ日付で再実行しても結果が変わらないので、再試行と相性がよい
  • 実行者の権限:ジョブはジョブの所有者か指定したサービスプリンシパルの権限で動く。作成者が異動すると止まるため、本番はサービスプリンシパルに寄せる

出力上限で落ちた例として多いのは、確認用に書いたdisplay(df)をそのまま残したケースです。ジョブ化する前に、確認用のセルを削るかdf.count()のような件数の出力に置き換えます。作ったジョブを外部のシステムからREST APIやPython SDKで起動する方法はDatabricks APIの使い方:REST API・Python SDKでのジョブ実行とOAuth M2M認証で解説しています。

Databricksの使い方を画面操作で続ける範囲と、コード管理や外部支援へ移る判断

ここまでの手順はすべて画面とノートブックで完結します。どこまでこのやり方で続け、どこからコード管理に移るかを、人数とジョブの数で判断します。

ノートブックと画面のジョブで足りる条件:1〜2人・ジョブ数本の検証段階

次の条件がそろっている間は、この記事のやり方で十分です。

  • ノートブックを編集するのが1〜2人で、同じノートブックを同時に直さない
  • ジョブが数本で、開発用と本番用のワークスペースを分けていない
  • 取り込むデータが日次のバッチで、秒単位の鮮度は要らない

この段階では、Gitフォルダにノートブックを置いて変更履歴だけ残しておけば足ります。自然言語で集計したい利用者がいれば、作ったテーブルをそのままDatabricks Genieに登録でき、社内向けの画面が要るならDatabricks Appsで同じテーブルを読むアプリを載せられます。

バンドルとGit管理へ移る条件と汎用クラスタのままジョブを回す失敗例

3人以上で同じジョブを触る、開発と本番のワークスペースを分ける、ジョブが10本を超える。どれか1つに当てはまったら、画面でのジョブ編集はやめ、ジョブの定義をコードで管理するバンドルに移ります。画面で直したジョブ設定は差分が残らず、誰がいつスケジュールを変えたかを後から追えないためです。移行の手順はDatabricks CLIの使い方のバンドルの章にまとめています。

よくある失敗は、対話開発で作った汎用クラスタをジョブにもそのまま指定し、自動停止の時間を長くしたまま運用するケースです。先ほどの単価差のとおり、同じ処理でもDBU単価は約3.7倍で、クラスタが待機している時間にも課金されます。ジョブにはジョブ用の計算資源かサーバーレスを割り当てる、というのが本番運用の前提になります。

取り込み元が基幹システムや複数のSaaSにまたがる、権限を部署ごとに分ける、といった設計が必要になった段階では、データ基盤としての設計を先に決めた方が手戻りが減ります。ワークスペースの設計からデータ取り込み、ジョブ運用までまとめて任せたい場合は、一創のデータ分析基盤構築・MLOps構築支援で要件の整理から対応しています。

Databricksの使い方とノートブック操作で詰まりやすい点のよくある質問

databricks チュートリアルを進める段階でよく出る質問に、2026年11月15日時点の公式ドキュメントをもとに答えます。

Databricksのノートブックで使える言語は何ですか?

Python・SQL・Scala・Rの4つです。ノートブックごとに既定言語を1つ決め、セルの先頭に%sqlや%pythonを書けばセル単位で切り替えられます。言語ごとに変数は共有されないため、PythonとSQLの間でデータを受け渡すときは一時ビューかテーブルを使います。なお、Free EditionではScalaとRが使えないので、学習用ならPythonとSQLで書くのが無難です。

Databricksの使い方を学ぶのにSparkの知識は必要ですか?

最初は不要です。この記事の取り込みとMERGEは、SQLだけでも書けます。Sparkの知識が効いてくるのは、数億行を超えるデータで処理時間を詰める段階や、ストリーミングで取り込む段階です。SQLでテーブルを作り、ジョブで回すところまで進めてから、遅い処理だけPySparkのデータフレームで書き直す順番が学習の手戻りが少なく済みます。

ノートブックのセルを書き換えたら、ジョブにも反映されますか?

反映されます。ワークスペースのノートブックをタスクに指定したジョブは、実行時点のノートブックの内容で動きます。便利な反面、開発中の書きかけの変更が翌朝の本番実行に入ってしまう原因にもなる仕組みです。本番のジョブは、Gitのブランチやタグを指定するか、開発用とは別のフォルダのノートブックを指すようにしておきます。

Databricksのジョブは何分間隔まで短くできますか?

公式ページでは、スケジュールによる実行の間隔に最短10秒の制約があると書かれています。ただし、スケジューラは低遅延向けではなく、数分遅れることがあるというのも公式ページの記載です。数分おきに新しいファイルを取り込みたいなら、短いcronを組むより、ファイル到着をきっかけに動くトリガーやストリーミングでの取り込みを検討します。

DatabricksとSnowflakeは使い方の面で何が違いますか?

Snowflakeは仮想ウェアハウスでSQLを実行するのが基本で、DatabricksはノートブックでのPythonとSQLの混在、Sparkでの大量データ加工、機械学習までを同じ画面で扱う設計です。SQL中心の分析だけなら操作感は近づいていますが、課金の単位と得意な処理は異なります。比較の詳細はDatabricksとSnowflakeの違いで、東京リージョンの単価を使って整理しています。

関連記事

お気に入りに入れた記事の一覧

一創の公式 SNS

X では毎朝の新着記事と IT ニュースの速報を、YouTube・TikTok・Instagram・LinkedIn・Facebook では記事の解説動画を配信しています。

この記事は以下の記事からリンクされています

資料請求

今日のトレンド記事 直近 24 時間で、いつもより多く読まれている記事

  1. 2026.11.13 テックブログ 宝くじ公式サイト不正アクセス:4,436名の対象確認とパスワード再設定、変更された仕組み
  2. 2026.01.30 テックブログ Xで「人間であることを確認」と顔認証が出る理由と対処|ライブネスチェックとOpenAIの生体認証SNS構想
  3. 2026.11.13 テックブログ KARTEの不正アクセス:全機能停止で利用企業がタグ・配信・データ連携を確かめる手順
  4. 2026.11.09 テックブログ あきゅらいず不正アクセス:最大約90万件の対象確認とパスワード変更、退会者データの消し方
  5. 2026.11.13 テックブログ Gemini 4 Hydrogenとは?3.8 Flashからの移行・料金・xhighの使い方を実装目線で解説【2026年11月】

RELATED POSTS 関連記事

目次