データマイニングとは？意味と主な手法・アルゴリズムの選び方をPython実行例で解説

データマイニングとは、大量のデータから、それまで知られていなかった役に立つパターンや規則を見つけ出す作業です。「マイニング（mining）」は鉱山の採掘を指す英語で、データの山から価値のある鉱脈を掘り当てる様子にたとえた呼び名です。

この記事では、まず定義の原典に当たってデータマイニングがどの工程を指すのかを確かめ、次に「何を知りたいか」から手法を選べるよう5つのタスクに整理します。後半では、Pythonで3つの手法を実際に動かした出力を読みながら、結果を誤読しやすい箇所と、個人データを扱うときの法的な線引きまで説明します。

まとめ：データマイニングの意味と手法選びの要点

• データマイニングは、KDD（Knowledge Discovery in Databases：データベースからの知識発見）という一連の流れのうち、アルゴリズムを当ててパターンを取り出す1工程を指す（Fayyadら、1996年）。前処理や結果の解釈はKDDの別工程。
• 手法は「何を知りたいか」で選ぶ。正解のあるデータで予測するなら分類・回帰、似た者同士をまとめるならクラスタリング、一緒に起きる組み合わせならアソシエーション分析、普段と違う動きなら異常検知。
• 代表的なアルゴリズムは、2006年の国際会議ICDMで選ばれた10種（C4.5・k-means・SVM・Apriori・EM・PageRank・AdaBoost・k近傍法・ナイーブベイズ・CART）が目安になる。
• 結果の読み方でつまずきやすい。確信度が高くてもリフトが1未満なら、2つは一緒に買われにくい「負の関連」にある。クラスタは「正解」ではなく分け方の1案にすぎない。
• 有名な「おむつとビール」の話は、1992年ごろに購買データの分析が行われたと報じられている一方、その結果を受けて売場を並べ替えたという記録は見つかっていない。
• 顧客データを社内分析に使うなら、個人情報保護法の仮名加工情報（第2条第5項・第41条）の要件を先に確認する。第三者への提供は本人の同意があっても原則できない。

以下、定義、手法、アルゴリズム、実行例、進め方、つまずきやすい点、法的な線引きの順に説明します。

データマイニングの意味：KDDの中での位置づけ

Fayyadらの定義：パターンを取り出す1工程

データマイニングとKDDの関係をはっきり区別した原典が、Usama Fayyad、Gregory Piatetsky-Shapiro、Padhraic Smythが1996年にAI Magazine第17巻3号に発表した論文「From Data Mining to Knowledge Discovery in Databases」です。この論文はまず、KDDを「データの中から、妥当で、新しく、役に立つ可能性があり、最終的に理解できるパターンを見つけ出す、自明でないプロセス」と定義しました。そのうえでデータマイニングを、KDDのうちデータ分析と発見のアルゴリズムを当ててパターンを列挙する1つのステップと位置づけています。

論文の図1が示すKDDの流れは、データの選択、前処理、変換、データマイニング、解釈・評価の5段階です（本文では、目標の理解から知識の活用までをさらに細かい9段階で説明しています）。日常的には全体をまとめて「データマイニング」と呼ぶことが多いものの、原典の区分を知っておくと、「アルゴリズムを回せば知見が出る」という誤解を避けられます。論文自身も、データマイニングの手法をやみくもに当てはめること（統計学で「data dredging」と批判されてきた行為）は危険で、意味のない誤ったパターンの発見につながりやすいと警告しています。

統計解析・機械学習・BIとの違い

データマイニングは、統計解析や機械学習と道具を共有しています。違いは道具ではなく、目的と出発点です。

実務では境目ははっきりしません。決定木やk-meansは機械学習のアルゴリズムでもあり、データマイニングの道具でもあります。機械学習と深層学習の関係はAI・ML・DLの違いとは？機械学習と深層学習の関係と使い分けを原典と実測で解説で整理しています。見えている指標を毎月追うだけならBIで足ります（BIとは？ビジネスインテリジェンスの意味・仕組みから導入判断まで解説）。データマイニングが必要になるのは、「どこを見ればよいかがまだ分からない」段階です。

データマイニングの主な手法：知りたいことで選ぶ5つのタスク

手法の名前から入ると迷います。まず「何を知りたいか」を決め、それに合うタスクを選び、最後にアルゴリズムを選ぶ順番にすると判断がぶれません。

「正解ラベル」の列が最初の分かれ目です。過去の解約者・非解約者のように答えの付いたデータがあれば分類・回帰（教師あり学習）を使い、答えが無ければクラスタリングやアソシエーション分析（教師なし学習）でデータの構造を探します。

分類と回帰：カテゴリと数値の予測

分類は「解約する／しない」「不正／正常」のようにカテゴリを当て、回帰は「来週の販売数」のように数値を当てます。どちらも過去のデータで規則を学ばせ、新しいデータに当てはめます。商品や店舗ごとの需要予測は回帰の代表例で、手法と導入の進め方は需要予測とは？AI・機械学習による手法とシステム導入の進め方を解説で扱っています。

分類で業務に説明しやすいのは決定木です。「年間購入回数が3回以下かつ最終購入から90日超なら解約しやすい」のように、分岐をそのまま業務ルールとして読めるためです。分岐の作り方と過学習を防ぐ剪定は決定木分析とは？分類木・回帰木の仕組みと過学習を防ぐ剪定・アンサンブルを実装目線で解説が詳しいです。

クラスタリング：類似性に基づくグループ化

クラスタリングは、正解の無いデータを似た者同士の塊に分けます。購買金額・頻度・最終購入日で顧客を分ける使い方が典型です。k-meansは塊の数（k）を先に決める必要があり、決め方に迷うときは階層的クラスタリングの樹形図（デンドログラム）で切れ目を探します。見方はデンドログラムとは？階層的クラスタリングの見方とクラスタ数の決め方を参照してください。

アソシエーション分析：一緒に買われる組み合わせ

アソシエーション分析は、「Aを買った取引ではBも買われやすい」という規則を探します。問題設定はRakesh Agrawalらが1993年のSIGMODで示したもので、効率よくルールを探すアルゴリズムとして広まったのが、AgrawalとRamakrishnan Srikantが1994年のVLDBで発表したAprioriです。その論文は、支持度をそのアイテム集合を含むトランザクション（取引）の割合で定義しています。「買った人の割合」ではなく「レシートの割合」である点に注意してください。指標の計算とExcel・Pythonでの手順はバスケット分析とは？アソシエーション分析との違いと指標・Excel・Pythonでのやり方、リフト値の読み方はリフト値とは？計算方法と1.0基準の目安・ExcelとPythonでの求め方にまとめています。

異常検知：大多数から外れたデータの検出

異常検知は、カードの不正利用やセンサー値の急変のように、大多数と違うデータ点を見つけます。異常の事例はごく少なく、ラベルを集めにくいため、正常データの分布から外れたものを拾う教師なしの方法がよく使われます。scikit-learnのIsolationForestは、ランダムな分割で早く孤立する点ほど異常とみなす手法です。

テキストマイニング・プロセスマイニング：データの種類で変わる呼び名

上の5タスクは数値や取引データを前提にしています。文章を対象にするテキストマイニングは、単語に分ける前処理を経て、分類やクラスタリングなど同じタスクを当てます。一方のプロセスマイニングは、業務システムのイベントログから実際の業務の流れを取り出す別系統の分野です。IEEEのタスクフォースによるプロセスマイニング宣言は、ログから業務プロセスのモデルを作る「発見」、規定のプロセスとのずれを確かめる「適合性検査」、モデルを改善・拡張する「拡張」の3つを主な類型としています。詳しくはそれぞれテキストマイニングとは？手法・やり方・無料ツールから企業の導入判断まで解説とプロセスマイニングとは？仕組み・3つの分析とタスクマイニングとの違い、導入判断で説明しています。

代表的なアルゴリズム10種：ICDMが選んだトップ10

アルゴリズムは数百種類ありますが、どれから学ぶかの目安になるのが、IEEEの国際会議ICDM 2006で選ばれた「データマイニングのトップ10アルゴリズム」です。選定の経緯と各手法の解説はWu Xindongらの論文（Knowledge and Information Systems 第14巻、2008年）にまとまっています。

10種のうちC4.5とCARTは決定木そのものです。AdaBoostは任意の分類器を組み合わせる手法ですが、浅い決定木を組み合わせる使い方が広く知られています。2006年の選定なので深層学習は入っていません。表形式の業務データでは、決定木を多数組み合わせるランダムフォレストや勾配ブースティングも候補になります。

アルゴリズム選定の観点：精度と説明責任

アルゴリズム選びでは、精度と並んで判断理由の説明が必要かどうかを最初に確かめます。与信審査や採用のように判断理由を説明する責任がある用途では、浅い決定木やロジスティック回帰のように分岐や係数を示せる手法を候補に入れ、精度の差がどれだけあるかを同じデータで比べてから決めます。説明の要件が緩く、外れたときの損失も小さい用途なら、アンサンブルなど複雑な手法も比較の対象にできます。ただし複雑な手法が常に精度で勝つとは限らないので、ここでも実測で比べます。この線引きを先に決めておくと、PoCのあとで「なぜその判定になったのか説明できない」と差し戻される事態を防げます。

Pythonで動かす3つの手法：アソシエーション・決定木・k-means

手法の違いは、実際の出力を見ると早く腑に落ちます。scikit-learn 1.9.1（2026年9月公開の最新版）とPython 3.13で、アソシエーション分析・決定木・k-meansを1本のスクリプトで動かしました。決定木とk-meansのデータはscikit-learnに同梱されている乳がん診断データ（569件・30項目）とワインのデータ（178件・13項目）です。scikit-learnの導入と基本操作はScikit-learnとは？読み方・できること・使い方を実行例で解説を参照してください。

from itertools import combinations
import pandas as pd
from sklearn.datasets import load_breast_cancer, load_wine
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier, export_text
from sklearn.preprocessing import StandardScaler
from sklearn.cluster import KMeans
from sklearn.metrics import accuracy_score, adjusted_rand_score

# 1. アソシエーション分析：支持度・確信度・リフト
baskets = [
    {"牛乳", "パン"}, {"牛乳", "パン", "卵"}, {"牛乳", "卵"}, {"牛乳", "パン", "バター"},
    {"牛乳", "卵", "バター"}, {"パン", "バター"}, {"牛乳", "パン"}, {"牛乳", "卵"},
    {"パン", "バター", "ジャム"}, {"牛乳", "パン", "バター", "ジャム"},
]
n = len(baskets)
sup = lambda s: sum(s <= b for b in baskets) / n
items = sorted(set().union(*baskets))
rows = []
for a, b in combinations(items, 2):
    for x, y in ((a, b), (b, a)):
        s = sup({x, y})
        if s >= 0.2:
            conf = s / sup({x})
            rows.append((f"{x}→{y}", s, round(conf, 2), round(conf / sup({y}), 2)))
print(pd.DataFrame(rows, columns=["ルール", "支持度", "確信度", "リフト"]).sort_values("リフト", ascending=False).to_string(index=False))

# 2. 分類：決定木（教師あり）
X, y = load_breast_cancer(return_X_y=True, as_frame=True)
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.25, random_state=0, stratify=y)
tree = DecisionTreeClassifier(max_depth=2, random_state=0).fit(X_tr, y_tr)
print("決定木の正解率:", round(accuracy_score(y_te, tree.predict(X_te)), 3))
print(export_text(tree, feature_names=list(X.columns)))

# 3. クラスタリング：k-means（教師なし）
Xw, yw = load_wine(return_X_y=True)
labels = KMeans(n_clusters=3, n_init=10, random_state=0).fit_predict(StandardScaler().fit_transform(Xw))
print("k-meansと品種ラベルの一致度(ARI):", round(adjusted_rand_score(yw, labels), 3))

実行結果は次のとおりです。アソシエーション分析の部分は、2商品の組み合わせ（1商品→1商品）のうち支持度0.2以上のルールだけを列挙しています。3商品以上を含むルールは探していません。

    ルール  支持度  確信度  リフト
ジャム→バター  0.2 1.00 2.00
バター→ジャム  0.2 0.40 2.00
 ジャム→パン  0.2 1.00 1.43
 パン→ジャム  0.2 0.29 1.43
   卵→牛乳  0.4 1.00 1.25
   牛乳→卵  0.4 0.50 1.25
 バター→パン  0.4 0.80 1.14
 パン→バター  0.4 0.57 1.14
  牛乳→パン  0.5 0.62 0.89
  パン→牛乳  0.5 0.71 0.89
 牛乳→バター  0.3 0.37 0.75
 バター→牛乳  0.3 0.60 0.75
決定木の正解率: 0.888
|--- worst perimeter <= 106.10
|   |--- worst concave points <= 0.13
|   |   |--- class: 1
|   |--- worst concave points >  0.13
|   |   |--- class: 0
|--- worst perimeter >  106.10
|   |--- worst concave points <= 0.14
|   |   |--- class: 0
|   |--- worst concave points >  0.14
|   |   |--- class: 0

k-meansと品種ラベルの一致度(ARI): 0.897

確信度とリフトの読み分け：リフト1未満は負の関連

「パン→牛乳」は確信度0.71で、パンを含む取引7件のうち5件で牛乳も買われています。一見強い規則に見えますが、リフトは0.89で1を下回ります。牛乳は全10件中8件（80%）の取引に含まれているので、パンを含む取引に限ると牛乳の割合（約71%）は全体より低いのです。リフトが1未満のときは、2つが一緒に買われにくい「負の関連」にあると読みます。どちらの場合も、分かるのは同時に買われる傾向であって、片方が購入の原因になっているかどうかではありません。

売場づくりに使うなら、確信度だけで並べず、リフトが1を上回るルール（この例ではジャム→バター、ジャム→パン）を候補にします。ただし、ジャムを含む取引はこの例では10件中2件しかありません。実際のデータでは、ルールを支えている取引の件数を確かめ、別の期間や店舗のデータでも同じ傾向が出るかを確認してから施策に移します。

決定木の読み方：分岐条件と葉の件数

深さ2の決定木は、テストデータ143件で正解率88.8%でした（クラス0が悪性、1が良性）。このデータは、乳房のしこりから針で採取した組織の画像をもとに、写っている細胞核の特徴を数値化したものです。最初の分岐は「worst perimeter（細胞核の外周長のうち、大きいほうから3つの値の平均）が106.10以下か」で、このように分岐の条件をそのまま人に説明できるのが決定木の長所です。

ただし、表示された分類だけを信じるのは危険です。export_textにshow_weights=Trueを付けて各葉の学習データ件数を出すと、上から2番目の葉は悪性10件・良性9件、3番目の葉は悪性20件・良性17件と、ほぼ半々でした。この2つの葉では「悪性」と判定していても根拠は弱く、業務ルールとして使うなら追加の確認を挟むべき領域です。

k-meansのクラスタは正解ではなく分け方の1案

ワインのデータを標準化してk-meansで3つに分けると、実際の品種ラベルとの一致度（ARI。1が完全一致、0が偶然と同程度）は0.897でした。このデータは品種という「正解」が分かっているので一致度を測れますが、実務の顧客データには正解がありません。kを変えれば別の分け方が出てくるので、クラスタを「顧客の本当の種類」と扱わず、施策の打ち分けに役立つかどうかで評価します。なお、標準化を省くと値の大きい項目が距離を支配し、結果が大きく変わる点にも注意が必要です。

データマイニングの進め方：CRISP-DMの6フェーズ

業務でデータマイニングを進める手順として広く使われているのが、CRISP-DM（Cross-Industry Standard Process for Data Mining）です。1996年末に構想され、NCR・DaimlerChrysler・SPSS・OHRA（オランダの保険・銀行グループ）のコンソーシアムが2000年にCRISP-DM 1.0のガイドとして公開しました。次の6フェーズを、必要に応じて前のフェーズへ戻りながら進めます。

1. ビジネスの理解（Business Understanding）：解きたい業務課題と成功の基準を決める
2. データの理解（Data Understanding）：手元のデータの量・品質・偏りを調べる
3. データの準備（Data Preparation）：欠損や表記ゆれを直し、分析用の表を作る
4. モデリング（Modeling）：手法とアルゴリズムを選び、パラメータを調整する
5. 評価（Evaluation）：精度だけでなく、最初に決めた業務の基準を満たすか確かめる
6. 展開（Deployment）：業務の仕組みやレポートに組み込む

現場で時間を食うのは、多くの場合3のデータの準備です。部署ごとに顧客IDの付け方が違う、日付の形式がそろっていない、といった問題はアルゴリズムでは解決できません。各フェーズの24タスクやKDDとの違いはCRISP-DMとは？6フェーズの手順と24タスク、KDD・CRISP-ML(Q)との違いで解説しています。

予測モデルを作っても、発注や在庫の仕組みに組み込まれなければ成果になりません。最後の「展開」まで含めて相談したい場合は、AI予測分析開発・需要予測開発の支援で要件整理から相談を受けています。

成果が出ないパターン：「おむつとビール」の実話と誤読

「おむつとビール」逸話の出所

データマイニングの事例として「夕方におむつとビールが一緒に売れることを発見し、並べて置いたら売上が伸びた」という話がよく紹介されます。英The Registerの2006年の記事は、この話の出所をたどったDaniel Powerの調査を紹介しています。それによると、元になったのは1992年、TeradataのThomas Blischokのグループが米国のドラッグストアチェーンOsco Drugの約120万件の買い物かごデータを調べ、午後5時から7時にかけておむつとビールが一緒に買われる傾向を見つけたという分析です。

同じ記事は、チェーンが商品を並べ替えてこの情報を活用した形跡は無いこと、年齢や性別との相関は確かめられていないこと、使われた手法が現代的な意味でのデータマイニングに当たるかどうか自体が疑わしいことを指摘しています。いずれも報道と関係者の証言に基づく内容で、当時の分析記録そのものは公開されていません。少なくとも、「発見して並べたら売上が伸びた」という成功談を裏づける記録は見当たらないので、事例として引くときは分析の部分と売場の施策の部分を分けて扱うのが安全です。

成果が出ない3つの典型：因果の誤読・目的なき探索・過学習

逸話の誤読から学べるのは1つ目の点だけですが、データマイニングで成果が出ないときは、次の3つのどれかに当てはまることがよくあります。

• 相関を因果と読む：一緒に売れることは、並べれば売れることを意味しません。施策の効果は、並べた店と並べない店を比べるA/Bテストで別に確かめます。
• 目的なしに掘る：「何か面白いものが出るはず」と全項目を総当たりすると、偶然の相関を大量に拾います。Fayyadらの論文が、手法をやみくもに当てはめると意味のないパターンを拾いやすいと警告していたのは、この危険です。
• 過学習：学習データにだけ当てはまる細かい規則を作ると、新しいデータで外れます。Pythonの実行例で決定木の深さを2に抑えたのも、学習とテストを分けて正解率を測ったのも、このためです。

反対に、データマイニングを採用すべきでない場面もはっきりしています。手元のデータが知りたい顧客や期間を代表していない（特定の店舗やキャンペーン期間に偏っている）、学習とは別のデータで結果を検証できる量が無い、結果を見ても変えられる施策が無い、のいずれかに当てはまるなら、まず集計とBIで現状を見える化するほうが早く成果につながります。

顧客データを掘るときの法的な線引き：仮名加工情報

購買履歴や会員情報を使ったデータマイニングでは、個人情報保護法の扱いを先に確認します。2020年改正（2022年4月1日施行）で設けられた仮名加工情報は、氏名などを削除・置換して、他の情報と照合しない限り特定の個人を識別できないように加工した情報です（定義は第2条第5項、取扱いのルールは第41条）。

個人情報保護委員会のガイドラインによると、仮名加工情報には利用目的の変更を制限する第17条第2項が適用されません。そのため、あらかじめ利用目的を変更して公表すれば、取得時の目的とは別の社内分析にも使えます。一方で、本人の同意があっても第三者への提供は原則としてできず（第41条第6項）、本人を特定するために他の情報と照合すること（同第7項）や、含まれる連絡先を使って本人に電話・メール送信・訪問をすること（同第8項）も禁じられています。

つまり、社内の分析チームが顧客の購買傾向を掘る用途には向きますが、外部の会社へ自由に渡せるデータではありません。ただし、分析業務の委託、事業承継、共同利用として法の要件を満たす場合は、提供先が「第三者」に当たらないため渡せます（第41条第6項で読み替えて適用する第27条第5項）。外部の分析会社を使うなら、委託の範囲に収まるかを確かめ、収まらない用途なら匿名加工情報として作り直すかを判断します。作成基準と分析基盤への落とし込みは仮名加工情報とは？作成基準と利用制限を分析基盤の設計要件に翻訳して解説で解説しています。

よくある質問

データマイニングとデータ分析は何が違いますか？

データ分析は、集計・可視化・検定まで含む広い言葉です。データマイニングはその中で、大量のデータから未知のパターンを見つけ出す工程を指します。売上の前年比を出すのはデータ分析ですが、データマイニングとは呼びません。

データマイニングはどのように機能しますか？

目的に合わせて集めたデータを前処理し、分類・クラスタリング・アソシエーション分析などのアルゴリズムを当ててパターンを取り出し、その結果を人が解釈して業務に使います。Fayyadらの定義では、アルゴリズムを当てる部分がデータマイニング、前後を含む全体がKDDです。

データマイニングにはどんな例がありますか？

小売の併売分析（アソシエーション分析）、通信会社の解約予測（分類）、会員の顧客セグメント（クラスタリング）、カード会社の不正利用検知（異常検知）、需要予測（回帰）が代表的です。

データマイニングに使えるツールはありますか？

プログラミングをするならPythonのscikit-learnやRが定番です。コードを書かずに試すなら、画面上で処理をつなぐWeka・KNIME Analytics Platform・Orangeといった無料のツールがあります。まずは手元のCSVを読み込んで、本記事のような小さな分析を1つ動かしてみるのが近道です。

データマイニングとAI・機械学習は同じものですか？

同じではありません。機械学習は予測や判別を自動化する技術で、データマイニングはデータから知見を見つける作業です。データマイニングは道具として機械学習のアルゴリズムを使いますが、統計解析や可視化も使います。

関連記事

• CRISP-DMとは？6フェーズの手順と24タスク、KDD・CRISP-ML(Q)との違い
• バスケット分析とは？アソシエーション分析との違いと指標・Excel・Pythonでのやり方
• テキストマイニングとは？手法・やり方・無料ツールから企業の導入判断まで解説
• 決定木分析とは？分類木・回帰木の仕組みと過学習を防ぐ剪定・アンサンブルを実装目線で解説
• 仮名加工情報とは？作成基準と利用制限を分析基盤の設計要件に翻訳して解説