📖 読了時間の目安：約8分
この記事で伝えたいこと
「前処理」「データクレンジング」「データハンドリング」——データ分析やAIの話題を追っていると、似たような言葉が次々に出てきて、頭の中がゴチャゴチャになる。そんな経験はありませんか。 実はこれらの言葉、全部が同じ意味ではありません。 かといって、まったくの別物でもない。立場・目的・タイミングによって呼び分けられている”親戚”なんです。 この記事では、混乱しがちなデータ整形の関連用語を、料理の下ごしらえにたとえながら一気に整理します。
以前の記事『「Excelは使える」のに戦力にならない本当の理由』で、私はこう書きました。「よく似た言葉に前処理・データクレンジング・データハンドリングなどもあり、その違いはいずれ別の記事で整理します」と。 お待たせしました。その「別の記事」が、これです。
Excelで「列を分割」したこと、ありませんか？
こんにちは。インフォる学のロゴ博士です。
いきなりですが、質問です。Excelで、列の並びを入れ替えたことはありますか？ あるいは——「姓」と「名」が一つのセルに同居していて、泣く泣く2列に分割したことは？ 全角と半角の表記がバラバラで、地道に統一したことは？
もしあるなら、おめでとうございます。あなたはすでに、データサイエンスの世界で 「データ整形」 と呼ばれる、立派な専門作業をこなしています。
そして実はこの「データ整形」、別の呼び名がいくつもあります。「前処理」「データクレンジング」「データハンドリング」……。言葉が多すぎて、「結局どれも同じこと？」と混乱してしまう。今日はその霧を、すっきり晴らしていきます。
…と言いつつ、実際のところ、この記事は自分自身の「備忘録」として書いている側面もあります。何となくのイメージだけで自分勝手に言葉を扱っていると、読み手である皆さんが混乱してしまうこともありますからね。
なぜ、こんなに言葉が多いのか
まず、いちばん大事な発想の転換から。
これらの言葉がたくさんあるのは、作業の種類が無数にあるからではありません。同じような作業を、「誰が」「何のために」「いつ」やるかによって、呼び分けている——これが正体です。
言葉は違っても、やっていることの本質は地続きですよね。データの世界も、まったく同じ構造になっています。
料理の下ごしらえで、全体像をつかむ
前回の記事では、データ整形を 「部屋のお掃除」 にたとえました。散らかった部屋（汚いデータ）を、使える状態に片付ける——という話です。
今回はもう一歩踏み込んで、料理の下ごしらえにたとえます。なぜなら、台所の比喩のほうが、これから紹介する細かい用語の違いを表現しやすいからです。
食材が台所に届いてから、料理が完成するまでの流れを思い浮かべてください。
【食材の調達から、料理の完成まで】
冷蔵庫の管理・食材を扱う手さばき全般
└─ 今夜の献立に向けた「下ごしらえ」全体
├─ 泥を落とす・傷んだ部分を取り除く
├─ いちょう切りか、千切りか——形を整える
├─ あちこちの食材を一つの作業台に集める
└─ だしや隠し味で、素材の価値を引き上げる
└─ このレシピ専用の特製ソースをゼロから仕込むこの一つひとつに、データの世界では別々の専門用語がついています。順番に見ていきましょう。
用語マップ：邦訳が「ある言葉」と「ない言葉」
ここで一つ、整理上の約束ごとを。
データの専門用語には、きちんとした日本語訳がある言葉と、訳が定着しておらず、カタカナ英語で済ませるしかない言葉が混在しています。後者には目印として ＊ を付けておきます。「ああ、これは無理に漢字に直さなくていいんだな」という判断材料にしてください。
| 用語 | 英語 | 概要 | 料理でいうと… |
|---|---|---|---|
| データ準備 | Data Preparation | 最も幅広い意味の言葉。データ分析における事前準備全体を表すと考えてよい。 | 献立決定から盛り付けまでの全工程 |
| 前処理 | Data Preprocessing | 分析やAIに「そのまま入力できる形」に整える。一度設計したら自動で回す処理が中心。 | レシピに合わせた機械的な下ごしらえ |
| データクリーニング／クレンジング＊ | Data Cleaning / Cleansing | データの誤り・重複・欠けを直す「品質」の作業。この2語は完全に同じ意味。 | 泥を落とし、傷んだ部分を切り落とす |
| データハンドリング＊ | Data Handling | 読み込む・並べ替える・結合する等の操作技術そのもの。目的を問わない汎用スキル | 包丁さばき・火加減などの手の技術 |
| データ変換 | Data Transformation | ある形式から別の形式へ。下の2つに細分される | 食材の形・状態を変える |
| └ データフォーマッティング＊ | Data Formatting | 表記・書式・型の統一（全角半角、日付形式など） | 大さじ・グラムへ単位をそろえる |
| └ データレストラクチャリング＊ | Data Restructuring | 表の縦横変換（ピボット）、結合、分割など”構造そのもの”の変更 | 一本の大根を、用途別に切り分ける |
| データ統合 | Data Integration | 複数ソースのデータを共通キーで結合する | 異なる場所（冷蔵庫やパントリー）から出してきた食材を、一つのボウルに合わせる |
| データエンリッチメント＊ | Data Enrichment | 外部データを付加して、元データの価値を高める | だしや隠し味で価値を足す |
| 特徴量エンジニアリング | Feature Engineering | 既存データから、AIが学習しやすい新しい変数をゼロから生み出す | このレシピ専用の特製ソースを創る |
＊ … 定着した日本語訳がなく、カタカナ表記が実務上の標準になっている用語。
とくに紛らわしい「2つのハードル」
表だけでは消化しきれないかもしれませんので、混同されやすい2組について、もう一歩だけ踏み込みます。
ハードル1：「クリーニング」と「クレンジング」は同じ？ → 同じです
データクリーニングとデータクレンジングに、意味の差はありません。 完全な同義語です。英語の cleaning と cleansing の違いでしかなく、日本語の文章では好みで使い分けられているだけ。どちらも「データの汚れ・誤り・重複を取り除いて、品質を担保する」作業を指します。
ハードル2：「お掃除」と「整形」の境目——マイナスをゼロか、ゼロをプラスか
前回の記事で「データ整形＝お掃除」と説明しましたが、厳密にはもう一段の区別があります。
- データクリーニングは、汚れを取って マイナスをゼロに戻す作業。
- 特徴量エンジニアリングは、きれいになったデータから新しい価値を生む、ゼロをプラスにする作業。
方向が正反対なんですね。前者は「欠陥の修正」、後者は「価値の創出」。この2つを同じ「整形」とひとくくりにすると、話がこんがらがります。
💡 つまずきポイント： 「データハンドリング＊」だけは、さらに毛色が違います。これは前処理のような”工程の名前”ではなく、読み込む・並べ替える・結合するといった「操作の技術そのもの」を指します。料理でいう「包丁さばき」。どの工程でも使う、土台のスキルだと捉えてください。以前の記事で私がこの言葉を”親戚”のように並べたのは、厳密にはやや乱暴だったかもしれません。
もう少しだけ踏み込みたい人へ
実務の世界には、こうしたバラバラな用語を体系立てた業界標準のフレームワークがあります。代表格が、データマイニングの標準プロセス CRISP-DM です。
このフレームワークでは、「データ準備」フェーズを次の5タスクに分けています。
- データの選択 … 分析に使う列・行を決める
- データのクレンジング … 欠損や誤りを修正する
- データの構築 … 新しい変数を作る（＝特徴量エンジニアリング）
- データの統合 … 複数のデータを結合する
- フォーマット変換 … ツールが読める形式にそろえる
先ほどの用語マップが、そのままこの5タスクに対応しているのが見えるでしょうか。バラバラだと思っていた言葉が、実は一つの工程表の上にきれいに並んでいる——ここまで来れば、霧も少しは晴れたはずです。
なお、これらと並んでよく聞く「データラングリング」という語もありますが、前処理と重なる場面が多く、初心者・初級者がまず手にする”地図”としてはかえって迷いの元。本稿ではあえて省きました。気になる方は、いずれ別の機会に。
まとめ：言葉の輪郭が、作業の輪郭になる
最後に、この記事の要点を3つだけ。
- データ整形の関連語が多いのは、同じ作業を立場・目的・タイミングで呼び分けているから
- クリーニング＝クレンジングは同義。ただし”工程”の前処理と、”操作技術”のデータハンドリングは別物
- 掃除（マイナス→ゼロ）と価値創出（ゼロ→プラス）は、方向が逆の別作業
言葉の輪郭がはっきりすると、不思議なもので、自分が今どの作業をしているのかが意識できるようになります。 意識できれば、無駄が見える。無駄が見えれば、減らせる。それが「データを扱う力」の、地味だけれど確かな第一歩です。
もっと深く学びたい人へ
以前の記事でもご紹介した「データ整形」に関する書籍を、再掲しておきます。散らかったデータを「型」で片付ける感覚が、手を動かしながらつかめます。
ただしこの書籍では、私がかつて大学の講義で学生たちに伝えていた技法とは、少々異なるアプローチを取っている部分もあります。ロゴラボ流の整形術については、近いうちに記事を改めて･･･。
-
Excelパワークエリ データ収集・整形を自由自在にする本（Kindle版） 🛒 Amazonで確認
※本リンクはアフィリエイトリンクです
-
Excelパワークエリ データ収集・整形を自由自在にする本（単行本） 🛒 Amazonで確認
※本リンクはアフィリエイトリンクです
次回の記事に向けて
用語が整理できたところで、いよいよ実践です。「で、その下ごしらえ、具体的にどうやるの？」——次回は、散らかった実データを実際に片付ける手順を、画面を追いながら解説します。前回の記事で予告した、AIに「お掃除」を丸投げしたときの落とし穴の話も、そろそろしなければなりませんね。
▶ あわせて読みたい：『「Excelは使える」のに戦力にならない本当の理由』
参考文献
- Wikipedia「Data wrangling」「Data preprocessing」「Data cleansing」各項（用語の定義・語源）
- CRISP-DM（Cross-Industry Standard Process for Data Mining）データ準備フェーズの定義（datascience-pm.com）
- DAMA-DMBOK（データマネジメント知識体系ガイド）データ品質の考え方
