インターネットの普及による消費者行動の変化やVUCA時代の到来を受け、従来の勝ちパターンや経験則に頼るだけでは市場競争での優位を確保し続けるのが困難になってきています。消費者のニーズや価値観を明らかにし、より確度の高い施策立案や将来予測を行うためにも、データを活用したビジネス戦略が求められています。

顧客の属性情報や購入履歴など、ビジネスの現場には多くのデータが溢れているため、データの収集には困らない場合もあります。しかし、部署の垣根を越えて分析したいと思い立ったとき、登録ルールの違いによるデータ欠損や同一顧客のデータが重複しているなどの不備があると、データを有効に活用することができません。

そこで重要なのが、データクレンジングです。データクレンジングとは、データベース内に存在するダーティデータを最適化することで、データの品質を向上させるために行われます。

本記事では、データクレンジングの意味や必要な理由、やり方を解説します。

データクレンジングとはダーティデータを特定して処理すること

データクレンジングとは、データベース内に存在するダーティデータ（エラー、欠損値、不一致、重複など）を修正し最適化することです。データの品質を向上させ、データ分析の精度を高めるために行われます。

データクレンジングの具体例

　

ダーティデータは、部署や担当者ごとに入力方法が違ったり、古いデータが更新されていなかったりして生じることがあります。データクレンジングでは、間違ったデータの修正はもちろん、削除や追記なども行い、データを整えていきます。

▼データクレンジングで実施する作業の例

作業	例
重複データの除去	同じ顧客のデータを削除する
欠損値の処理	住所から未入力の郵便番号を補完する
入力形式の統一	（株）なのか株式会社なのか、表記を揃える 全角と半角どちらかに揃える ハイフンの有無を揃える
誤データの修正	住所から市外局番を修正する
異常値の除去	外れ値や、「ああああ」など意味のない回答を除外する

データクリーニングとの違い

データクリーニングとは、例えばマーケティングリサーチで実施したアンケート調査後に、回収した調査票の記入方法を点検し、回答の誤りや不備を修正することを指します。そのため「データクレンジング」と「データクリーニング」は、ほぼ同義と捉えても差し支えありません。

データクリーニングについて、「データクリーニング（エディティング）とは？実施のポイントを紹介」でも詳しく解説しています。

名寄せとの違い

名寄せとは、氏名や電話番号など、重複しているデータを統合する作業のことを指します。例えば、引っ越しによる住所変更や結婚による名字変更など、顧客情報に変更があったものの別人物として再登録してしまい、データが重複してしまったときなどに行われます。

大枠ではデータクレンジングに含まれますが、「データクレンジング」がデータの修正を行いたいときに実施されるのに対し、「名寄せ」はデータを整理したいときに実施されます。

データクレンジングが必要な理由

IT技術の発展に伴い、日常生活からビジネスの現場まで、日々多くのデータが生みだされるようになりました。顧客情報や売上情報など、業務で扱うデータが増えれば増えるほど、表記ゆれや重複データなどのダーティデータも多くなります。

データクレンジングを定期的に行っていれば、データ分析のたびにデータの修正や整理を行う必要がなくなるため、スピード感をもったデータ活用ができ、業務効率が上がります。

また、品質の悪いデータのままデータ分析をすると、得られる分析結果も間違ったものになってしまいます。データの信頼性がなくなるだけでなく、間違った分析結果から方向違いの施策を行ってしまう可能性もあるため、分析前のデータクレンジングを行うことが必要です。

データクレンジングのやり方

データクレンジングは、分析ツールやExcelを活用することで実施できます。本章では、データクレンジングのやり方を、3ステップに分けて解説します。

1. データを集める
2. ルールを決め、データクレンジングを行う
3. 活用できる形に整える

1．データを集める

規模の大きい企業の場合、異なる部署や複数のデータベースに分散しているデータを、まずはExcelやスプレッドシート、CSVファイルなどさまざまな形式のデータを、1つのデータベースにまとめます。

1か所にデータをまとめることで、今まで見えなかったデータ間の関連性が把握できます。また、どの程度データが汚れているかがわかれば、データクレンジングを行う際のルール策定の方向性も定まります。

扱っているデータ量が膨大で、どこから着手すべきか迷う場合は、元データに近いデータや社内でも重要な意思決定に活用されているデータから着手することをおすすめします。

2．ルールを決め、データクレンジングを行う

次は、どのようにデータを修正するか、ルールを策定します。これまでの管理方法を参考に決めても良いのですが、データをどのように活用するのかを具体的に想定してルール決めをすると、データクレンジングを終えた後も効率的に作業を進めることができます。なお、データの入力方法もあわせてルール化することで、今後担当者が変わったとしても統一性が保てるようになるのでおすすめです。また、データクレンジング前にバックアップを取り、万一のデータ紛失に備えておくと安心です。

▼データ入力方法のルール例

データクレンジングは手作業でもできますが、時間がかかるうえに人的エラーが発生するリスクもあります。Excelマクロやデータクレンジングのツールを活用すれば、スピーディーでミスなく効率的に実施することができます。

例えばExcelでデータクレンジングを行う場合、以下の関数が役立ちます。

▼Excelでのデータクレンジングに役立つ関数例

作業目的	関数	関数の役割
表記ゆれの統一	PHONETIC関数	テキスト文字列から、ふりがなを抽出する （ふりがなの平仮名、カタカナ表記の統一に使用）
	SUBSTITUTE関数	指定された文字を、別途指定された文字に置き換える （半角全角統一などに使用）
数値の変換	IF関数	論理式の真偽を判定する （異常値の除去に使用）

3．活用できる形に整える

データクレンジングの目的は、データの品質を向上させ、分析精度や業務効率を高めることにあります。各種施策でデータ活用を行うため、分析の前段階で実施されることを念頭に、データを活用しやすい形に整えておくことが必要です。

また、データは日々古くなっていくものです。データクレンジングも1度の実施で良しとせず定期的に実施することで、データの品質をより高く保つことができます。さらに、データクレンジングのプロセスやルールを標準化し、社内で共有することで、その後のデータクレンジングの効率も上がります。

まとめ｜データクレンジングでデータ分析精度を向上

データクレンジングは、データベース内に存在するダーティデータ（エラー、欠損値、不一致、重複など）を修正し、最適化することです。実施するとデータの分析精度が向上し、分析の生産性向上やコスト削減にもつながります。

データクレンジングを行う際はまずデータを集め、分析後のデータ活用シーンまで想定してルールを設定しておくことが大切です。定期的に行うことで、データの品質を高く保つこともできます。

よくある質問

Q1．データクレンジングが必要な理由は？
データクレンジングが必要な理由は、IT技術の進歩で取り扱えるデータが増えたことで、ダーティデータを扱う機会も増えたことです。ダーティデータはデータ分析精度に影響を与えるため、定期的にデータクレンジングを行い修正しておく必要があります。 詳しくは「データクレンジングが必要な理由」をご覧ください。
Q2．データクレンジングのやり方は？
データクレンジングは、以下の3つのステップで進めます。 データを集める ルールを決め、データクレンジングを行う 活用できる形に整える 詳しくは「データクレンジングのやり方」をご覧ください。