データクレンジングとは？手順とシステム移行前に行うべき理由

ERP・基幹システムの移行では、既存データをそのまま移せるとは限りません。取引先コードの重複、品目の単位不整合、在庫・残高の差異、未処理取引の参照切れなどを残したまま進めると、取込エラーだけでなく、稼働後の受発注・請求・会計処理にも影響するおそれがあります。

データクレンジングは、誤った値を修正する作業だけではありません。移行対象・品質・責任・例外を決める移行準備として進めることで、何を新システムへ移し、何を参照用に残し、どの課題を移行前に解消すべきかを判断できます。本記事では、実施手順、名寄せ、移行可否の基準、内製・外部支援の選び方までを解説します。

データクレンジングは、データの修正だけでなく、移行対象の判断、名寄せ、例外管理、移行後の統制までを含めて設計します。

01Sectionデータクレンジングとは｜ERP移行で整える範囲

ERP・基幹システム移行におけるデータクレンジングは、旧システムのデータを新システムで利用できる状態に整える活動です。対象の選別、品質問題の調査、修正・標準化、名寄せ、例外の記録までを一連の準備として扱います。

対象になりやすい基幹データ

対象は、メール配信リストのようなマーケティング用途ではなく、業務継続に関わる基幹データです。データごとに、新システムでの利用目的、未処理取引や他データからの参照、保存・監査・契約上の確認事項を見て、移行・アーカイブ・除外を仮置きします。

修正作業と設計判断を分ける

表記ゆれを統一する、使用不可コードを変換する、空欄を原資料で補完するといった作業は、クレンジングで対応しやすい領域です。一方で、必須項目が決まっていない、組織変更後のコード体系が未設計、誰でも取引先を登録できて重複が発生するといった問題は、データ修正だけでは解決しません。

データモデルや識別子を含めて整備する必要性は、デジタル庁の政府相互運用性フレームワークでも扱われています。修正対象と、業務ルール・マスタ設計の決定事項を別々に記録すると、後工程での手戻りを抑えやすくなります。

02Section移行前に行うべき理由｜汚れたデータが引き起こす問題

不備のあるデータを移行すると、取込時のエラーだけでなく、稼働後に取引を処理できない、在庫・残高が合わない、同じ取引先が二重に登録される、帳票や分析が誤るといった問題につながるおそれがあります。重要なのは不備の件数ではなく、どの業務にどの影響が出るかです。

移行テスト・突合までを一続きに考える

クレンジングで定めた変換ルールや名寄せルールは、移行リハーサルで検証します。件数が一致したとしても、重要項目、金額、数量、残高、参照関係、変換後のコードが正しいとは限りません。Microsoft Learnの移行データ検証の例では、移行元・移行先を比較し、失敗レコードや不一致を確認する考え方が示されています。

移行全体のタスクやリハーサルの位置付けは、システム移行の進め方と合わせて確認すると、データ整備を移行計画に組み込みやすくなります。

優先度は4段階で決める

• 最優先：業務停止、金額・数量、法令・契約、参照整合性に影響する不備です。取引先・品目コード、税区分、支払条件、在庫数量、残高、未処理取引の参照先などは、原則として移行前に解消します。
• 高：誤処理、二重登録、重要帳票の誤りにつながる不備です。重複取引先、単位不整合、価格・取引条件、組織・拠点コードは、修正または名寄せを行い、保留時には利用制限を決めます。
• 中：検索性や分析精度には影響するものの、直ちに業務停止に結び付きにくい不備です。住所表記や任意属性は、標準化または例外管理とし、後続の整備計画を置きます。
• 低：利用頻度が低い参照専用履歴の任意項目です。保存・参照要件を満たせる場合は、アーカイブや後続整備を検討します。

優先度を記録する際は、影響業務、対象データ、未処理取引・残高への影響、保存要件、新システムの制約も併記します。データ件数が少なくても、請求や在庫に影響する不備なら優先度は高くなります。

03Sectionデータクレンジングの進め方｜工程と役割分担

データクレンジングは、移行直前に一括で修正するよりも、対象選別、調査、ルール合意、試行、リハーサルを移行計画に組み込んで進める方法が実務的です。データ品質条件や責任・役割を明確にする考え方は、デジタル庁のデータガバナンス・ガイドラインでも示されています。

対象選別から移行後統制までの8工程

対象の整理、ルール合意、試行、突合、移行可否判定を分けて進めると、差異への対応と責任分担を管理しやすくなります。

プロファイリングで確認する項目

プロファイリングは、修正に着手する前にデータの状態を把握する調査です。Microsoft Learnのデータプロファイリング項目では、空欄やNULL、重複、ユニーク値、最小・最大、分布などを確認できる例が示されています。基幹データでは、次の観点を優先するとよいでしょう。

• 取引先・仕入先マスタの必須項目の空欄、コード重複、名称・住所などの重複候補
• 品目マスタの単位、税区分、在庫管理区分、桁数・文字種などの形式不正
• 在庫・取引データからマスタへの参照切れ、旧コードの残存
• 数量・金額の負数、ゼロ、極端値、通常利用しない値の分布
• 未消込や未完了取引、期首残高、履歴の件数と保持範囲

役割分担を記録して確認待ちを防ぐ

組織によって役割名は異なりますが、値の正しさを判断する役割、データを処理する役割、移行技術を確認する役割は分けておきます。兼務する場合も、誰がどの判断をしたかを記録します。

外部支援を利用しても、業務上の値の正しさ、統合可否、例外受容、移行可否の最終判断は発注側に残ります。

04Section名寄せはクレンジングの一部｜統合・紐付け・保留の判断

データクレンジングがデータ全体の品質を整える活動であるのに対し、名寄せは「同一実体と思われる重複候補」を扱う工程です。名称や住所の表記を統一することと、同一の取引先・仕入先・品目であると判定することは別の作業です。

クレンジングやマッチングの活動でプロファイリングを利用する考え方は、Microsoft Learnのクレンジング・マッチングの説明でも確認できます。ただし、一致度が高いことだけを根拠に統合を確定してはいけません。

候補抽出から統合後の検証まで

名寄せでは、候補の類似性だけで統合を決めず、取引・契約・残高・参照関係を確認したうえで統合、紐付け、保留を選びます。

重複候補を見つけても、すぐに削除・統合しないことが重要です。未消込取引、契約、残高、拠点、履歴、参照関係が残る場合は、物理統合や削除によって追跡性を失うおそれがあります。影響確認が終わらない候補は、紐付けまたは保留を優先します。

名寄せの考え方や判定方法をさらに確認したい場合は、名寄せとは何かも参照してください。

05Section完了基準の決め方｜品質・例外・移行可否を判定する

完了とは、全データを一律にゼロエラーにすることではありません。完全性、正確性、一貫性、妥当性、一意性、最新性といった品質観点を、移行先での利用目的と業務影響に応じて使い分けます。品質の完了は、未解決事項を可視化し、承認した上で移行可否を決めた状態です。

受発注・請求・会計・在庫で使う必須項目、金額・数量・残高、税区分、支払条件、未処理取引、参照整合性は厳格に扱います。参照専用履歴は、未補完件数、参照方法、業務影響、解消責任者・期限を記録したうえで例外管理を検討できます。

固定の欠損率や許容差異を共通基準として置くことはできません。業務停止の許容度、移行方式、新システムの入力制約、保存・契約要件によって変わるためです。Microsoft Learnの移行後受入テストのガイドを参考に、業務利用者、IT、データ移行担当がテスト計画、成功条件、課題記録を共有し、リハーサル後にも判定を見直します。

06Section内製・ツール・外部支援の選び方

実施方式は、レコード数だけでは選べません。対象システムと重要マスタの数、例外の多さ、リハーサルの余地、業務レビュー体制、データ持出し制約を順に確認します。

5問で実施方式を絞り込む

実施方式は件数だけで決めず、例外判断、業務レビュー、リハーサル、セキュリティ条件を組み合わせて検討します。

1. 1対象システムと重要マスタは限定的か。 限定的なら次へ進み、複数システム・複数マスタ・複雑な参照関係があるなら、外部支援を含む調査・計画支援を検討します。
2. 2例外や人手による同一性判定は多いか。 定型ルール中心なら内製またはツール活用が候補です。名寄せや属性競合の判断が多いなら、業務レビュー体制を先に確保します。
3. 3試行・再作業・リハーサルの時間を確保できるか。 余地があれば段階的な内製も可能です。稼働日が固定され再作業余地が小さい場合は、早期に支援体制を検討します。
4. 4業務責任者は候補確認と例外承認に参加できるか。 参加できない場合、作業を外部化しても同一性判定や例外受容は進みません。意思決定者を先に定めます。
5. 5データの持出しやアクセスに制約があるか。 制約がある場合は、アクセス範囲、実施環境、保管方法、匿名化の可否を含めて方式を設計します。

対象が限られ、形式統一やコード変換など定型処理が中心で、業務レビューを確保できる場合は内製を選びやすいでしょう。空欄・形式・値域・重複候補の抽出を繰り返す場合は、ツール活用を組み合わせやすくなります。

一方、複数システムの統合、重要マスタの多さ、複雑な参照関係、人手判定の多さ、固定された移行期限、厳格なセキュリティ条件が重なる場合は、外部支援を含めた進め方を早めに検討します。いずれの方式でも、値の正しさ、統合可否、例外受容、移行可否の最終判断は発注側に残ります。

07Section外部依頼で確認する範囲・見積・検収条件

費用や期間は、対象システム、データ区分、項目数・件数、履歴保持、名寄せの難易度、人手レビュー、リハーサル、テスト、セキュリティ条件で大きく変わります。公開情報だけでは同じ条件での一律比較が難しいため、作業単位と前提条件をそろえた個別見積で比較します。

見積比較で分ける作業単位

成果物は、対象データ一覧、課題一覧、変換・名寄せルール、処理履歴、突合結果、例外一覧などです。検収条件は成果物の提出有無ではなく、どの品質条件と突合条件を満たせば受け入れるかとして、別に合意します。

08Section移行後にデータ品質を保つための最低限の統制

移行時にデータを整えても、登録ルールの不統一、作成・変更権限の分散、外部連携エラーの放置、例外の未管理が続けば、品質は再び低下します。重要マスタから、入力・変更・確認の運用を定着させることが必要です。

移行時の整備と移行後の統制を一体で考えることで、同じ不備を新システムで繰り返すリスクを抑えられます。ERP導入全体における検討順序は、ERP・基幹システム導入の進め方も参考にしてください。

データクレンジングを移行直前の修正作業にせず、対象範囲、品質条件、役割、例外処理、移行後統制まで含めた計画にすることが、安定した業務移行につながります。

ERP移行に向けたデータ整備・導入支援を相談する

移行対象の整理、品質条件の設計、名寄せ、リハーサル、検収条件の確認までを含めて進め方を検討したい場合は、ERP導入支援の相談先を比較できます。

ERP導入564社掲載

ERP導入の支援会社を探す