機械学習のデータセットとは？種類・作り方・無料おすすめサイト完全ガイド

機械学習における「データセット」とは？その役割と重要性

データセットの基本概念・ビジネスでの活用方針については「AI開発の鍵「データセット」とは？種類・作り方・注意点を完全解説」をご覧ください。
本記事では機械学習の実装に特化して解説します。

「Garbage in, garbage out」という格言が示すとおり、不正確・偏り・不足のあるデータで学習したモデルは、どれほど高度なアルゴリズムを使っても正確な判断を下せません。データセットの整備こそが、機械学習プロジェクト成功の土台です。

なお、データの使われ方は学習方法によって異なります。教師あり学習では正解ラベル付きのデータセットが必要ですが、教師なし学習ではラベルなしのデータからパターンを自動発見し、強化学習では試行錯誤の記録がデータとして蓄積されます。

機械学習の各手法とデータの関係については、「AIと機械学習の違いとは？関係性や仕組み、活用事例をわかりやすく解説」もあわせてご覧ください。

データセットの3つの分割（訓練・検証・テスト）

機械学習では、同じデータで学習と評価をおこなってはならないという基本原則があります。ここでは各分割の役割と使い方を解説します。

• 訓練データセット（Training set）
• 検証データセット（Validation set）
• テストデータセット（Test set）と交差検証

訓練データセット（Training set）

訓練データセット（トレーニングセット）とは、モデルのパラメータ（重みとも呼ばれる内部の数値）を調整するために直接使用するメインのデータです。訓練データセットはデータ全体の60〜80%を占めることが多く、量と質が豊富であるほど、モデルは多様なパターンを学習できます。

ただし、訓練データだけでモデルを評価してしまうと、モデルがそのデータを「丸暗記」した状態になり、未知のデータに対応できなくなるリスクがあります。これを過学習（オーバーフィッティング）と呼びます。過学習を検知・防止するために、訓練データとは別に検証データとテストデータを用意しなければなりません。

検証データセット（Validation set）

検証データセット（バリデーションセット）は、モデルの学習中にハイパーパラメータを調整したり、過学習の兆候を検知して学習を早期終了させたりするために使うデータです。ハイパーパラメータとは、ニューラルネットワークの層数や学習率など、学習前に人が設定するパラメータを指します。

検証データセットは訓練には直接使われないものの、モデルのチューニングに間接的に影響するため、最終的な精度評価には使わないことが原則です。データ全体の10〜20%を割り当てることが一般的です。

訓練データで学習し、検証データで過学習を監視しながら調整を繰り返すサイクルが、モデルの精度を高める基本的なプロセスです。

テストデータセット（Test set）と交差検証

テストデータセットは、学習・チューニングに一切使用せず、完成した最終モデルの精度を一度だけ客観的に評価するためのデータです。ホールドアウトデータとも呼ばれます。テストデータを事前に確認してモデルを調整してしまうと評価が歪むため、開発中は厳格に分離しておくことが求められます。

もしもデータ量が少ない場合には、K分割交差検証（クロスバリデーション）が有効です。K分割交差検証とは、データ全体をK個に分割し、1つを検証データ・残りを訓練データとして使う組み合わせをK回繰り返す手法で、限られたデータを最大限に活用しながら信頼性の高い評価が得られます。

データセットの入手方法と作り方4ステップ

データセットを自社で収集・整備する際には、目的の設定から前処理・アノテーション・データ拡張まで、一連の流れを正しく把握することが重要です。ここでは標準的な4つのステップを解説します。

• Step1：目的設定とデータ収集
• Step2：前処理（クリーニングと正規化）
• Step3：アノテーション（正解ラベルの付与）
• Step4：データ拡張（Data Augmentation）

Step1：目的設定とデータ収集

データセット整備の基本は、AIに解かせるタスクを明確に定義し、必要なデータの種類・量・形式を決めることです。タスクが曖昧なままデータ収集を始めると、後工程で使えないデータが大量に発生し、工数とコストを無駄にするリスクがあります。

収集方法としては、オープンデータの活用、自社業務データの利用、ウェブスクレイピング、クラウドソーシングによる外注などがあります。近年は、プライバシー問題や実データ不足への対応策として、AIが現実データを模倣して生成する「合成データ（シンセティックデータ）」の活用も広がっています。実データの入手が難しい医療・金融分野でのデータ拡充手段として注目されている手法です。

Step2：前処理（クリーニングと正規化）

収集した生データをAIが学習できる形に整える工程が前処理です。前処理の質がモデル精度に直結し、実務ではデータ収集・前処理に全工数の70〜80%がかかるとも言われています。

前処理の主な作業は、欠損値の補完または除去、異常値・外れ値の処理、重複データの削除、そして数値の正規化（スケールを0〜1などに統一する処理）です。これらをおこなわないまま学習させると、モデルが誤ったパターンを学んでしまいます。

また、「整然データ（tidy data）」と呼ばれる、1行1観測・1列1変数の形式にデータを整えることが、その後の学習を効率化する基本原則です。前処理は地味な作業ですが、モデルの品質を支える最重要工程のひとつです。

Step3：アノテーション（正解ラベルの付与）

アノテーションとは、教師あり学習に不可欠な「正解情報」を各データに付与する作業です。アノテーションの精度がAIモデル全体の精度上限を決定するため、データセット整備の中でもとくに品質管理が重要な工程です。

代表的な手法としては、画像内の物体を矩形で囲む「バウンディングボックス」、ピクセル単位で領域を塗り分ける「セグメンテーション」、テキストに対する感情分類や固有表現抽出などがあります。作業の一貫性を保つためにはアノテーションガイドラインの策定とダブルチェック体制が必要で、大規模プロジェクトではアノテーション専門企業への外注をする企業も多いです。

アノテーションの種類や進め方については、「アノテーションとは？機械学習を支えるデータ作成の仕組みと具体的な事例」で詳しく解説しています。

Step4：データ拡張（Data Augmentation）

データ拡張（データオーグメンテーション）とは、学習データが少ない場合に、既存データを加工して疑似的にデータ量を増やす手法です。データ拡張によってモデルは多様な入力パターンを学習でき、過学習を防ぎながら汎化性能を高められます。

画像データでは、回転・左右反転・明るさ変更・クロップ（切り抜き）などが代表的な手法です。テキストデータでは、類義語への置換や翻訳を繰り返す「バック・トランスレーション」なども活用されます。

ただし、データ拡張の方法がタスクの性質に合っていない場合はかえって精度が低下するため、目的に応じた手法の選択が重要です。たとえば、医療画像で左右反転が不適切な場合など、ドメイン知識に基づいた判断が求められます。

データセット作成・利用時に注意すべきポイント

データセットの収集・作成にあたっては、品質面と法律面の両軸から注意が必要です。ここでは2つのポイントを解説します。

• データの品質：バイアス・被覆性・均一性
• 著作権と個人情報保護

データの品質：バイアス・被覆性・均一性

高品質なデータセットを構築するうえで、とくに意識すべき観点が3つあります。1つ目は「被覆性」で、想定される入力パターンをくまなくカバーしているかどうかです。たとえば、晴天時の画像だけで学習した自動運転AIは、雨天・夜間の状況に正しく対応できません。

2つ目は「均一性」です。各クラスのサンプル数が大きく偏っている「不均衡データ」は、少数クラスの認識精度を著しく下げる原因になります。

3つ目が「バイアス」で、特定の属性や条件に偏ったデータで学習させると、AIが差別的・偏った判断を下すリスクがあります。採用選考AIや融資審査AIで問題視されたケースがその典型例です。いずれも、データ収集・アノテーション段階から意識的にチェックする体制を整えることが重要です。

著作権と個人情報保護

機械学習用データの利用には、法的なリスクが伴います。日本の著作権法第30条の4では、情報解析（機械学習）目的での著作物利用は原則として許容されています。ただし「著作権者の利益を不当に害する場合」は例外とされており、2024年以降この解釈をめぐる法的議論が続いているため、最新のガイドラインを随時確認することが必要です。

顔画像や医療データなど個人情報を含むデータは個人情報保護法の対象となり、収集・利用・管理の各段階で法令遵守が求められます。

オープンデータセットを利用する際は、CC BY（帰属表示）・CC BY-SA（継承）などのライセンスによって商用利用の可否が異なるため、各データセットの利用規約を必ず確認することが欠かせません。

【分野別】無料で使えるおすすめオープンデータセットサイト

学習・研究・実務プロジェクトですぐに活用できる代表的なデータセットと検索プラットフォームを分野別に紹介します。各サービスの特徴と利用条件の概要もあわせて整理しますので、目的に合ったものを選ぶ参考にしてください。

• 総合サイト・データセット検索プラットフォーム
• 画像・動画データ
• テキスト・音声データ

総合サイト・データセット検索プラットフォーム

機械学習のデータセットを横断的に探すには、総合プラットフォームの利用が便利です。Kaggle（カグル）は、予測コンペとデータセット公開の両機能をもつプラットフォームで、無料会員登録後すぐにダウンロードでき、幅広い分野のデータが揃っています。

UCI Machine Learning Repository（UCIマシンラーニングリポジトリ）は、カリフォルニア大学が運営する機械学習専門の老舗リポジトリで、500以上のデータセットを無料提供しています。Google Dataset Search（グーグル・データセット・サーチ）はGoogleの検索技術を活用したデータセット専用の検索エンジンです。国内では、政府のオープンデータを集めたDATA GO JPも実務に役立ちます。各プラットフォームのライセンスと利用条件は事前確認が必要です。

画像・動画データ

画像・動画系のオープンデータセットは、機械学習の入門から実務レベルまで幅広い選択肢があります。MNIST（エムニスト）は手書き数字7万枚のデータセットで、機械学習入門の定番として広く使われており、PythonのKerasやPyTorchから1行でロード可能です。

CIFAR-10（サイファー・テン）はトロント大学が公開する6万枚・10クラスの画像データセットです。ImageNet（イメージネット）は1,400万枚超の画像を収録した大規模データセットで、ディープラーニングブームの火付け役となったILSVRCコンペで使用されたことで知られています。

Googleが公開するOpen Images Dataset（オープン・イメージズ・データセット）はバウンディングボックス付きの900万枚・600カテゴリを収録しており、物体検出モデルの学習データとして特に適しています。

テキスト・音声データ

自然言語処理（NLP）や音声認識向けのデータセットも、無料で利用できるものが充実しています。日本語テキスト系では、著作権切れ作品を収録した青空文庫の形態素解析データ集が、日本語NLPの入門として利用しやすい素材です。

Wikipediaデータセットは言語を問わず全文テキストを提供しており、大規模なテキスト系タスクの学習データとして広く活用されています。

音声系ではGoogleが公開するAudioSet（オーディオセット）が約200万本のYouTube動画を素材とした音声・動画データを収録しており、音声認識や音響イベント検出モデルの学習に活用できます。タスクの種類と対象言語・ライセンスを確認したうえで選択することが重要です。

まとめ

機械学習モデルの精度は、アルゴリズムの選定だけでなく、データセットの質・量・適切な分割によって大きく左右されます。訓練・検証・テストの3分割という基本原則を守り、前処理やアノテーションを丁寧におこなうことが、モデル開発成功の土台となります。

データセットの収集・整備にあたっては、バイアスや被覆性・均一性の観点から品質をチェックし、著作権や個人情報保護法への対応も欠かせません。法的リスクへの対応は、プロジェクトの信頼性を守るうえで不可欠な視点です。

まずはMNISTやKaggleなど無料で使えるオープンデータを活用し、訓練・検証・テストの分割プロセスを実際に体験することから始めてみましょう。