検証 (Validate)
**検証（Validate）**機能を使用すると、ユーザーはトレーニングサンプルリストを使用して学習済みモデルの統計的パフォーマンスを評価できます。この機能は、未知のデータでテストする前に分類器の堅牢性と精度を評価するために不可欠です。モデルの汎化能力に関する重要な洞察を提供し、改善すべき領域を強調します。
このセクションでは、トレーニング結果の解釈方法、K-fold交差検証の実行方法、およびモデルの意思決定プロセスをよりよく理解するための特徴説明ツールの使用方法について詳しく説明します。内容はわかりやすくするためにサブセクションに分かれており、使いやすさを確保するために各フィールドの詳細な説明が含まれています。
検証プロセスでは、主に2つのアプローチを使用して学習済みツールのパフォーマンスを評価します：
- トレーニング分離 (Training Separation): トレーニングデータの100%に対する予測精度をテストして、分類問題に対するベースツール (Base Tool)の適合性を評価します。Build > Explore段階で見られた精度よりも低い場合は、データセット内のノイズや変動が増加している可能性があり、より大きなデータセットが必要であるか、トレーニングプロセスを見直す必要があることを示唆しています。
- K-fold検証 (K-fold Validation): データセットを10個のパートに分割し、10%をテスト用として確保し、残りの90%をトレーニング用として使用する堅牢な検証方法です。このプロセスを10回繰り返して、未知のデータに対するパフォーマンスを推定します。この結果は、実際のモデルパフォーマンスをよりよく表しています。
学習済みツールを評価するための主要なベンチマークとして、K-fold精度を使用することをお勧めします。
このセクションには、2つの主要なサブセクションが含まれています：
- 学習済みツール (Trained Tools)
- 選択された学習済みツール (Selected Trained Tool)
学習済みツール (Trained Tools)
このサブセクションでは、主要な詳細を含むすべての学習済みツールの概要を提供します。以下の表は、表示されるフィールドの概要です：
| フィールド名 | 説明 |
|---|---|
| Trained Tool Description | 学習済みツールの簡単な説明。 |
| Version | 学習済みツールのバージョン番号。 |
| Created Date and Time | 学習済みツールが作成されたタイムスタンプ。 |
| Sample Rate | トレーニング中にデータがサンプリングされたレート。 |
| Target Range | 回帰モデルのターゲット範囲。最小および最大予測値を表示します。 |
選択された学習済みツール (Selected Trained Tool)
このサブセクションでは、特定の学習済みツールに関する詳細情報を提供します。ナビゲーションを容易にするために、さらにカテゴリ分けされています。
ベースツール情報
セクションの上部には以下が表示されます：
| フィールド名 | 説明 |
|---|---|
| Base Tool | 学習済みモデルの作成に使用されたベースツール。 |
| Version | ベースツールのバージョン番号。 |
| Trained With | モデルのトレーニングに使用されたデータセット。 |
トレーニング統計 (Training Stats)
トレーニング統計セクションでは、データタイプに基づいてモデルのパフォーマンスに関する洞察を提供します：
- 分類データの場合:
- Confusion Matrix (混同行列): 実際のクラスと予測されたクラスのパフォーマンスを表示します。
- Overall Accuracy: すべての予測のうち、モデルが行った正しい予測の割合。
- F1 score: 適合率（Precision）と再現率（Recall）のバランスをとる指標であり、不均衡なデータセットでのモデルパフォーマンスの評価に役立ちます。
- 回帰データの場合:
- Target Value Prediction Accuracy: 散布図を使用して、実際の値と予測値を視覚化します。
- Error Metrics: R²、RMSE、MAEなどの主要な統計を含みます。
- Error Distribution Graph: ポイント数（y軸）に対するパーセンテージ範囲の偏差（x軸）をプロットします。
下部にあるGraphボタンをクリックすると、以下が表示されます：
- Data Points（データポイント）
- Local Mean（局所平均）
- Ideal Fit（理想的な適合）
- Error Range（エラー範囲）: ±5%、±10%、および±20%。
K-fold検証 (K-fold Validation)
このセクションでは、K-fold検証プロセスからの詳細な洞察を提供します。以下の手順に従ってください：
- Start New K-foldをクリックします。
- Start New K-foldポップアップで以下のフィールドに入力します：
- Folds: 分割数を指定します（例：10）。
- Repetition: 追加の検証のための繰り返し回数を入力します。
- Holdout: **Random Holdout（ランダムホールドアウト）またはGrouped Holdout（グループ化ホールドアウト）**を選択します。
- Startをクリックして検証を開始します。
分類データセットの場合、結果には以下が含まれます：
- Confusion Matrix（混同行列）
- Overall Accuracy（全体的な精度）
- F1 Score（F1スコア）
Show Sample Level Detailsオプションを使用して、以下にアクセスします：
| フィールド名 | 説明 |
|---|---|
| Sample Name | ファイル名、開始値、および終了値を表示します。 |
| View Sample | サンプルのグラフィック表現を表示できます。 |
| Result | 予測された状態（例：アイドル、ファンブロック）。 |
| Expected Result | 期待される結果またはグラウンドトゥルース。 |
フィルターアイコンを使用してデータを絞り込みます：
- Show All（すべて表示）
- Show Errors（エラーを表示）
- Show Successes（成功を表示）
- Show Unpredicted Samples（予測不能なサンプルを表示）
- Show Excluded Samples（除外されたサンプルを表示）
Export to CSVをクリックして検証結果をダウンロードします。
特徴の説明 (Feature Explanation)
Feature Explanationタブでは、モデルの意思決定プロセスをより深く分析できます：
- ドロップダウンメニューから比較したい**Class（クラス）**を選択します。
- 以下のオプションを使用します：
- Decision Significance（決定の重要度）: 周波数（x軸）対 重要度（y軸）を示す平均スペクトル形状グラフを表示します。
- Class Significance（クラスの重要度）: 選択したクラスの振幅 対 周波数グラフを比較します。
探索テストIDとステータス (Exploration Test ID and Status)
Statusフィールドには、ツールの検証プロセスに関するリアルタイムの更新が表示されます。**Eye（目）**アイコンをクリックすると、テストの進行状況に関する詳細が表示されます。
**検証（Validate）**機能により、学習済みツールが堅牢で正確であり、展開の準備ができていることが保証されます。トレーニング統計、K-fold検証、および特徴説明ツールを使用することで、実際のデータで確実に実行できるモデルの能力に自信を持つことができます。