メインコンテンツまでスキップ

新しいデータを試す

この機能は、事前にラベル付けされたデータセットまたはブラインドデータセットに対して、学習済みモデルの精度を評価するのに役立ちます。このプロセスにより、モデルの強みと弱みを特定し、さらに改良したり、意思決定のための洞察を収集したりすることができます。

「Train（トレーニング）」 > 「Try New Data（新しいデータを試す）」を使用すると、新しいデータを含むサンプルリストを使用して、学習済みツールのパフォーマンスを確認できます。**Accuracy Test（精度テスト）**を実行して、サンプルリストの内容に対する予測の精度を示す混同行列を生成します。**Performance Test（パフォーマンステスト）**を実行して、クラウドAPIの応答時間を測定します。精度テストは、現場から収集された新しいデータに対して学習済みツールをテストする場合に最も役立ちます。テストを実行し、エラーを調査し、誤分類されたデータをトレーニングセットに追加して再トレーニングを行います。

Try new data

  1. 左側のメニューを使用して、Test & Optimize > Try New Dataに移動します。このページは、モデルをテストするために特別に設計されています。

  2. ドロップダウンメニューからTrained Tool（学習済みモデル）を選択します。

  3. テスト対象のData Sample List（データサンプルリスト）を選択します。 ブラインドデータセットに対してテストする場合は、事前にデータファイルがアップロードされ、セグメント化されていることを確認してください。

  4. Accuracy Testボタンをクリックして、テストジョブを開始します。

    注意

    テストの所要時間は、データセットのサイズによって異なります（例：1 GBのデータセットの場合、約10分かかる場合があります）。

  5. テストジョブを開始した後、2〜3分待ってからページを更新してください。

  6. 完了したら、詳細な洞察を得るために**Trial Results（トライアル結果）**タブに移動します。

ヒント

ストリーミングデータを使用している場合は、Data > Curate（整理）に戻り、より小さなオフセットまたは「All Shifts（全シフト）」を使用してファイルを再セグメント化することで、元のソースファイルから新しいテストサンプルリストを作成できます。これにより、新しい大きなサンプルリストが作成され、その大部分はツールがトレーニングされたサンプルとはわずかに異なるサンプルで構成されます。このリストで精度テストを実行し、結果が維持されるかどうかを確認してください。

結果の分析 (Analyzing the Results)​

トライアル結果タブで利用可能な主な洞察

フィールド説明
Confusion Matrix（混同行列）モデルの予測とグラウンドトゥルース（ラベル付きデータが提供されている場合）を比較した行列を表示します。
Statistics（統計）モデルのパフォーマンスに関連する詳細なメトリクスを展開します。
Sample-Level Details（サンプルレベルの詳細）エラーや正解結果を含む、個々のサンプルの予測を表示できます。
Waveform Comparison（波形比較）各データセグメントの波形を視覚化し、成功した予測と失敗した予測を比較できます。

結果のエクスポート (Exporting Results)​

さらなる分析のためにテスト結果をエクスポートするには：

  1. サンプルレベルの詳細を表示
    • Show Sample-Level Detailsボタン（左下にあります）をクリックします。
    • GUIを使用して、エラー、正解予測、またはすべての結果をフィルタリングして表示します。
  2. CSVへのエクスポート
    • Export to CSVボタンをクリックして結果をダウンロードします。

エクスポートされた結果のフィールド:

  • Results: モデルによって行われた予測。
  • Expected Results: データアップロード時に提供されたラベル（グラウンドトゥルース）。

ブラインドデータセットの操作 (Working with Blind Datasets)​

ブラインドデータセット（ラベル付きのグラウンドトゥルースがないデータ）に対するテストの場合：

  • データファイルをアップロードし、適切にセグメント化します。
  • 前述のようにテストジョブを開始します。
  • 混同行列は生成されませんが、分析のためにCSVファイルで生の結果をエクスポートできます。

波形可視化の使用 (Using Waveform Visualization)​

成功した予測と失敗した予測の波形プロットを比較するには：

  1. View Sampleタブに移動します。
  2. 特定のデータブロックの波形をクリックします。
  3. 視覚的な違いを分析して、パターンや改善領域を特定します。

この可視化は、データ特性と予測結果の関係を理解するのに役立ちます。