Curate

Curate（整理） ページは、ほとんどの前処理作業が行われる場所です。ここでは、すべてのソースファイルが一貫したサイズの個別のサンプルに解析されます。その後、すべてのサンプルがサンプルリストに追加されます。このセクションには2つのサブタブが含まれています：Source Files と Data Sample Lists。

• Source Files（ソースファイル）: プロジェクト中に収集された生データを管理する場所です。
• Data Sample Lists（データサンプルリスト）: 利用可能なソースファイルから、より小さくキュレーションされたデータセットを作成します。

長期間データを収集する場合、結果として得られるファイルは、メモリと処理能力が限られているマイクロコントローラユニットにとっては大きすぎることがよくあります。これらのデバイスは、より小さく焦点の絞られたデータセットを処理するように設計されており、意味のあるイベントが発生する重要なインスタンスのみを処理できます。

Curate ページは、大きなデータファイルを小さく管理しやすい断片に分割することでこれを達成するのに役立ちます。このプロセスにより、モデルは実世界のシナリオを模倣するように効果的にトレーニングされ、制約のある環境での展開に向けてパフォーマンスが最適化されます。データファイルを分割することは、これらのブロックがMLモデルへの入力となるため重要です。例えば、データファイルが10秒の場合、それぞれ1秒の10個のセグメントに分割できます。ユースケースの事前知識に基づいてこれらのセグメントの長さを選択するか、1秒のウィンドウ長から始めてそこから実験することができます。

Source Files（ソースファイル）

ここでは、アップロードされたすべてのデータファイルを、File Name、Size、Type、Uploaded date、Data Shape、Sample Rate とともに確認できます。

プロジェクトメンバーの表示

Show Only Project Members チェックボックスを選択して、表示されるソースファイルをフィルタリングし、プロジェクトメンバーに関連付けられたファイルのみを表示するように制限します。

アクション

Action ドロップダウンメニューには、以下のオプションがあります：

• Select All: リストされたすべてのファイルを選択します。
• Deselect All: すべてのファイルの選択を解除します。
• New List From Selected: 選択したファイルを使用して新しいリストを作成します。
• Segment List From Selected: 選択したファイルからセグメント化リストを作成します。
• Edit Metadata Type: 選択したファイルのメタデータタイプを変更します。
• Format Selected: 選択したファイルのファイル形式を定義または更新します。
• Remove Selected: 選択したファイルをプロジェクトから削除します。
• Import Metadata: メタデータファイルをアップロードして、ソースファイルのメタデータを追加または更新します。
• Close: 変更を行わずにアクションメニューを終了します。

セグメント化リストの作成

ファイルにラベルを付けた後、セグメント化リストを作成して、分析とトレーニングのためにデータをより小さく管理しやすいサンプルに分割できます。セグメンテーション方法とオプションを効果的に構成するには、以下の手順に従ってください。

なぜセグメンテーションが必要なのか？

セグメンテーションは、マイクロコントローラ（MCU）を使用するものなど、リソースに制約のある環境での展開に最適化されたモデルを生成する上で重要な役割を果たします。これらのモデルは、ライブデータを迅速かつ効率的に処理するように設計されており、多くの場合、1秒、500ミリ秒、またはさらに短い期間などの小さな時間枠内で処理します。

実際のアプリケーションでは、モデルは長く途切れない記録ではなく、短く連続的なデータストリームに基づいて予測を行う必要があります。トレーニング段階でこのシナリオを再現するために、生データはより小さなセグメントに分割されます。これらのセグメントはモデルのトレーニングに使用され、ライブの本番環境で遭遇するデータのタイプを学習し、適応できるようになります。

このアプローチにより、限られた処理能力とメモリの制約内で動作しながら、リアルタイムシナリオでモデルが効果的に機能することが保証されます。

セグメント化リストを作成する手順

1. Actions > Segment List from Selected に移動します。
2. Segment Files ウィンドウが開き、セグメンテーション用に選択されたファイルが表示されます。
3. Segmentation Method ドロップダウンメニューから、以下の方法のいずれかを選択します：
   • Sliding CSV Window
   • Energy Triggered

Sliding CSV Window（スライディングCSVウィンドウ）の設定

Sliding CSV Window 方式は、ファイル全体を通してステップバイステップのスライディングウィンドウアプローチを使用して、CSVデータ [数値、テキストベース、または時系列データ] をより小さく管理しやすいサンプルに分割し、ファイル全体が処理されるまで各ステップでデータをキャプチャします。以下の表は、この方法で利用可能な設定オプションをまとめたものです：

オプション	説明
Sample Rate	CSVファイルをサンプルリストに解析するための固定サンプリングレートを表示します。この値はファイルフォーマット中に固定されます。
Target	ファイルメタデータからターゲット列を選択します（タイプ：Class）。
Window Length	Window Length は、セグメンテーションに使用される決定ウィンドウのサイズを決定します。各サンプルの長さを行数またはミリ秒 (ms) で指定します。この値は、AIが各セグメントを分類するためにどれだけのデータを分析するかを制御します。 ヒント: データセットに最適な構成を特定するために、さまざまなウィンドウ長で実験してください。
Offset	Offset は、ソースファイル内の連続するサンプルの開始点間のギャップを指定します。パーサーが新しいサンプルウィンドウを作成する前にどれだけ移動するかを定義するために、行数またはミリ秒 (ms) で値を入力します。
50% Overlap	連続するウィンドウ間で50%の重複を持つサンプルを作成します。 データの半分が隣接するサンプル間で共有されるようにします。 冗長性を減らしつつ、開始点のバリエーションの必要性とのバランスをとります。
Non-Overlapping	連続するウィンドウ間でデータを共有しない個別のサンプルを作成します。 大量のデータを持つデータセットや、より長いオフセットに適しています。 初期の探索やトレーニング時によく使用されます。
All Shifts	ウィンドウを一度に1行ずつシフトして、最大数のサンプルを作成します。 任意にサンプリングされたデータストリームでのパフォーマンスをシミュレートするために、完成した分類器をテストするのに最適です。

Advanced Options（詳細オプション）

Advanced Options をクリックして、セグメンテーションをさらにカスタマイズします。

オプション	説明
Restart Streamed Window	各クラスまたはメタデータブロックの開始時にウィンドウを再起動します。
	Respect Transitions: クラスまたはメタデータブロック内の遷移が処理されるようにします。
	Class: クラスブロック内の遷移を特に処理します。
Keep Short Window Samples	ファイルまたはクラスブロックの終わりにある短いサンプルの処理方法を決定します。
	Retain Short Samples: 出力に短いサンプルを含めます。
	1 per Block: ブロックごとに1つの短いサンプルを保持します。
Output Type	セグメント化されたサンプルの保存方法を選択します：
	Output to New List: セグメント化されたサンプルの新しいリストを作成します。
	Append to Existing List: 既存のリストに解析されたサンプルを追加します。

NOTE

Explorer Tier（エクスプローラー層）には、作成できるセグメント化リストを7,000サンプル未満に制限する制限があります。

Output Sample List

セグメンテーションを設定した後、Output Sample List ページでセグメント化されたサンプルリストの名前を指定します。このフィールドは必須です。

アクション	説明
Submit	構成を確認し、プロセスを完了します。

Submitをクリックした後、約30秒待ってからページを更新してください。ページを更新した後、Data Sample List タブをクリックします。タブをクリックすると、処理が完了したリストが表示されるはずです。

NOTE

このデータセットのセグメント化/分割には1分もかかりません。ただし、セグメンテーションの所要時間はデータセットのサイズに依存します。例えば：1 GBのファイルはセグメント化に5〜10分かかる場合があります。

Energy triggered（エネルギートリガー）

エネルギートリガーオプションを選択すると、必要に応じて以下の設定を構成できます。このセグメンテーション方法は、音声ベースの信号などの回帰データセットに特に適しています。

フィールド	説明
Show/Hide Preview	ファイル名、選択されたクラス、トリガーポイント、キャプチャウィンドウ、およびデータのグラフ表現を含む、データファイルの概要を表示します。この機能により、プレビューの更新、データの開始点と終了点の設定、グラフ表現内でのパンとズーム、包括的な分析のためのファイル全体の表示が可能になります。
Sample Rate	データがサンプリングされる頻度を設定します。エネルギートリガーイベントの場合、正確なデータキャプチャを保証するために自動的に100 Hzに設定されます。手動入力は不要です。これはファイルフォーマット中に固定されます。
Trigger Channel	トリガー検出のソースを決定します。オプションは以下の通りです：
	- Single: ドロップダウンメニューから特定のチャンネルを選択して、エネルギートリガーイベントを監視します
	- Sum: チャンネルを数学的に結合（例：合計または差分）して、複数のチャンネルにまたがるトリガー条件を定義できます。
	- Magnitude: 結合された大きさを計算することで、複数のチャンネルを同時に監視できます。
Pre-Processing	データの正規化を設定します。このオプションを有効にするには Normalize チェックボックスを選択します。これによりデータがスケーリングされ、均一性が確保され、サンプル間の比較が改善されます。
Zeroing	データ処理のゼロ化方法を調整します。オプションは以下の通りです：
	- None: ゼロ化調整を適用せず、元のデータを保持します。
	- DeMin: 最小値を減算してデータのベースラインを調整します。
	- DeMean: 平均値を減算してデータを中央揃えにし、分析用にゼロ中心のデータを確保します。
Zero Window	ゼロ化調整が適用される期間を指定します。選択したウィンドウ全体でのベースラインドリフトを管理するのに役立ちます。必要な値を入力するか、上下の矢印を使用して調整します。
Filter	データ処理のフィルタタイプを設定します。オプションは以下の通りです：
	- None: データにフィルタは適用されません。
	- Low: ローパスフィルタを適用して高周波ノイズを除去し、分析用に低い周波数を保持します。
	- Band: バンドパスフィルタを適用して指定された範囲内の周波数を分離し、この帯域外の周波数を除去します。
	- High: ハイパスフィルタを適用して低周波ノイズを除去し、分析用に高い周波数を保持します。
Trigger Mode	トリガーのモードを決定します。オプションは以下の通りです：
	- Amplitude: データの振幅（信号強度）に基づいてトリガーを検出します。
	- + Crossing: 信号が正のしきい値を超えたときにトリガーします。
	- - Crossing: 信号が負のしきい値を超えたときにトリガーします。
	- RMS: トリガー検出に二乗平均平方根（RMS）値を使用し、信号の全体的なエネルギーに焦点を当てます。
	- RMS Step: RMS値のステップ変化に基づいてトリガーします。
	- RMS Step Ratio: 連続するRMSステップ変化の比率に基づいてトリガーを検出します。
	- Peak to RMS Ratio: ピーク信号値とそのRMS値の比率に基づいてトリガーします。過渡信号の識別に役立ちます。
	- Diff: 連続するデータポイント間の差分に基づいてトリガーを検出します。
	- Sign: トリガー検出のために信号の符号（正または負）を監視します。
Threshold	イベントをトリガーするために必要な最小信号レベルを指定します。必要な値を入力するか、上下の矢印を使用します。
Span	トリガー検出の期間または範囲を定義します。Trigger Modeで Amplitude、Diff、または Sign が選択されている場合、このフィールドは非アクティブになります。
Window Length	分析に使用される行のサンプル数を設定します。キャプチャされたデータの解像度を制御するのに役立ちます。値を直接入力するか、上下の矢印を使用して調整します。
Datapoints	選択したウィンドウ内で分析するデータポイントの数を指定します。必要な値を入力するか、上下の矢印を使用して調整します。
ms	時間分析のためのウィンドウ長をミリ秒単位で定義します。必要な値を入力するか、上下の矢印を使用して調整します。
Capture Options	データキャプチャのプリトリガーまたは最小分離値を設定します：
	- Pre-Trigger: トリガーイベントが発生する前にキャプチャされるデータ量を決定し、イベント前の状態を理解するのに役立ちます。
	- Min Separation: 冗長なデータのキャプチャを避けるために、連続するトリガーイベント間の最小間隔を確保します。
Limit Captures Per File	ファイルサイズを管理し、データの整理を改善するために、単一ファイルに保存されるキャプチャ数を制限します。このオプションを有効にするにはチェックボックスを選択します。

Continue をクリックして、以下のように詳細を入力します：

フィールド	説明
Restart streamed window location at start of each class block or metadata block	Respect Transitions チェックボックスを選択すると、Class および Metadata チェックボックスが編集可能になります。Metadata を選択するとドロップダウンが表示され、必要なメタデータを指定できます。
Keep short window samples at end of file or class block	Retain Short Samples チェックボックスを選択して、ファイルまたはクラスブロックの終わりにある短いサンプルを保持します。また、1 per block チェックボックスを有効にして、ブロックごとに1つの短いサンプルを保持することもできます。
Output type	Output to new List または Append to existing List のいずれかをラジオボタンを使用して選択し、新しいリストを作成するか、結果を既存のリストに追加するかを決定します。
Output Sample List	このフィールドは Output to new List を選択した場合に使用可能です。処理されたサンプルが保存される出力リストの名前を入力します。
Destination List	このフィールドは Append to existing List を選択した場合に使用可能です。ドロップダウンメニューから必要なリストを選択します。

Submit をクリックして確認します。

ソースファイルのフィルタリング

1. Filter アイコンをクリックして、Filter Source Files ページを開きます。
2. 利用可能なフィルターを使用して検索を絞り込みます：
   • Name: 名前でファイルを検索。
   • Data Type: データタイプに基づいてフィルタリング。
   • Date: ファイル作成日または変更日でフィルタリング。
   • Data Shape: データ形状に基づいてファイルを絞り込み。
   • Sample Rate: サンプルレートでフィルタリング。
   • Unformatted: フォーマットされていないファイルを検索。
   • Assigned Targets: ターゲットが割り当てられたファイルをフィルタリング。
   • Unassigned Targets: ターゲットが割り当てられていないファイルを見つける。
3. 必要なフィールドに入力した後、Apply をクリックしてソースファイルをフィルタリングします。

ターゲットクラスの定義

データのターゲットクラスを定義するには、2つのオプションがあります：

1. ソースファイルの追加列を使用: ソースファイルをアップロードする際、各データポイントのラベルを指定する追加の列を含めます。
2. メタデータファイルを使用: 以下の2列を持つ metadata という名前のCSVファイルを準備します：
   • • File Name: アップロードしたすべてのファイル名のリスト。
       • Label Type: 各ファイルの対応するラベル。

例えば、「リンゴ」のファイルが10個、「オレンジ」のファイルが5個ある場合、メタデータファイルでそれに応じてラベルを割り当てます。

メタデータのインポート

1. Curate ページの Source Files タブで、Action > Import Metadata オプションを使用してメタデータファイルをアップロードします。
2. ダイアログボックスが表示され、準備したCSVファイルをドラッグアンドドロップできます。
3. 2行目のドロップダウンから Target Value を選択します。1行目のドロップダウンは File Names のままにします。これにより、割り当てられたメタデータに従ってファイルにラベルが付けられます。
4. アップロードされると、記述的なメタデータがソースファイルに追加されます。

ターゲットクラスの表示

メタデータをインポートした後、Sample Rate 行の横にある矢印を展開します。Amps 列には、すべてのファイルのターゲットクラス選択が表示されます。

この方法は、各ソースファイルに追加の列を手動で追加するのが面倒な場合、大量のファイルを扱う際に特に有益です。

Data Sample Lists（データサンプルリスト）

このセクションでは、Segment List from Selected アクションを実行した後に生成される Output Sample Lists の操作方法について説明します。これらのリストは以下の詳細とともに表形式で表示されます：

フィールド	説明
List Name	サンプルリストの名前。
List Type	分類や回帰など、リストのタイプを指定します。
Data Shape	リスト内のデータの形状または次元。
Sample Rate	サンプルが収集されたレート。
N Samples	リスト内のサンプル数。
Target Range	リスト内のターゲット値の範囲。
Created	リストが作成された日時。
Modified	リストが最後に更新された日時。
Comments	データサンプルリストに関するコメントまたはメモを追加できます。
Remove	表から特定のサンプルリストを削除できます。

マルチビューオプション

ツールバーで Multi-view チェックボックスを選択すると、リストをより効果的に比較および分析するために、複数のビューで表示できます。

アクション

Actions ドロップダウンメニューを使用してサンプルリストを管理します。以下のアクションが利用可能です：

アクション	説明
Deselect All	選択されたすべての項目の選択を解除します。
Random Subset to New	選択された項目のランダムなサブセットから新しいリストを作成します。
Edit Sensor Groups	選択されたリストのセンサーグループを調整します。
Convert to Regression List/ Convert to Classification List	選択された分類リストを回帰リストに変換するか、その逆を行います。
Remap Classes	選択されたリスト内のクラスラベルを再割り当てします。
Export to CSV	選択されたリストをCSVファイルとして保存します。
Import From CSV	CSVファイルをアップロードしてデータサンプルリストを追加または更新します。
Close	変更を行わずにアクションメニューを閉じます。
Remove Selected	選択されたデータサンプルリストを削除します。

リストのフィルタリング

サンプルリストをフィルタリングして特定の項目を見つけることができます。

1. Filter アイコンをクリックして Filter Lists ページを開きます。
2. 提供されたオプションを使用してリストをフィルタリングします：
   • Name: 名前でリストを検索。
   • List Type: タイプでリストをフィルタリング。
   • Date Created: 作成日に基づいてリストを絞り込み。
   • Data Shape: データ形状でリストをフィルタリング。
   • Sample Rate: サンプルレートに基づいてリストを検索。
3. フィルターフィールドに必要な情報を入力し、Apply をクリックして表示されるリストを絞り込みます。

Distribution（分布）

ソースファイルをセグメント化して作成されたサンプルリストは、AI Exploration、Training、または Testing に使用できます。各行には、ソースファイルストリームから取得された、設定された長さの特定のラベル付きサンプルまたは観測データが含まれています。

新しく作成されたセグメント化リストをクリックして、その内容を表示します。このリストには、セグメント化されたデータのブロックまたはウィンドウが表示されます。データのヒストグラムも視覚化のために表示されるはずです。

NOTE

セグメンテーション直後にヒストグラムが表示されない場合は、ページを更新してみてください。

選択したリストの分布を List View または Table View で分析できます。

表示オプション

ビュー	説明
List View	Classes、Count、および % of List ごとに分布の詳細を表示します。
Table View	Sample File, Data Shape, View, Target Class ドロップダウン（クラスの検索または作成）、および Exclude と Remove オプションを含む、各サンプルの詳細情報を提供します。

テーブルビューでのアクション実行

1. ツールバーの Action ボタンを選択します。
2. 以下のオプションから選択します：

アクション	説明
Transfer	選択した項目を別のリストに転送します。
Transfer to New List	選択した項目から新しいリストを作成します。
Select All	すべての項目を選択します。
Select All on Page	現在のページに表示されているすべての項目を選択します。
Select Random Subset	項目のランダムなサブセットを選択します。
Deselect All	すべての選択を解除します。
Set Target for Selected	選択した項目にターゲットクラスを割り当てます。
Exclude Selected	選択した項目をリストから除外します。
Include Selected	以前に除外された項目を含めます。
Export to CSV	選択した項目をCSVファイルに保存します。
Import CSV	CSVファイルから項目をインポートします。
Close	変更を行わずにアクションメニューを閉じます。
Remove Selected	選択した項目を削除します。