验证 (Validate)
验证 (Validate) 功能允许用户使用训练样本列表评估其已训练模型的统计性能。此功能对于在未知数据上测试分类器之前评估其稳健性和准确性至关重要。它提供了关于模型泛化能力的关键见解，并突出显示了需要改进的领域。
本节详细介绍了如何解释训练结果、执行 K 折验证以及利用特征解释工具来更好地理解模型的决策过程。内容分为几个子部分以便清晰理解，并对每个字段进行了详细描述以确保易于使用。
验证过程使用两种主要方法来评估已训练工具的性能：
- 训练分离 (Training Separation)：在 100% 的训练数据上测试预测的准确性，以评估 基础工具 (Base Tool) 与分类问题的兼容性。如果准确性低于 构建 (Build) > 探索 (Explore) 阶段，则可能表明数据集中噪声或变异增加，建议需要更大的数据集或重新审视训练过程。
- K 折验证 (K-fold Validation)：一种稳健的验证方法，其中数据集被分成十份，其中 10% 保留用于测试，其余 90% 用于训练。此过程重复十次以估计未知数据的性能。此结果更能代表现实世界的模型性能。
我们建议使用 K 折准确率 (K-fold accuracy) 作为评估已训练工具的主要基准。
本节包含两个主要子部分：
- 已训练工具 (Trained Tools)
- 选定的已训练工具 (Selected Trained Tool)
已训练工具 (Trained Tools)
此子部分提供了所有已训练工具的概述，包括关键详细信息。下表概述了显示的字段：
| 字段名称 | 描述 |
|---|---|
| 已训练工具描述 (Trained Tool Description) | 已训练工具的简要描述。 |
| 版本 (Version) | 已训练工具的版本号。 |
| 创建日期和时间 (Created Date and Time) | 已训练工具创建的时间戳。 |
| 采样率 (Sample Rate) | 训练期间数据采样的速率。 |
| 目标范围 (Target Range) | 回归模型的目标范围，显示预测的最小值和最大值。 |
选定的已训练工具 (Selected Trained Tool)
此子部分提供有关特定已训练工具的详细信息。为了便于导航，它被分为更多类别。
基础工具 (Base Tool) 信息
在该部分的顶部，您将看到：
| 字段名称 | 描述 |
|---|---|
| 基础工具 (Base Tool) | 用于创建已训练模型的基础工具。 |
| 版本 (Version) | 基础工具的版本号。 |
| 训练使用 (Trained With) | 用于训练模型的数据集。 |
训练统计 (Training Stats)
训练统计 部分根据数据类型提供有关模型性能的见解：
- 对于分类数据：
- 混淆矩阵 (Confusion Matrix)：显示实际与预测类别的性能。
- 总体准确率 (Overall Accuracy)：模型做出的正确预测占所有预测的百分比。
- F1 分数 (F1 score)：平衡精确率和召回率的指标，对于评估不平衡数据集上的模型性能非常有用。
- 对于回归数据：
- 目标值预测准确性 (Target Value Prediction Accuracy)：使用散点图可视化实际值与预测值。
- 误差指标 (Error Metrics)：包括关键统计数据，如 R²、RMSE 和 MAE。
- 误差分布图 (Error Distribution Graph)：绘制百分比范围偏差（x 轴）与点计数（y 轴）的关系图。
点击底部的 图表 (Graph) 按钮以查看：
- 数据点 (Data Points)
- 局部均值 (Local Mean)
- 理想拟合 (Ideal Fit)
- 误差范围 (Error Range)：±5%、±10% 和 ±20%。
K 折验证 (K-fold Validation)
本节提供来自 K 折验证过程的详细见解。请按照以下步骤操作：
- 点击 开始新 K 折 (Start New K-fold)。
- 在 开始新 K 折 弹出窗口中填写以下字段：
- 折数 (Folds)：指定折数（例如，10）。
- 重复 (Repetition)：输入重复次数以增加验证。
- 保留 (Holdout)：在 随机保留 (Random Holdout) 或 分组保留 (Grouped Holdout) 之间进行选择。
- 点击 开始 (Start) 开始验证。
对于分类数据集，结果包括：
- 混淆矩阵 (Confusion Matrix)
- 总体准确率 (Overall Accuracy)
- F1 分数 (F1 Score)
使用 显示样本级别详情 (Show Sample Level Details) 选项访问：
| 字段名称 | 描述 |
|---|---|
| 样本名称 (Sample Name) | 显示样本的文件名、起始值和结束值。 |
| 查看样本 (View Sample) | 允许查看样本的图形表示。 |
| 结果 (Result) | 预测状态（例如，空闲、风扇受阻）。 |
| 预期结果 (Expected Result) | 预期状态或基本事实 (ground truth)。 |
使用 过滤器 (Filter) 图标筛选数据：
- 显示全部 (Show All)
- 显示错误 (Show Errors)
- 显示成功 (Show Successes)
- 显示未预测的样本 (Show Unpredicted Samples)
- 显示排除的样本 (Show Excluded Samples)
点击 导出到 CSV (Export to CSV) 下载验证结果。
特征解释 (Feature Explanation)
特征解释 选项卡允许更深入地分析模型的决策过程：
- 从下拉菜单中选择您要比较的 类别 (Class)。
- 使用以下选项：
- 决策重要性 (Decision Significance)：查看平均频谱形状图，显示频率（x 轴）与重要性（y 轴）。
- 类别重要性 (Class Significance)：比较所选类别的幅度与频率图。
探索测试 ID 和状态 (Exploration Test ID and Status)
状态 (Status) 字段显示有关工具验证过程的实时更新。点击 眼睛 (Eye) 图标以查看有关测试进度的更多详细信息。
验证 功能确保您的已训练工具稳健、准确并准备好进行部署。通过使用训练统计数据、K 折验证和特征解释工具，您可以对模型在现实世界数据上可靠运行的能力充满信心。