恩智浦eIQ Time Series Studio工具使用教程之仿真

大家好，又到了和Time Series Studio见面的日子，上一期我们讲到了“training”模块，那么在训练中得到的众多模型里，哪一个模型更能适用于用户的需求呢？为了确定更可靠的用户模型，这一期为大家带来“Emulation”模块的介绍。

为什么需要仿真？

仿真是一项重要且创新的功能，它有助于：

在部署时验证 C/C++ 模型代码的准确性和可用性，因为仿真时使用相同的 C/C++ 模型代码

验证和测试真实数据并检查算法是否过拟合或准确度是否符合预期

对每个算法模型进行基准测试，以选出最佳模型

对特定模型的准确率统计进行基准测试，以便进一步优化

轻松找出从训练到生成库的过程中可能出现的部署库错误

仿真支持哪些功能？

针对正常和异常数据集的异常检测算法，具有真实的测试精度

针对不同类别数据集的分类算法，具有真实的测试精度

针对指定目标数据集的回归算法，具有真实的测试结果

根据用户选择测试所有的训练模型

可同时自动测试多个模型

离线数据集文件导入

所有仿真模型的测试结果和状态可视化，每个成功仿真的算法模型生成仿真报告

以图形方式显示每个测试文件的测试结果、每个标签/目标的测试结果以及总体测试结果

使用命令行执行仿真并输出决策值、标签和基准详细信息

此外，命令行执行仿真可以支持串口输入数据和异常检测任务中的“On-Device Learn”学习功能。

如何进行仿真？

训练完成、生成部分训练模型后停止或暂停训练，然后切换到“Emulation”模块。功能布局

仿真需要网络支持，因为仿真的可执行镜像必须从云服务器动态生成。

这是“Emulation”模块的布局，显示了它的运行步骤(以异常检测为例)。

步骤 1：选择训练记录，这些记录里包含了“Training”部分生成的算法模型。

步骤 2：选中要测试的一个或多个模型的复选框。

步骤 3：单击“New Emulation”按键进入测试文件选择窗口。

步骤 4：单击“Select”选择正确的测试文件或与测试标签匹配的文件。确保不要弄乱它们。

步骤 5：为测试文件选择正确的分隔符。

步骤6：单击“Start”，后端服务器检查测试文件，下载仿真可执行镜像并运行仿真以获取测试结果。可能需要等待一段时间，具体取决于用户的网络和模型复杂度。用户可以在此过程中随时取消。

这是“Emulation”报告的布局。

仿真完成后，将出现完整的仿真报告。仿真报告包括每个模型的总体准确率和仿真状态，报告还包括基准、混淆矩阵和每个文件的测试准确率的图形显示。

如何下载每个模型的特定仿真报告？点击报告栏中模型的文件图标，以文件格式生成仿真报告。点击下载并将报告保存为指定路径中的PDF文件。

如果模型仿真失败，请单击状态列中模型的失败图标以重试该模型的仿真。

温馨提示，确保测试文件路径中没有特殊字符或除英文字母以外的其他语言，以防止文件读取失败。

什么样的仿真报告才能满足部署需要？

一个合理的部署仿真报告必须满足以下要求:

整体训练准确率与仿真准确率匹配

准确率结果符合应用期望

混淆矩阵中的错误分布与每个类别的仿真准确率匹配

比较训练和仿真基准结果来决定是否需要重新进行以下步骤：

重新收集和清洗数据？

重新定义适合目标应用的算法任务？

调整训练配置并重新训练以获得更高的精度？

经过本章的介绍，相信大家了解到仿真的重要性，也期待小伙伴们能够得到令人满意的算法模型！