0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

使用张量板进行机器学习模型分析

星星科技指导员 ? 来源:嵌入式计算设计 ? 作者:Aekam Parmar ? 2022-10-24 15:53 ? 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

机器学习正在突飞猛进地发展,新的神经网络模型定期出现。

这些模型针对特定数据集进行了训练,并经过准确性和处理速度的验证。在部署之前,开发人员需要评估 ML 模型,并确保其满足特定的阈值并按预期运行。有很多实验可以提高模型性能,在设计和训练模型时,可视化差异变得至关重要。TensorBoard有助于可视化模型,使分析变得不那么复杂,因为当人们可以看到问题所在时,调试变得更加容易。

训练 ML 模型的一般做法

一般的做法是使用预先训练的模型并执行迁移学习,以便为类似的数据集重新训练模型。在迁移学习期间,神经网络模型首先在类似于正在解决的问题上进行训练。然后,在针对感兴趣的问题进行训练的新模型中,将使用训练模型中的一个或多个层。

大多数情况下,预训练模型以二进制格式出现,这使得获取内部信息并立即开始工作变得困难。从组织的业务角度来看,拥有一些工具来深入了解模型以减少项目交付时间表是有意义的。

有几个可用选项可用于获取模型信息,例如层数和相关参数。“模型摘要”和“模型绘图”是基本选项。这些选项非常简单,考虑到很少的实现行,并提供非常基本的详细信息,如层数,层类型以及每层的输入/输出。

但是,模型摘要和模型图对于以协议缓冲区的形式了解任何大型复杂模型的每个细节并不那么有效。在这种情况下,使用张量板,张量流提供的可视化工具更有意义。考虑到它提供的各种可视化选项,如模型,标量和指标(训练和验证数据),图像(来自数据集),超参数优化等,它非常强大。

用于可视化自定义模型的模型图

此选项尤其有助于以协议缓冲区的形式接收自定义模型,并且需要在进行任何修改或训练之前了解它。如下图所示,连续 CNN 的概览在电路板上可视化。每个块代表一个单独的图层,选择其中一个将在右上角打开一个包含输入和输出信息的窗口。

pYYBAGNWRIiAcnkVAAE0sYDVU1U464.png

如果需要进一步的信息,关于各个块内部有什么,可以简单地双击块,这将展开块并提供更多详细信息。请注意,一个块可以包含一个或多个可以逐层扩展的块。在选择任何特定操作后,它还将提供有关相关处理参数的更多信息。

pYYBAGNWRJCAIawuAAMJIm9qc4Q977.png

用于分析模型训练和验证的标量和指标

机器学习的第二个重要方面是分析给定模型的训练和验证。从精度和速度的角度来看,性能对于使其适用于现实生活中的实际应用非常重要。在下图中,可以看出模型的准确性随着 epoch/迭代次数的增加而提高。如果训练和测试验证不符合标准,则表明某些事情不对劲。这可能是欠拟合或过拟合的情况,可以通过修改图层/参数或改进数据集或两者来纠正。

poYBAGNWRJmAXKMSAAI169c2dZE463.png

图像数据,用于可视化数据集中的图像

顾名思义,它有助于可视化图像。它不仅限于可视化数据集中的图像,而且还以图像的形式显示混淆矩阵。此矩阵指示检测各个类的对象的准确性。如下图所示,模特将外套与套头衫混淆。为了克服这种情况,建议改进特定类的数据集,以便将可区分的特征提供给模型,以便更好地学习,从而提高准确性。

pYYBAGNWRKGAPf7eAAK49yHUzcU591.png

超参数调优以实现所需的模型准确性

模型的准确性取决于输入数据集、层数和相关参数。在大多数情况下,在初始训练期间,精度永远不会达到预期的精度,并且除了数据集之外,还需要使用层数,层类型,相关参数。此过程称为超参数优化。

在此过程中,提供了一系列超参数供模型选择,并且使用这些参数的组合运行模型。每个组合的准确性都记录在电路板上并可视化。它纠正了手动训练模型时会消耗的精力和时间,用于每个可能的超参数组合。

pYYBAGNWRKmAdY54AAJ_oXA72uk465.png

用于分析模型处理速度的分析工具

除了准确性之外,处理速度也是任何模型的一个同样重要的方面。有必要分析单个块消耗的处理时间,以及是否可以通过进行一些修改来减少。分析工具提供了具有不同 epoch 的每个操作所消耗的时间的图形表示。通过这种可视化,人们可以轻松查明消耗更多时间的操作。一些已知的开销可能是调整输入大小,从Python转换模型代码,或者在CPU而不是GPU中运行代码。处理这些事情将有助于实现最佳性能。

poYBAGNWRLCAI1RdAANsGq3qeok731.png

pYYBAGNWRLiAFjf6AAMPiKgpc8E032.png

总体而言,张量板是帮助开发和训练过程的绝佳工具。来自标量和指标、图像数据和超参数优化的数据有助于提高准确性,而分析工具有助于提高处理速度。TensorBoard还有助于减少所涉及的调试时间,否则这肯定会是一个很大的时间框架。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器学习
    +关注

    关注

    66

    文章

    8510

    浏览量

    134884
  • 数据集
    +关注

    关注

    4

    文章

    1224

    浏览量

    25542
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    超小型Neuton机器学习模型, 在任何系统级芯片(SoC)上解锁边缘人工智能应用.

    Neuton 是一家边缘AI 公司,致力于让机器 学习模型更易于使用。它创建的模型比竞争对手的框架小10 倍,速度也快10 倍,甚至可以在最先进的边缘设备上
    发表于 07-31 11:38

    模型在半导体行业的应用可行性分析

    的应用,比如使用机器学习分析数据,提升良率。 这一些大模型是否真的有帮助 能够在解决工程师的知识断层问题 本人纯小白,不知道如何涉足这方面 应该问什么大
    发表于 06-24 15:10

    获取具有三个输出的自定义模型的输出张量,运行时错误是怎么回事?

    获取具有三个输出的自定义模型的输出张量: 从 openvino.runtime 导入内核 内核 = 内核() model = core.read_model(model=“model.xml
    发表于 03-05 09:44

    机器学习模型市场前景如何

    当今,随着算法的不断优化、数据量的爆炸式增长以及计算能力的飞速提升,机器学习模型的市场前景愈发广阔。下面,AI部落小编将探讨机器学习
    的头像 发表于 02-13 09:39 ?396次阅读

    cmp在机器学习中的作用 如何使用cmp进行数据对比

    机器学习领域,"cmp"这个术语可能并不是一个常见的术语,它可能是指"比较"(comparison)的缩写。 比较在机器学习中的作用 模型
    的头像 发表于 12-17 09:35 ?943次阅读

    什么是机器学习?通过机器学习方法能解决哪些问题?

    计算机系统自身的性能”。事实上,由于“经验”在计算机系统中主要以数据的形式存在,因此机器学习需要设法对数据进行分析学习,这就使得它逐渐成为智
    的头像 发表于 11-16 01:07 ?1009次阅读
    什么是<b class='flag-5'>机器</b><b class='flag-5'>学习</b>?通过<b class='flag-5'>机器</b><b class='flag-5'>学习</b>方法能解决哪些问题?

    AI大模型与深度学习的关系

    AI大模型与深度学习之间存在着密不可分的关系,它们互为促进,相辅相成。以下是对两者关系的介绍: 一、深度学习是AI大模型的基础 技术支撑 :深度学习
    的头像 发表于 10-23 15:25 ?2977次阅读

    使用AI大模型进行数据分析的技巧

    使用AI大模型进行数据分析的技巧涉及多个方面,以下是一些关键的步骤和注意事项: 一、明确任务目标和需求 在使用AI大模型之前,首先要明确数据分析的任务目标,这将直接影响
    的头像 发表于 10-23 15:14 ?2869次阅读

    AI大模型与传统机器学习的区别

    多个神经网络层组成,每个层都包含大量的神经元和权重参数。 传统机器学习模型规模相对较小,参数数量通常只有几千到几百万个,模型结构相对简单。 二、训练数据需求 AI大
    的头像 发表于 10-23 15:01 ?2709次阅读

    使用IBIS模型进行时序分析

    电子发烧友网站提供《使用IBIS模型进行时序分析.pdf》资料免费下载
    发表于 10-21 10:00 ?1次下载
    使用IBIS<b class='flag-5'>模型</b><b class='flag-5'>进行</b>时序<b class='flag-5'>分析</b>

    构建语音控制机器人 - 线性模型机器学习

    轮子并识别音频信号,但它仍然无法通过语音命令控制或按预定义路径行驶。 线性控制模型 首先要解决的问题是实现直线驱动。为此,我们使用线性模型来控制提供给车轮的电压。使用线性模型适合对汽车系统进行
    的头像 发表于 10-02 16:31 ?624次阅读
    构建语音控制<b class='flag-5'>机器</b>人 - 线性<b class='flag-5'>模型</b>和<b class='flag-5'>机器</b><b class='flag-5'>学习</b>

    【「时间序列与机器学习」阅读体验】时间序列的信息提取

    方法为该时间序列填充缺失值。 时间序列的缩放是指对原有的时间序列数据进行数据范围的调整,以便更好地完成后续的数据分析机器学习任务。该节有讲到时间序列的最小最大缩放、时间序列的最大绝对
    发表于 08-17 21:12

    【《时间序列与机器学习》阅读体验】+ 时间序列的信息提取

    之前对《时间序列与机器学习》一书进行了整体浏览,并且非常轻松愉快的完成了第一章的学习,今天开始学习第二章“时间序列的信息提取”。 先粗略的翻
    发表于 08-14 18:00

    【「时间序列与机器学习」阅读体验】+ 简单建议

    这本书以其系统性的框架和深入浅出的讲解,为读者绘制了一幅时间序列分析机器学习融合应用的宏伟蓝图。作者不仅扎实地构建了时间序列分析的基础知识,更巧妙地展示了
    发表于 08-12 11:21

    【「时间序列与机器学习」阅读体验】全书概览与时间序列概述

    如何通过根因分析技术获得导致故障的维度和元素,包括基于时间序列异常检测算法的根因分析、基于熵的根因分析、基于树模型的根因分析、规则
    发表于 08-07 23:03