如何进行tflite模型量化

开发AI应用分享来到了本系列最后一期分享。

在windows上，如果我们按照上一期的方式安装了tflite2pb，是不能直接运行的。因为命令行工具是为linux编译的。那我们的广大windows用户就无缘了吗？那可未必，小编给大家带来一个好办法，当然不仅仅适用于当前这个tflite2pb工具，话不多说，开始：

首先让我们找到tflite2pb的安装路径：

打开tflite2tensorflow.py文件，并定位到5641行：

我们可以看到，这是函数的主入口，并且添加了对于命令行参数的解析，而且既然是def定义的函数，那我们就可以通过import来进行导入。那接下来小编就要利用这个函数做一些文章，首先在我们编写的转换函数中导入这个叫做main的函数：

fromtflite2tensorflow.tflite2tensorflowimportmain

现在已经导入了进来，接下来是怎么传入main函数需要处理的参数，换句话来说，main函数实际上是处理系统命令行参数，那我们需要做的就是伪造一个系统命令行参数，那简单了，首先导入sys模块，然后开始系统参数伪造：

sys.argv = ['main.py',f'--model_path={tflite_model_name}.tflite',r'--flatc_path=flatc.exe','--schema_path=schema.fbs','--output_pb']

这里通过直接给sys.argv参数赋值，实际上相当于像系统命令行传入了参数，接下来直接调用main：

main()

果不其然，成功运行，和在linux上运行效果一致，我们也获得了saved_model文件夹以及模型：

下面就是进行模型的量化：

# Convert the model
converter = tf.lite.TFLiteConverter.from_saved_model("saved_model")
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.representative_dataset = gen_representative_data_gen(represent_data)
converter.inference_input_type = tf.int8
converter.inference_output_type = tf.int8
tflite_model = converter.convert()
# Save the i8 model.
withopen(f"{tflite_model_name}_i8_opt.tflite","wb")asf:
 f.write(tflite_model)

熟悉tflite模型量化的伙伴应该是很熟悉了吧？首先声明converter导入我们刚才生成的pb格式模型的文件夹，接下来指定量化类型为：

tf.lite.OpsSet.TFLITE_BUILTINS_INT8

指定代表性数据集：

converter.representative_dataset= gen_representative_data_gen(represent_data)

为了快速验证模型，我们可以先随机出来一些数据来指导模型量化：

defgen_representative_data_gen(datas_path):
 datas= np.load(datas_path)
 datas= (np.random.randint(0,255, size=(10,1,192,192,3), dtype='uint8') /255).astype("float32")
 defrepresentative_data_gen(samples=datas):
   forsample in samples:
     yield[sample]
 returnrepresentative_data_gen

并且指定输入输出格式：

converter.inference_input_type= tf.int8
   converter.inference_output_type= tf.int8

最终保存量化好的模型：

withopen(f"{tflite_model_name}_i8_opt.tflite","wb")asf:
f.write(tflite_model)

当然，我们还可以打印出来模型的算子信息：

intepreter = tf.lite.Interpreter(model_path=f"{tflite_model_name}_i8_opt.tflite")
 op_names =sorted(set([x['op_name']forx inintepreter._get_ops_details()]))
 print("len ops: ",len(op_names))
 print(op_names)

好了，至此，记站在巨人的肩膀上开发AI应用就到此完结了，此次系列分享给大家分享了小编的一次项目开发历程，尤其是涉及到如何将网上找到的，不包含推理代码的模型，如何一步步的进行分析，并最终转换为可以为我们所用的模型，希望能够帮助大家！