跳到主要内容

bmrt_test 模型测试工具

bmrt_test 是基于 bmruntime 接口实现的对 bmodel 的正确性和实际运行性能的测试工具。

linaro@Airbox:~/bsp-debs$ bmrt_test
Usage:
  --version          : Show version.
  --context_dir      : The dir of context after compilation.
  --append_dir       : The dir of another context after compiltaion.
  --bmodel           : The path of bmodel, just test bmodel, no compare.
  --bmodel_list      : File that include one or more context dirs.
  --devid            : The number of device.
  --compare          : If 0, no result compare, else do compare.
  --accuracy_f       : float compare accuracy.
  --accuracy_i       : int compare accuracy.
  --loopnum          : Set net launch loop times, one time as default.
  --calculate_times  : Set net inference loop times, one time as default.
  --thread_num       : Set net launch thread num
  --prealloc         : Set alloc ion size (hex format) before load bmodel.
  --export_neuron    : Export neuron mem to file.
  --export_output    : Export output data to file.
  --profile          : Open profile function.
  --subnet_time      : Print each subnet time if have subnet.
  --net_idx          : Select the net with net_idx to run.
  --stage_idx        : Select the stage with stage_idx to run.
  --debug_output     : Dump output data and reference data for debug.
  --shapes           : Set shapes of the input shapes.
  --output_shapes    : Set shapes of the output shapes.
  --cascade_device   : Set devices to run for cascade model, e.g. 1,2
  --core_list        : Set the core id list those will be used to inference
                         e.g. 0,1 means using 0,1 core together to infer the multi-core compiled bmodel.
                              0:1 means using 0,1 core to infer the single-core compiled bmodel with parallelly mession.

包含以下功能:

  1. 直接用随机数据 bmodel 进行推理，验证 bmodel 的完整性及可运行性
  2. 通过固定输入数据直接用 bmodel 进行推理，会对输出与参考数据进行比对，验证证数 据正确性
  3. 测试 bmodel 的实际运行时间
  4. 通过 bmprofile 机制进行 bmodel 的 profile

使用方法​

直接运行 bmodel​

bmrt_test --bmodel xxx.bmodel

运行多 stage 的 bmodel 模型​

bmrt_test --bmodel xxx.bmodel --stage_idx 0 --shapes "[1,3,224,224]"

运行文件夹中模型​

运行 bmodel，bmodel_dir 中要包含 compilation.bmodel

bmrt_test --context_dir bmodel_dir --compare=0 #

运行文件夹中模型并进行对比​

运行 bmodel，并比对数据，bmodel_dir 中要包含 compilation.bmodel/input_ref_data.dat/output_ref_data.dat

bmrt_test --context_dir bmodel_dir

生成 profile 数据​

BMRUNTIME_ENABLE_PROFILE=1 bmrt_test --bmodel xxx.bmodel

保存推理数据​

将模型推理的数据保存成 input_ref_data.dat.bmrt 和 output_ref_data.dat.bmrt

BMRT_SAVE_IO_TENSORS=1 bmrt_test --bmodel xxx.bmodel