天津住房和城乡建设厅网站wordpress知识付费主题

天津住房和城乡建设厅网站,wordpress知识付费主题,浙江省建设安全协会网站,微信公众平台开发实例教程1. 程序获取和下载基于DeploySharp 开发的深度学习模型部署测试平台#xff0c;提供了YOLO框架的主流系列模型#xff0c;包括YOLOv5~v13#xff0c;以及其系列下的Detection、Segmentation、Oriented Bounding Box、Human Pose Estimation等应用场景。模型部署引擎支持Open…1. 程序获取和下载基于DeploySharp 开发的深度学习模型部署测试平台提供了YOLO框架的主流系列模型包括YOLOv5~v13以及其系列下的Detection、Segmentation、Oriented Bounding Box、Human Pose Estimation等应用场景。模型部署引擎支持OpenVINO™、ONNX runtime支持CPU、IGPU以及GPU多种设备推理。项目链接为https://github.com/guojin-yan/DeploySharp/tree/DeploySharpV1.0/applications如果你想快速使用该平台可以加入QQ技术交流群通过群文件下载或者通过GitHub在DeploySharp 项目中下载。git clone https://github.com/guojin-yan/DeploySharp.gitcd DeploySharp/applications打开指定目录后直接打开DeploySharp-Applications.sln解决方案即可。image-20251003123525415打开解决方案后资源管理器中有两个项目一个是.NET 6.0框架一个是.NET Framework 4.8框架用户可以根据自己需求进行运行。image-20251003123554619程序运行后页面如下图所示image-202510021820438132. 平台介绍2.1 支持的模型选项基于DeploySharp 开发的深度学习模型部署测试平台所支持的模型列表与DeploySharp 库一致后续会跟着DeploySharp 迭代进行同步更新具体支持的模型image-20251003131537123开发者在使用时可以根据自己需求进行选择但在使用时模型路径“Model Path”选择的模型类型要和“Model Type保持一致否者程序运行可能出差或者结果出现错误。2.2 支持的推理引擎工具基于DeploySharp 开发的深度学习模型部署测试平台所支持多种推理引擎其中已经开发完成并已经支持的有OpenVINO和ONNX Runtime其中TensorRT正在开发中不日后会完成支持。image-20251003131610600其中当推理设备选择ONNX Runtime时还可以选择ONNX Runtime运行的推理引擎支持的内容如下图所示image-20251003131828937​ ONNX Runtime支持的更多加速方式需要用户自己进行代码构建其构建流程与方式参考官方教程即可链接为https://runtime.onnx.org.cn/docs/execution-providers/2.3 支持的推理设备同时用户还可以选择不同的推理设备包括AUTO、CPU、GPU0、GPU1、NPU其中GPU0、GPU1表示的含义要在使用的推理引擎工具中确定。image-202510031317062303. 推理引擎和设备匹配使用推理引擎 推理设备 ONNX加速OpenVINO AUTOCPUGPU0(Intel 集显)GPU1(Intel 独显)NPU DefaultONNX Runtime CPU DefaultONNX Runtime AUTOCPUGPU0(Intel 集显)GPU1(Intel 独显)NPU OpenVINOONNX Runtime GPU0(英伟达独显)GPU1(英伟达独显) CudaONNX Runtime GPU0GPU1 DML4. 程序运行示例在对应的项目中图像处理库已经安装不同项目就是使用的不同图像处理库下面演示使用不同的模型推理引擎使用流程。4.1 OpenVINO推理所下载的项目中已经配置好了OpenVINO环境选择模型和图片后直接运行即可。推理结果如下图所示image-20251003141905755如果使用的是.NET Framework 4.8框架在程序运行前请卸载并重新安装一下OpenVINO.runtime.win NuGet Package重新生成项目后进入到项目bin/Debug或者bin/Release目录找到该目录下的文件夹dll/win-x64在该目录下可以看到openvino_c.dll文件然后将该目录下所有文件复制到bin/Debug或者bin/Release目录下重新再生成一下项目。如果使用的.NET 6.0框架4.2 ONNX Runtime推理如果只是用ONNX Runtime推理不需要安装其他的依赖既可以使用默认只能使用CPU推理如下图所示image-202510031430048374.3 ONNX Runtime推理 OpenVINO加速如果是用ONNX Runtime推理并配合OpenVINO加速则需要安装额外的依赖库:Intel.ML.OnnxRuntime.OpenVino安装完成后运行程序即可其中原生OpenVINO支持的推理设备AUTO、CPU、GPU0(Intel 集显)、GPU1(Intel 独显)、NPU在此处均可以使用如下图所示image-20251003144046348如果使用的是.NET Framework 4.8框架安装完Intel.ML.OnnxRuntime.OpenVino后如果依旧报错”无法在 DLL“onnxruntime”中找到名为“OrtSessionOptionsAppendExecutionProvider_OpenVINO”的入口点。”可以找到Intel.ML.OnnxRuntime.OpenVino包目录然后将该目录下的所有dll文件复制到项目的bin/Debug或者bin/Release目录下即可。4.4 ONNX Runtime推理 DML加速如果是用ONNX Runtime推理并配合DML加速则需要安装额外的依赖库:Microsoft.ML.OnnxRuntime.DirectML安装完成后运行程序即可此处可以使用GPU、GPU1如下图所示image-202510031452559565.模型运行时间测试​ 在开发的模型部署平台上进行时间测试当前的测试环境为CPU: Intel(R) Core(TM) Ultra 9 288VIGPU: Intel(R) Arc(TM) 140V GPU (16GB)NPU: Intel(R) AI Boost在同一环境下对其中一些模型进行了测试如下表所示Model Name OpenVINO CPU OpenVINO IGPU OpenVINO NPU ONNX Runtime CPU ONNX Runtime OpenVINO CPU ONNX Runtime DirectML IGPUYOLOv5s-det 16.84 FPS 60.23 FPS 48.36 FPS 21.06 FPS 16.80 FPS 40.11 FPSYOLOv5-seg 8.91 FPS 21.24 FPS 20.11 FPS 10.86 FPS 8.56 FPS 16.54 FPSYOLOv8s-det 12.02 FPS 67.74 FPS 51.84 FPS 14.84 FPS 11.52 FPS 36.38 FPSYOLOv8s-seg 6.30 FPS 15.96 FPS 14.09 FPS 7.17 FPS 6.24 FPS 12.71 FPSYOLOv8s-obb 4.61 FPS 35.13 FPS 20.02 FPS 5.62 FPS 4.56 FPS 15.80 FPSYOLOv11s-det 13.48 FPS 62.40 FPS 53.51 FPS 15.71 FPS 13.41 FPS 38.83 FPSYOLOv11s-seg 6.64 FPS 16.18 FPS 14.46 FPS 7.55 FPS 6.59 FPS 12.74 FPSYOLOv11s-obb 5.58 FPS 33.14 FPS 19.99 FPS 6.35 FPS 5.56 FPS 17.87 FPS以上便是基于DeploySharp 开发的深度学习模型部署测试平台的安装和使用教程。最后如果各位开发者在使用中有任何问题欢迎大家与我联系。