- 博客(42)
- 收藏
- 关注
RSS订阅
原创 【ZhangQian AI模型部署】目标检测、SAM、3D目标检测、旋转目标检测、人脸检测、检测分割、关键点、分割、深度估计、车牌识别、车道线识别
【yolov10 部署 rknn、地平线、tensorRT、C++】【yolo world 部署 rknn、地平线、tensorRT、C++】【yolov9 部署 rknn、地平线、tensorRT、C++】【yolov8 部署 rknn、地平线、tensorRT、C++】【yolov7 部署 rknn、地平线、tensorRT】【yolov6 部署rknn、地平线、tensorRT、caffe】【yolov5 部署 rknn、地平线、tensorRT、caffe】【DETR 部署 tensorRT、C++
2024-07-11 19:55:57
1998
3
原创 yolov11、yolov8部署的7种方法（yolov11、yolov8部署rknn的7种方法），一天一种部署方法，7天入门部署
本博客对 yolov11（yolov8）尝试了7种不同的部署方法，在最基础的模型上一步一步的去掉解码相关的操作（移到后处理种进行），直到不能再删减，保留到模型最本质的部分。随着解码相关的操作越来越多的移入后处理，模型的推理的时耗在减少，后处理的时耗在增加；但也随着解码操作从模型种移除，量化的效果也在逐步变好。对每种方法的优势进行了简单总结，不同的平台、不同的时耗或CPU占用需求，总有一种方法是适用的。当然对想了解部署的也是一个很好的参考学习资料。春节期间一天一种部署方法，这个春节收获满满。
2025-01-31 22:33:54
2082
6
原创 基于点云的 3D 目标检测模型 PointPillars 部署 tensorRT
一直想折腾一下基于点云的目标检测模型，但由于没有实际项目或工作需要，搞也搞的不够深入，把开源的模型跑一下似乎好像做过又好像没有做过。内心一直想搞一下，选定了 PointPillars 这个经典基础的模型，经过一段时间多次放弃与再折腾一下，终于算是自认为折腾明了了。本示例中对 pillar 的计算流程用numpy进行了实现，对后处理的mns用一个2D的nms近似代替（只为验证模型结果是对的，不可实际使用）。例中包含完整的：测试脚本代码、模型、测试数据、测试结果。
2024-11-12 20:52:34
690
2
原创 RT-DETR-V2 TensorRT C++ 部署
RT-DETRv2 tensorrt C++ 部署本示例中，包含完整的代码、模型、测试图片、测试结果。TensorRT版本：TensorRT-8.6.1.6。
2024-10-29 22:07:08
1052
1
原创 yolov11 部署 TensorRT，预处理和后处理用 C++ cuda 加速，速度快到飞起
本示例中，包含完整的代码、模型、测试图片、测试结果。后处理部分用cuda 核函数实现，并不是全部后处理都用cuda实现；纯cpu实现后处理部分代码分支。
2024-10-19 12:39:00
5406
10
原创 yolov11 部署瑞芯微rk3588、RKNN部署工程难度小、模型推理速度快
yolov8还没玩溜，yolov11又来了，那么部署也又来了。完整代码：包括onnx转rknn和测试代码、rknn板端部署C++代码。
2024-10-06 09:10:26
7053
51
原创 yolov8pose 部署rknn（rk3588）、部署地平线Horizon、部署TensorRT，部署工程难度小、模型推理速度快，DFL放后处理中
模型和完整仿真测试代码，放在github上参考链接。之前写了yolov8、yolov8seg、yolov8obb 的 DFL 放在模型中和放在后处理中的两种不同部署方法（推荐放在后处理中）；而yolov8pose只写了一篇放在模型中，有网友希望写一篇放在后处理中的，yolov8pose的DFL放在后处理中的博客来了。
2024-07-29 14:08:30
1857
18
原创 yolov8obb 旋转目标检测 瑞芯微 rknn rk3588 部署 C++代码
yolov8obb 旋转目标检测rknn的C++部署。直接上代码和模型，欢迎参考交流。
2024-07-16 10:19:21
1551
13
原创 LPRNet 车牌识别部署 rk3588（pt-onnx-rknn）包含各个步骤完整代码
虽然车牌识别技术很成熟了，但完全没有接触过。一直想搞一下、整一下、试一下、折腾一下，工作之余找了一个简单的例子入个门。本博客简单记录一下 LPRNet 车牌识别部署 rk3588流程，训练参考 LPRNet 官方代码。1、导出onnx导出onnx很容易，在推理时加入保存onnx代码，但用onnx推理时发现推理识别，有算子onnx推理时不支持，看了一下不支持的操作 nn.MaxPool3d() ，查了一下资料有等价的方法，用等价方法替换后推理结果是一致的。保存onnx代码。
2024-07-11 17:57:37
1447
原创 单目深度估计部署 rk3588
搞了一小段时间的单目深度估计，目标是在板端部署用起来，但由于基于开源数据或开源模型，将模型估计的相对深度转换成绝对深度误差非常大（或许是转换方法有问题），另一方面如何具体的在项目中很好的用起来还没考虑到很好的用法，因此暂且先束之高阁。本博客简单记录一下部署流程。尝试过MiDaS的midas_v21_384模型和 AdelaiDepth 模型，没有rk不支持的算子，直接导出onnx，转换rknn，上板子测试。
2024-07-09 14:13:32
1237
1
原创 UNetMultiLane 多车道线、车道线类型识别【训练+部署】
基于UNet 分割模型增加了检测头来识别车道线的类型（单实线、双黄线等10种），同时可以识别出"所在车道"和"车道线类型"。训练代码。
2024-06-11 10:34:11
1503
9
原创 yolov8-obb 旋转目标检测 瑞芯微RKNN芯片部署、地平线Horizon芯片部署、TensorRT部署
模型和完整仿真测试代码，放在github上参考链接。折腾旋转目标检测的小伙伴们看过来，yolov8旋转目标检测部署来了。
2024-06-04 11:24:53
2314
26
原创 yolov10 瑞芯微RKNN、地平线Horizon芯片部署、TensorRT部署，部署工程难度小、模型推理速度快
模型和完整仿真测试代码，放在github上参考链接。yolov8、v9还没玩热乎，这不yolov10又来了，那么部署也又来了。
2024-05-27 15:57:05
3781
36
原创 Monodle centerNet3D 瑞芯微RKNN、地平线Horizon芯片部署、TensorRT部署
monodle、3D目标检测、centerNet
2024-05-24 17:59:10
864
原创 CenterNet 瑞芯微RKNN、地平线Horizon芯片部署、TensorRT部署、C++部署
本来想部署基于CenterNet的单目3D目标检测，看到3D后处理感觉有点复杂，觉得还是需要把CenterNet 给手撸一遍，再去梳理3D的后处理，花了一点时时间看懂CenterNet后处理后，直接上手开撸。【完整代码】【rknn C++板端部署】
2024-05-22 16:38:50
535
1
原创 FastSAM 部署 rknn
基于yolov8(ultralytics)工程导出的FastSAM的onnx模型，后处理和yolov8seg是一样的。模型和完整测试。
2024-05-21 15:50:13
1246
4
原创 yolov8seg 瑞芯微RKNN、地平线Horizon芯片部署、TensorRT部署，部署工程难度小、模型推理速度快
之前写过yolov8seg部署，但在实际项目中没有真正的用，最近有项目尝试使用yolov8seg，把之前的yolov8目标检测的优化给同步到yolov8seg中。模型和完整仿真测试代码，放在github上参考链接。
2024-05-20 15:44:25
1437
8
原创 yolo world tensorRT 的 C++ 部署
本示例中，包含完整的代码、模型、测试图片、测试结果。完整的代码、模型、测试图片、测试结果TensorRT版本：TensorRT-7.1.3.4。
2024-05-07 14:57:36
1078
6
原创 yolo world 瑞芯微芯片rknn部署、地平线芯片Horizon部署、TensorRT部署
模型和完整仿真测试代码，放在github上参考链接。yoloworld出来的有一段时间了，还没有盘到板端上玩一玩，不把这个给整落地工作都干不起劲。落地过程也是一波三折多次想放弃，起早赶晚的抽时间干，再试一次，再试最后一次，再试最最后一次。。。yoloworld 环境搭建都折腾了三次，转onnx也折腾了三次，上rknn板子又是三次（尝试rknn_toolkit2-1.3.0、rknn_toolkit2-1.6.0运行报错，最终用的rknn_toolkit2-2.0.0运行成功），折腾的都快口吐鲜血了。
2024-05-07 14:50:23
2274
31
原创 yolov9 tensorRT 的 C++ 部署
yolov9 tensorRT C++部署。本示例中，包含完整的代码、模型、测试图片、测试结果。TensorRT版本：TensorRT-7.1.3.4。
2024-02-28 09:46:30
1073
原创 yolov9 瑞芯微芯片rknn部署、地平线芯片Horizon部署、TensorRT部署
模型和完整仿真测试代码，放在github上参考链接。之前写过yolov8检测、分割、关键点模型的部署的多篇博文，yolov8还没玩溜，这不yolov9又来了。yolov9刚出来两三天，有朋友就问：yolov9都出来好几天了，怎么没有见到你写一篇部署博客呢。其实yolov9出来两三天，说实话还是通过朋友提示才知道的。一直想抽时间把yolov9部署给盘一下，奈何一拖就又是好几天。这两天抽时间先把这个yolov9给盘完。
2024-02-27 15:16:46
3009
19
原创 yolov8 瑞芯微 RKNN 的 C++部署，部署工程难度小、模型推理速度快
之前写过两次yolov8目标检测部署，后续继续思考，针对部署还有优化空间，本示例的部署方式优化了部署难度，加快了模型推理速度（略微增加了后处理的时耗）。【完整代码】
2024-01-11 12:24:27
4847
19
原创 yolov8n 瑞芯微RKNN、地平线Horizon芯片部署、TensorRT部署，部署工程难度小、模型推理速度快
模型和完整仿真测试代码，放在github上参考链接。因为之前写了几篇yolov8模型部署的博文，存在两个问题：部署难度大、模型推理速度慢。该篇解决了这两个问题，且是全网部署难度最小、模型运行速度最快的部署方式。相对之前写的一篇【】将DFL写在后处理中模型加速了，针对后处理进行优化后时耗略微增加。
2024-01-11 11:47:54
6884
82
原创 DETR tensorRT部署去除推理过程无用辅助头+fp16部署再次加速+解决转tensorrt 输出全为0问题的新方法
转tensorrt 输出全为 0 的可能的本质原因：（1）Gather的参数中的取最后一个维度数据用的是自动推断的-1，可能是算子不支持，需改成指定的维度；后来就琢磨这个事情，既然只取最后一个头的结果，那么中间的头完全可以不要，这样就可以不使用Gather操作，且可以加快模型的推理速度。基于本示例导出的onnx模型转tensorRT，对比使用float32和float16转出来的模型大小明显变小，推理速度也明显加快。（2）对比原始模型导出tensonRT的速度和本示例导出的导出tensonRT的速度；
2024-01-09 15:07:44
2040
1
原创 DETR tensorRT 部署
模型、测试图像、转换tensorrt（tensorRT-7.2.3.4）代码、测试tensorrt代码，放在github上参考链接。说明：（1）本示例提供的模型只检测行人，由于训练的时类别写成了3，因此模型输出结果只有第二类说有效的。（2）本示例不涉及模型训练，训练自己数据可以参考网上教程。我第一次训练没有使用预训练权重，导致模型不收敛最终的AP全为0；第二次加载预训练模型才收敛，加载预训练权重参考网上提供的将模型输出适配成自己的类别。（3）解决转tensorrt 输出全为 0 的问题。
2024-01-08 15:44:47
1045
1
原创 yolov8 tensorRT 的 C++ 部署
前几篇写了 yolov8 相关的 瑞芯微rknn、地平线Horizon 的仿真和C++相关的部署，以及tensorRT的python版本部署，本篇说说tensorRT 的 C++ 部署。所使用的模型是基于前几篇导出的onnx模型，导出onnx方式参考。TensorRT版本：TensorRT-7.1.3.4导出适配本实例的onnx模型参考。编译前修改 CMakeLists.txt 对应的TensorRT版本。
2023-11-29 16:13:06
1943
2
原创 yolov8 瑞芯微RKNN和地平线Horizon芯片仿真测试部署-2023年11月15日版本
由于yolov8的官方代码结构进行了很大的调整，之前yolov8刚出来的时候写的部署博客，有网友反馈找不到对应的地方，基于截至2023年11月官方最新代码结构进行部署博客来了。之前给出过完整的部署仿真代码和模型，今天只对如何导出能上板端芯片，且效率高的流程进行梳理。模型和完整仿真测试代码，放在github上参考链接。
2023-11-16 12:05:28
2350
44
原创 yolov8seg 瑞芯微 RKNN 的 C++部署
上两篇博客和写了yolov8检测的C++部署和yolov8pose的C++部署。不把yolov8seg的C++部署写一下凑齐，工作都提不起干劲，奈何总有那么多的执拗，说干就干。这一篇写一下基于rknn板子对yolov8seg进行C++部署，开源并提供完整的代码、模型、使用流程，供网友自行进行测试验证。【完整代码】
2023-09-28 10:18:06
1311
27
原创 yolov8pose 瑞芯微 RKNN 的 C++部署
上两篇博客和写了yolov8检测的C++部署和yolov8pose仿真部署。有网友希望开源yolov8pose在板子上部署的C++代码。这一篇写写基于rknn板子对yolov8pose进行C++部署，并开源提供完整的代码、模型、使用流程，供网友自行进行测试验证。【完整代码】
2023-09-25 10:35:50
4486
11
原创 yolov8pose 瑞芯微RKNN芯片、地平线Horizon芯片、TensorRT部署
模型、测试图像、测试结果、完整代码，放在github上，。由于之前写了几篇yolov8检测、分割相关的板端芯片部署相关的博文，有网友让写一篇yolov8pose部署博客，yolov8pose的部署来了。特别说明。
2023-07-21 18:13:12
5515
46
原创 yolov8seg 瑞芯微RKNN芯片、地平线Horizon芯片、TensorRT部署
由于之前写了几篇yolov8检测部署板端芯片相关的博文，有网友让写一篇yolov8seg部署博客，一直迟迟未行动，最近忙中借闲匆匆对yolov8seg进行了梳理，完成了这篇yolov8seg部署验证和测试。yolov8seg 还需处理mask系数，同时分割结果还需乘以系数，使得对板端部署不是很友好。模型、测试图像、测试结果、完整代码，放在github上，参考链接。
2023-07-06 11:31:52
4455
29
原创 yolov8 瑞芯微 RKNN 的 C++部署
上一篇博客写了在rknn模型的转换与PC端仿真测试，有网友希望写一篇在板子上部署的博文和开源提供C++代码。这一篇基于rknn板子进行C++部署，并开源提供完整的源代码和模型，供网友自行进行测试验证。
2023-06-09 16:54:20
11209
67
原创 yolov8 官方模型进行瑞芯微RKNN和地平线Horizon芯片仿真测试部署
由于之前写了一篇 ”yolov8 瑞芯微RKNN和地平线Horizon芯片仿真测试部署“ 这一篇导出的onnx模型在板端芯片部署效率非常高的，高效率体现在模型的所有操作都在加速引擎（NPU或BUP）上，模型推理没有CPU和板端加速引擎的切换，且后处理对一些维度变换直接用了索引的方式，没有额外的维度变换操作。但是工程部署难道相对大一些，有网友希望提供一个基于官方导出的onnx进行板端部署，因此本篇就基于 yolov8 官方导出onnx的方式，进行模型进行芯片部署和仿真测试。
2023-05-18 20:30:47
4795
31
原创 yolov7 瑞芯微RKNN、地平线Horizon芯片部署、TensorRT部署
yolov7 瑞芯微RKNN和地平线Horizon芯片仿真测试部署
2023-02-21 11:06:36
2282
1
原创 yolov8 瑞芯微RKNN和地平线Horizon芯片仿真测试部署
yolov8 瑞芯微RKNN和地平线Horizon芯片仿真测试部署。包含模型、测试图片和完整测试代码。跟上技术的步伐，yolov8 首个板端芯片部署。
2023-02-07 15:05:58
14563
98
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人