? 最近YOLO家族又添新成員：YOLOv10，YOLOv10 提出了一種一致的雙任務(wù)方法，用于無nms訓(xùn)練的YOLOs，它同時(shí)帶來了具有競(jìng)爭(zhēng)力的性能和較低的推理延遲。此外，還介紹了整體效率-精度驅(qū)動(dòng)的模型設(shè)計(jì)策略,從效率和精度兩個(gè)角度對(duì)YOLOs的各個(gè)組成部分進(jìn)行了全面優(yōu)化，大大降低了計(jì)算開銷，增強(qiáng)了性能。在本文中，我們將結(jié)合OpenVINO? C# API 使用最新發(fā)布的OpenVINO? 2024.1部署YOLOv10 目標(biāo)檢測(cè)模型

? OpenVINO? C# API項(xiàng)目鏈接：

https://github.com/guojin-yan/OpenVINO-CSharp-API.git

? 使用 OpenVINO? C# API 部署 YOLOv10 全部源碼：

https://github.com/guojin-yan/OpenVINO-CSharp-API-Samples/blob/master/model_samples/yolov10/

1. 前言

1.1 OpenVINO? C# API

? 英特爾發(fā)行版 OpenVINO? 工具套件基于 oneAPI 而開發(fā)，可以加快高性能計(jì)算機(jī)視覺和深度學(xué)習(xí)視覺應(yīng)用開發(fā)速度工具套件，適用于從邊緣到云的各種英特爾平臺(tái)上，幫助用戶更快地將更準(zhǔn)確的真實(shí)世界結(jié)果部署到生產(chǎn)系統(tǒng)中。通過簡化的開發(fā)工作流程，OpenVINO? 可賦能開發(fā)者在現(xiàn)實(shí)世界中部署高性能應(yīng)用程序和算法。

? 2024年4月25日，英特爾發(fā)布了開源 OpenVINO? 2024.1 工具包，用于在各種硬件上優(yōu)化和部署人工智能推理。更新了更多的 Gen AI 覆蓋范圍和框架集成，以最大限度地減少代碼更改。同時(shí)提供了更廣泛的 LLM 模型支持和更多的模型壓縮技術(shù)。通過壓縮嵌入的額外優(yōu)化減少了 LLM 編譯時(shí)間，改進(jìn)了采用英特爾?高級(jí)矩陣擴(kuò)展 （Intel? AMX） 的第 4 代和第 5 代英特爾?至強(qiáng)?處理器上 LLM 的第 1 令牌性能。通過對(duì)英特爾?銳炫? GPU 的 oneDNN、INT4 和 INT8 支持，實(shí)現(xiàn)更好的 LLM 壓縮和改進(jìn)的性能。最后實(shí)現(xiàn)了更高的可移植性和性能，可在邊緣、云端或本地運(yùn)行 AI。

? OpenVINO? C# API 是一個(gè) OpenVINO? 的 .Net wrapper，應(yīng)用最新的 OpenVINO? 庫開發(fā)，通過 OpenVINO? C API 實(shí)現(xiàn) .Net 對(duì) OpenVINO? Runtime 調(diào)用，使用習(xí)慣與 OpenVINO? C++ API 一致。OpenVINO? C# API 由于是基于 OpenVINO? 開發(fā)，所支持的平臺(tái)與 OpenVINO? 完全一致，具體信息可以參考 OpenVINO?。通過使用 OpenVINO? C# API，可以在 .NET、.NET Framework等框架下使用 C# 語言實(shí)現(xiàn)深度學(xué)習(xí)模型在指定平臺(tái)推理加速。

1.2 YOLOv10

? 在過去的幾年里，由于在計(jì)算成本和檢測(cè)性能之間取得了有效的平衡，YOLOs已經(jīng)成為實(shí)時(shí)目標(biāo)檢測(cè)領(lǐng)域的主導(dǎo)范式。然而，對(duì)非最大抑制(NMS)的后處理依賴阻礙了yolo的端到端部署，并對(duì)推理延遲產(chǎn)生不利影響。為了解決這些問題，首先提出了一種一致的雙任務(wù)方法，用于無nms訓(xùn)練的YOLOs，它同時(shí)帶來了具有競(jìng)爭(zhēng)力的性能和較低的推理延遲。此外，我們還介紹了整體效率-精度驅(qū)動(dòng)的模型設(shè)計(jì)策略。我們從效率和精度兩個(gè)角度對(duì)YOLOs的各個(gè)組成部分進(jìn)行了全面優(yōu)化，大大降低了計(jì)算開銷，增強(qiáng)了性能。我們的努力成果是用于實(shí)時(shí)端到端目標(biāo)檢測(cè)的新一代YOLO系列，稱為YOLOv10。大量的實(shí)驗(yàn)表明，YOLOv10在各種模型尺度上都達(dá)到了最先進(jìn)的性能和效率。例如，我們的YOLOv10-S在COCO上類似的AP下比RT-DETR-R18快1.8倍，同時(shí)參數(shù)數(shù)量和FLOPs減少2.8倍。與YOLOv9-C相比，在相同性能下，YOLOv10-B的延遲減少了46%，參數(shù)減少了25%。

? 下圖為YOLOv10官方提供的模型訓(xùn)練精度以及不同模型數(shù)據(jù)量，可以看出YOLOv10與之前其他系列相比，數(shù)據(jù)量在減少的同時(shí)，精度依舊有所提升。

2. 模型獲取

2.1 源碼下載

? YOLOv10 模型需要源碼進(jìn)行下載，首先克隆GitHub上的源碼，輸入以下指令：

git clone https://github.com/THU-MIG/yolov10.git
cd yolov10

2.2 配置環(huán)境

? 接下來安裝模型下載以及轉(zhuǎn)換環(huán)境，此處使用Anaconda進(jìn)行程序集管理，輸入以下指令創(chuàng)建一個(gè)yolov10環(huán)境：

conda create -n yolov10 python=3.9
conda activate yolov10
pip install -r requirements.txt
pip install -e .

? 然后安裝OpenVINO?環(huán)境，輸入以下指令：

pip install openvino==2024.1.0

2.3 下載模型

? 首先導(dǎo)出目標(biāo)識(shí)別模型，此處以官方預(yù)訓(xùn)練模型為例，首先下載預(yù)訓(xùn)練模型文件，然后調(diào)用yolo導(dǎo)出ONBNX格式的模型文件，最后使用 OpenVINO? 的模型轉(zhuǎn)換命令將模型轉(zhuǎn)為IR格式，依次輸入以下指令即可：

wget https://github.com/jameslahm/yolov10/releases/download/v1.0/yolov10s.pt
yolo export model=yolov10s.pt format=onnx opset=13 simplify
ovc yolov10s.onnx

? 模型的結(jié)構(gòu)如下圖所示：

3. Yolov10 項(xiàng)目配置

3.1 項(xiàng)目創(chuàng)建與環(huán)境配置

? 在Windows平臺(tái)開發(fā)者可以使用Visual Studio平臺(tái)開發(fā)程序，但無法跨平臺(tái)實(shí)現(xiàn)，為了實(shí)現(xiàn)跨平臺(tái)，此處采用dotnet指令進(jìn)行項(xiàng)目的創(chuàng)建和配置。

? 首先使用dotnet創(chuàng)建一個(gè)測(cè)試項(xiàng)目，在終端中輸入一下指令：

dotnet new console --framework net6.0 --use-program-main -o yolov10

? 此處以Windows平臺(tái)為例安裝項(xiàng)目依賴，首先是安裝OpenVINO? C# API項(xiàng)目依賴，在命令行中輸入以下指令即可：

dotnet add package OpenVINO.CSharp.API
dotnet add package OpenVINO.runtime.win
dotnet add package OpenVINO.CSharp.API.Extensions
dotnet add package OpenVINO.CSharp.API.Extensions.OpenCvSharp

? 關(guān)于在不同平臺(tái)上搭建 OpenVINO? C# API 開發(fā)環(huán)境請(qǐng)參考以下文章： 《在Windows上搭建OpenVINO?C#開發(fā)環(huán)境》 、《在Linux上搭建OpenVINO?C#開發(fā)環(huán)境》、《在MacOS上搭建OpenVINO?C#開發(fā)環(huán)境》

接下來安裝使用到的圖像處理庫 OpenCvSharp，在命令行中輸入以下指令即可：

dotnet add package OpenCvSharp4
dotnet add package OpenCvSharp4.Extensions
dotnet add package OpenCvSharp4.runtime.win

? 關(guān)于在其他平臺(tái)上搭建 OpenCvSharp 開發(fā)環(huán)境請(qǐng)參考以下文章：《【OpenCV】在Linux上使用OpenCvSharp》 、《【OpenCV】在MacOS上使用OpenCvSharp》

添加完成項(xiàng)目依賴后，項(xiàng)目的配置文件如下所示：

<Project Sdk="Microsoft.NET.Sdk"><PropertyGroup><OutputType>Exe</OutputType><TargetFramework>net6.0</TargetFramework><ImplicitUsings>enable</ImplicitUsings><Nullable>enable</Nullable></PropertyGroup><ItemGroup><PackageReference Include="OpenCvSharp4" Version="4.9.0.20240103" /><PackageReference Include="OpenCvSharp4.Extensions" Version="4.9.0.20240103" /><PackageReference Include="OpenCvSharp4.runtime.win" Version="4.9.0.20240103" /><PackageReference Include="OpenVINO.CSharp.API" Version="2024.0.0.1" /><PackageReference Include="OpenVINO.CSharp.API.Extensions.OpenCvSharp" Version="1.0.4" /><PackageReference Include="OpenVINO.runtime.win" Version="2024.0.0.1" /></ItemGroup></Project>

3.2 定義模型預(yù)測(cè)方法

? 使用 OpenVINO? C# API 部署模型主要包括以下幾個(gè)步驟：

• 初始化 OpenVINO Runtime Core
• 讀取本地模型（將圖片數(shù)據(jù)預(yù)處理方式編譯到模型）
• 將模型編譯到指定設(shè)備
• 創(chuàng)建推理通道
• 處理圖像輸入數(shù)據(jù)
• 設(shè)置推理輸入數(shù)據(jù)
• 模型推理
• 獲取推理結(jié)果
• 處理結(jié)果數(shù)據(jù)

3.2.1 定義目標(biāo)檢測(cè)模型方法

? 按照 OpenVINO? C# API 部署深度學(xué)習(xí)模型的步驟，編寫YOLOv10模型部署流程，在之前的項(xiàng)目里，我們已經(jīng)部署了YOLOv5~9等一系列模型，其部署流程是基本一致的，YOLOv10模型部署代碼如下所示：

static void yolov10_det(string model_path, string image_path, string device)
{// -------- Step 1. Initialize OpenVINO Runtime Core --------Core core = new Core();// -------- Step 2. Read inference model --------Model model = core.read_model(model_path);OvExtensions.printf_model_info(model);// -------- Step 3. Loading a model to the device --------CompiledModel compiled_model = core.compile_model(model, device);// -------- Step 4. Create an infer request --------InferRequest infer_request = compiled_model.create_infer_request();// -------- Step 5. Process input images --------Mat image = new Mat(image_path); // Read image by opencvsharpint max_image_length = image.Cols > image.Rows ? image.Cols : image.Rows;Mat max_image = Mat.Zeros(new OpenCvSharp.Size(max_image_length, max_image_length), MatType.CV_8UC3);Rect roi = new Rect(0, 0, image.Cols, image.Rows);image.CopyTo(new Mat(max_image, roi));float factor = (float)(max_image_length / 640.0);// -------- Step 6. Set up input data --------Tensor input_tensor = infer_request.get_input_tensor();Shape input_shape = input_tensor.get_shape();Mat input_mat = CvDnn.BlobFromImage(max_image, 1.0 / 255.0, new OpenCvSharp.Size(input_shape[2], input_shape[3]), 0, true, false);float[] input_data = new float[input_shape[1] * input_shape[2] * input_shape[3]];Marshal.Copy(input_mat.Ptr(0), input_data, 0, input_data.Length);input_tensor.set_data<float>(input_data);// -------- Step 7. Do inference synchronously --------infer_request.infer();// -------- Step 8. Get infer result data --------Tensor output_tensor = infer_request.get_output_tensor();int output_length = (int)output_tensor.get_size();float[] output_data = output_tensor.get_data<float>(output_length);// -------- Step 9. Process reault  --------List<Rect> position_boxes = new List<Rect>();List<int> class_ids = new List<int>();List<float> confidences = new List<float>();// Preprocessing output resultsfor (int i = 0; i < output_data.Length / 6; i++){int s = 6 * i;if ((float)output_data[s + 4] > 0.5){float cx = output_data[s + 0];float cy = output_data[s + 1];float dx = output_data[s + 2];float dy = output_data[s + 3];int x = (int)((cx) * factor);int y = (int)((cy) * factor);int width = (int)((dx - cx) * factor);int height = (int)((dy - cy) * factor);Rect box = new Rect();box.X = x;box.Y = y;box.Width = width;box.Height = height;position_boxes.Add(box);class_ids.Add((int)output_data[s + 5]);confidences.Add((float)output_data[s + 4]);}}for (int i = 0; i < class_ids.Count; i++){int index = i;Cv2.Rectangle(image, position_boxes[index], new Scalar(0, 0, 255), 2, LineTypes.Link8);Cv2.Rectangle(image, new OpenCvSharp.Point(position_boxes[index].TopLeft.X, position_boxes[index].TopLeft.Y + 30),new OpenCvSharp.Point(position_boxes[index].BottomRight.X, position_boxes[index].TopLeft.Y), new Scalar(0, 255, 255), -1);Cv2.PutText(image, class_ids[index] + "-" + confidences[index].ToString("0.00"),new OpenCvSharp.Point(position_boxes[index].X, position_boxes[index].Y + 25),HersheyFonts.HersheySimplex, 0.8, new Scalar(0, 0, 0), 2);}string output_path = Path.Combine(Path.GetDirectoryName(Path.GetFullPath(image_path)),Path.GetFileNameWithoutExtension(image_path) + "_result.jpg");Cv2.ImWrite(output_path, image);Slog.INFO("The result save to " + output_path);Cv2.ImShow("Result", image);Cv2.WaitKey(0);
}

3.2.2 使用OpenVINO? 預(yù)處理接口編譯模型

? OpenVINO?提供了推理數(shù)據(jù)預(yù)處理接口，用戶可以更具模型的輸入數(shù)據(jù)預(yù)處理方式進(jìn)行設(shè)置。在讀取本地模型后，調(diào)用數(shù)據(jù)預(yù)處理接口，按照模型要求的數(shù)據(jù)預(yù)處理方式進(jìn)行輸入配置，然后再將配置好的預(yù)處理接口與模型編譯到一起，這樣便實(shí)現(xiàn)了將模型預(yù)處理與模型結(jié)合在一起，實(shí)現(xiàn)OpenVINO對(duì)于處理過程的加速。主要是現(xiàn)在代碼如下所示：

static void yolov10_det_process(string model_path, string image_path, string device)
{// -------- Step 1. Initialize OpenVINO Runtime Core --------Core core = new Core();// -------- Step 2. Read inference model --------Model model = core.read_model(model_path);OvExtensions.printf_model_info(model);PrePostProcessor processor = new PrePostProcessor(model);Tensor input_tensor_pro = new Tensor(new OvType(ElementType.U8), new Shape(1, 640, 640, 3));InputInfo input_info = processor.input(0);InputTensorInfo input_tensor_info = input_info.tensor();input_tensor_info.set_from(input_tensor_pro).set_layout(new Layout("NHWC")).set_color_format(ColorFormat.BGR);PreProcessSteps process_steps = input_info.preprocess();process_steps.convert_color(ColorFormat.RGB).resize(ResizeAlgorithm.RESIZE_LINEAR).convert_element_type(new OvType(ElementType.F32)).scale(255.0f).convert_layout(new Layout("NCHW"));Model new_model = processor.build();// -------- Step 3. Loading a model to the device --------CompiledModel compiled_model = core.compile_model(new_model, device);// -------- Step 4. Create an infer request --------InferRequest infer_request = compiled_model.create_infer_request();// -------- Step 5. Process input images --------Mat image = new Mat(image_path); // Read image by opencvsharpint max_image_length = image.Cols > image.Rows ? image.Cols : image.Rows;Mat max_image = Mat.Zeros(new OpenCvSharp.Size(max_image_length, max_image_length), MatType.CV_8UC3);Rect roi = new Rect(0, 0, image.Cols, image.Rows);image.CopyTo(new Mat(max_image, roi));Cv2.Resize(max_image, max_image, new OpenCvSharp.Size(640, 640));float factor = (float)(max_image_length / 640.0);// -------- Step 6. Set up input data --------Tensor input_tensor = infer_request.get_input_tensor();Shape input_shape = input_tensor.get_shape();byte[] input_data = new byte[input_shape[1] * input_shape[2] * input_shape[3]];//max_image.GetArray<int>(out input_data);Marshal.Copy(max_image.Ptr(0), input_data, 0, input_data.Length);IntPtr destination = input_tensor.data();Marshal.Copy(input_data, 0, destination, input_data.Length);// -------- Step 7. Do inference synchronously --------... ...(后續(xù)與上文代碼一致)
}

3.2 模型預(yù)測(cè)方法調(diào)用

? 定義完模型推理接口后，便可以在主函數(shù)里進(jìn)行調(diào)用。此處為了讓大家更好的復(fù)現(xiàn)本文代碼，提供了在線模型，用戶只需要運(yùn)行以下代碼，便可以直接下載轉(zhuǎn)換好的模型進(jìn)行模型推理，無需再自行轉(zhuǎn)換，主函數(shù)代碼如下所示：

static void Main(string[] args)
{string model_path = "";string image_path = "";string device = "AUTO";if (args.Length == 0){if (!Directory.Exists("./model")){Directory.CreateDirectory("./model");}if (!File.Exists("./model/yolov10s.bin") && !File.Exists("./model/yolov10s.bin")){if (!File.Exists("./model/yolov10s.tar")){_ = Download.download_file_async("https://github.com/guojin-yan/OpenVINO-CSharp-API-Samples/releases/download/Model/yolov10s.tar","./model/yolov10s.tar").Result;}Download.unzip("./model/yolov10s.tar", "./model/");}if (!File.Exists("./model/test_image.jpg")){_ = Download.download_file_async("https://github.com/guojin-yan/OpenVINO-CSharp-API-Samples/releases/download/Image/test_det_02.jpg","./model/test_image.jpg").Result;}model_path = "./model/yolov10s.xml";image_path = "./model/test_image.jpg";}else if (args.Length >= 2){model_path = args[0];image_path = args[1];device = args[2];}else{Console.WriteLine("Please enter the correct command parameters, for example:");Console.WriteLine("> 1. dotnet run");Console.WriteLine("> 2. dotnet run <model path> <image path> <device name>");}// -------- Get OpenVINO runtime version --------OpenVinoSharp.Version version = Ov.get_openvino_version();Slog.INFO("---- OpenVINO INFO----");Slog.INFO("Description : " + version.description);Slog.INFO("Build number: " + version.buildNumber);Slog.INFO("Predict model files: " + model_path);Slog.INFO("Predict image  files: " + image_path);Slog.INFO("Inference device: " + device);Slog.INFO("Start yolov8 model inference.");//yolov10_det(model_path, image_path, device);yolov10_det_process(model_path, image_path, device);
}

代碼提示：

? 由于篇幅限制，上文中只展示了部分代碼，想要獲取全部源碼，請(qǐng)?jiān)L問項(xiàng)目GitHub自行下載：

? 使用OpenVINO? C# API部署YOLOv10目標(biāo)檢測(cè)模型：

https://github.com/guojin-yan/OpenVINO-CSharp-API-Samples/blob/master/model_samples/yolov10/yolov10_det_opencvsharp/Program.cs

此外為了滿足習(xí)慣使用EmguCV處理圖像數(shù)據(jù)的開發(fā)者，此處我們也提供了EmguCV版本代碼：、

? 使用OpenVINO? C# API部署YOLOv10目標(biāo)檢測(cè)模型：

https://github.com/guojin-yan/OpenVINO-CSharp-API-Samples/blob/master/model_samples/yolov10/yolov10_det_emgucv/Program.cs

4. 項(xiàng)目運(yùn)行與演示

4.1 項(xiàng)目編譯和運(yùn)行

? 接下來輸入項(xiàng)目編譯指令進(jìn)行項(xiàng)目編譯，輸入以下指令即可：

dotnet build

? 接下來運(yùn)行編譯后的程序文件，在CMD中輸入以下指令，運(yùn)行編譯后的項(xiàng)目文件：

dotnet run --no-build

運(yùn)行后項(xiàng)目輸出為：

4.2 YOLOv10 目標(biāo)檢測(cè)模型運(yùn)行結(jié)果

? 下圖為YOLOv10 目標(biāo)檢測(cè)模型運(yùn)行輸出信息，此處我們使用在線轉(zhuǎn)換好的模型進(jìn)行推理。，首先會(huì)下載指定模型以及推理數(shù)據(jù)到本地，這樣避免了開發(fā)者在自己配置環(huán)境和下載模型；接下來是輸出打印 OpenVINO? 版本信息，此處我們使用NuGet安裝的依賴項(xiàng)，已經(jīng)是OpenVINO? 2024.0最新版本；接下來就是打印相關(guān)的模型信息，并輸出每個(gè)過程所消耗時(shí)間。

? 下圖為使用YOLOv10 目標(biāo)檢測(cè)模型推理結(jié)果：

5. 總結(jié)

? 在該項(xiàng)目中，我們結(jié)合之前開發(fā)的 OpenVINO? C# API 項(xiàng)目部署YOLOv10模型，成功實(shí)現(xiàn)了對(duì)象目標(biāo)檢測(cè)與實(shí)例分割，并且根據(jù)不同開發(fā)者的使用習(xí)慣，同時(shí)提供了OpenCvSharp以及Emgu.CV兩種版本，供各位開發(fā)者使用。最后如果各位開發(fā)者在使用中有任何問題，歡迎大家與我聯(lián)系。