課程概述

此企業(yè)內(nèi)訓(xùn)課程“Nvidia智算中心的深度技術(shù)研修”專為某智算廠商研發(fā)中心設(shè)計(jì)，內(nèi)容涵蓋了從基礎(chǔ)設(shè)施構(gòu)建到高性能計(jì)算優(yōu)化的全方位技術(shù)要點(diǎn)。課程為期七天，分模塊詳細(xì)講解了NV算力資源的網(wǎng)絡(luò)架構(gòu)、存儲(chǔ)優(yōu)化、智算集群的建設(shè)與自動(dòng)化管理、NCCL通信優(yōu)化及分布式訓(xùn)練進(jìn)階等內(nèi)容，結(jié)合大量實(shí)際案例，深入探討各類(lèi)技術(shù)在智算中心中的應(yīng)用與最佳實(shí)踐。通過(guò)該課程，學(xué)員將全面掌握高效構(gòu)建和管理智算平臺(tái)的技能，為企業(yè)的AI和大數(shù)據(jù)應(yīng)用提供強(qiáng)有力的技術(shù)支持。

內(nèi)訓(xùn)目標(biāo)

掌握NV算力資源的網(wǎng)絡(luò)架構(gòu)與關(guān)鍵技術(shù)：了解Nvidia計(jì)算平臺(tái)下的高性能網(wǎng)絡(luò)解決方案，學(xué)習(xí)如何設(shè)計(jì)和優(yōu)化NVLink、Infiniband等網(wǎng)絡(luò)架構(gòu)，提高網(wǎng)絡(luò)流量管理與數(shù)據(jù)傳輸效率。

優(yōu)化大模型的存儲(chǔ)與計(jì)算性能：通過(guò)學(xué)習(xí)GPUDirectStorage等技術(shù)，掌握大模型訓(xùn)練和推理階段的存儲(chǔ)需求及優(yōu)化策略，提升數(shù)據(jù)讀寫(xiě)速度和存儲(chǔ)系統(tǒng)性能。

高效建設(shè)智算集群：學(xué)習(xí)基于Nvidia GPU的集群硬件選型與設(shè)計(jì)原則，掌握從集群建設(shè)、配置到實(shí)施的全流程管理技能，確保高效的集群構(gòu)建和運(yùn)維。

實(shí)現(xiàn)集群的自動(dòng)化部署與管理：通過(guò)掌握Ansible、Puppet等自動(dòng)化工具，提升大規(guī)模集群環(huán)境下的部署與管理效率，確保集群的穩(wěn)定性和可擴(kuò)展性。

掌握NCCL集合通信優(yōu)化與分布式訓(xùn)練技術(shù)：學(xué)習(xí)Nvidia NCCL通信庫(kù)的優(yōu)化方法及在分布式訓(xùn)練中的應(yīng)用，提升模型訓(xùn)練效率和系統(tǒng)整體性能。

提升智算中心的整體性能和穩(wěn)定性：通過(guò)測(cè)試方案與標(biāo)準(zhǔn)的學(xué)習(xí)，掌握智算中心軟硬件性能測(cè)試、故障管理與優(yōu)化技術(shù)，提高智算平臺(tái)的穩(wěn)定性和性能。

課程準(zhǔn)備及說(shuō)明

授課前1周，講師會(huì)對(duì)授課需要的硬件資源和軟件環(huán)境給出詳細(xì)的說(shuō)明和教程文檔。學(xué)員根據(jù)環(huán)境要求和教程文檔提前準(zhǔn)備好相應(yīng)的硬件資源和軟件環(huán)境。

課時(shí)安排

一共7天，每天6-7小時(shí)。

課程大綱

第一天：NV基礎(chǔ)設(shè)施關(guān)鍵技術(shù)

1.1NV算力資源的網(wǎng)絡(luò)關(guān)鍵技術(shù)和解決方案

• NV算力資源的網(wǎng)絡(luò)架構(gòu)：
  • 介紹基于Nvidia算力資源的網(wǎng)絡(luò)架構(gòu)，涵蓋NvidiaMellanox的高性能網(wǎng)絡(luò)解決方案。
  • 詳細(xì)分析Infiniband和以太網(wǎng)在NV算力集群中的應(yīng)用，比較其在性能、擴(kuò)展性和成本上的差異。
  • 探討網(wǎng)絡(luò)流量管理與優(yōu)化技術(shù)，分析網(wǎng)絡(luò)擁塞管理的典型案例。
• 高效數(shù)據(jù)傳輸技術(shù)：
  • NVLink和PCIe總線在高性能計(jì)算中的應(yīng)用。
  • 遠(yuǎn)程直接內(nèi)存訪問(wèn)（RDMA）技術(shù)在提升網(wǎng)絡(luò)傳輸效率中的作用。
  • 結(jié)合典型案例，分析網(wǎng)絡(luò)帶寬瓶頸及解決方案。

1.2基于NV算力資源的網(wǎng)絡(luò)組網(wǎng)設(shè)計(jì)

• 組網(wǎng)架構(gòu)設(shè)計(jì)：
  • 討論基于Nvidia算力資源的多種網(wǎng)絡(luò)組網(wǎng)架構(gòu)，包括星型、樹(shù)型、環(huán)形和混合架構(gòu)。
  • 基于實(shí)際案例講解組網(wǎng)設(shè)計(jì)過(guò)程中的注意事項(xiàng)和最佳實(shí)踐。
  • 介紹高性能計(jì)算集群中拓?fù)浣Y(jié)構(gòu)設(shè)計(jì)的要點(diǎn)，特別是在大規(guī)模集群中的應(yīng)用。
• 可擴(kuò)展性與冗余設(shè)計(jì)：
  • 分析如何在Nvidia算力環(huán)境中設(shè)計(jì)具有高擴(kuò)展性和高可用性的網(wǎng)絡(luò)架構(gòu)。
  • 討論冗余設(shè)計(jì)在確保網(wǎng)絡(luò)穩(wěn)定性中的作用，結(jié)合案例進(jìn)行分析。

1.3大模型全流程中存儲(chǔ)的要求

• 大模型存儲(chǔ)需求分析：
  • 探討大模型在訓(xùn)練和推理階段的存儲(chǔ)需求，包括數(shù)據(jù)集存儲(chǔ)、模型參數(shù)存儲(chǔ)和臨時(shí)數(shù)據(jù)存儲(chǔ)。
  • 結(jié)合Nvidia的GPUDirectStorage技術(shù)，分析如何優(yōu)化存儲(chǔ)系統(tǒng)以滿足大模型的需求。
• 存儲(chǔ)架構(gòu)規(guī)劃與性能優(yōu)化：
  • 介紹高性能存儲(chǔ)架構(gòu)的設(shè)計(jì)要點(diǎn)，涵蓋分布式存儲(chǔ)系統(tǒng)、對(duì)象存儲(chǔ)、文件系統(tǒng)的選擇與配置。
  • 結(jié)合實(shí)際案例，講解存儲(chǔ)系統(tǒng)在性能、擴(kuò)展性、可靠性等方面的優(yōu)化策略。

1.4基于NV算力存儲(chǔ)容量和性能規(guī)劃、基于NV算力存儲(chǔ)解決方案

• 存儲(chǔ)容量規(guī)劃：
  • 詳細(xì)介紹如何根據(jù)大模型的規(guī)模和數(shù)據(jù)量，規(guī)劃合理的存儲(chǔ)容量，避免資源浪費(fèi)和性能瓶頸。
  • 分析Nvidia算力環(huán)境中常見(jiàn)的存儲(chǔ)容量規(guī)劃方法，結(jié)合案例進(jìn)行詳細(xì)解釋。
• 存儲(chǔ)性能優(yōu)化：
  • 討論如何通過(guò)多級(jí)緩存、數(shù)據(jù)壓縮和分片等技術(shù)手段，提升存儲(chǔ)系統(tǒng)的整體性能。
  • 結(jié)合Nvidia的存儲(chǔ)解決方案，介紹如何優(yōu)化I/O性能，確保數(shù)據(jù)的高效存取。

第二-三天：基于英偉達(dá)GPU建設(shè)的智算集群建設(shè)

2.1英偉達(dá)環(huán)境的萬(wàn)卡集群建設(shè)交付案例

• 集群硬件選型與規(guī)劃：
  • 介紹萬(wàn)卡集群建設(shè)中常用的硬件選型，包括NvidiaA100、H100GPU，Infiniband網(wǎng)絡(luò)設(shè)備及高性能存儲(chǔ)設(shè)備。
  • 結(jié)合典型案例分析硬件選型對(duì)集群性能的影響。
• 集群建設(shè)流程：
  • 詳細(xì)講解從需求分析、硬件選型、集群設(shè)計(jì)到實(shí)施的全過(guò)程。
  • 結(jié)合實(shí)際項(xiàng)目案例，分析在集群建設(shè)中常見(jiàn)的問(wèn)題及其解決方案。

2.2大規(guī)模IB參數(shù)網(wǎng)建設(shè)與自動(dòng)化

• IB網(wǎng)絡(luò)的設(shè)計(jì)與部署：
  • 詳細(xì)講解Infiniband網(wǎng)絡(luò)在大規(guī)模集群中的應(yīng)用，包括拓?fù)湓O(shè)計(jì)、網(wǎng)絡(luò)配置及性能優(yōu)化。
  • 結(jié)合案例分析如何在實(shí)際部署中優(yōu)化IB網(wǎng)絡(luò)的參數(shù)配置以提升網(wǎng)絡(luò)性能。
• 自動(dòng)化部署與管理：
  • 介紹大規(guī)模IB網(wǎng)絡(luò)的自動(dòng)化部署工具和技術(shù)，包括Ansible、Puppet等配置管理工具的使用。
  • 探討如何通過(guò)自動(dòng)化工具實(shí)現(xiàn)集群的高效管理與運(yùn)維，結(jié)合實(shí)際案例講解自動(dòng)化管理的最佳實(shí)踐。

2.3硬集、軟集工作流程及注意事項(xiàng)

• 硬集與軟集的概念與區(qū)別：
  • 介紹硬集（硬件集群）與軟集（軟件集群）的基本概念及其應(yīng)用場(chǎng)景。
  • 結(jié)合實(shí)際案例分析在不同場(chǎng)景下選擇硬集或軟集的優(yōu)勢(shì)和挑戰(zhàn)。
• 硬集與軟集的工作流程：
  • 詳細(xì)講解硬集和軟集的配置、部署與管理流程。
  • 討論在集群交付過(guò)程中常見(jiàn)的注意事項(xiàng)，結(jié)合實(shí)際案例進(jìn)行分析。

2.4交付驗(yàn)收標(biāo)準(zhǔn)及評(píng)審注意事項(xiàng)

• 集群交付驗(yàn)收流程：
  • 介紹智算集群交付的標(biāo)準(zhǔn)流程，包括功能驗(yàn)收、性能測(cè)試及文檔交付。
  • 結(jié)合實(shí)際案例分析在集群交付過(guò)程中可能遇到的問(wèn)題及應(yīng)對(duì)策略。
• 評(píng)審標(biāo)準(zhǔn)與注意事項(xiàng)：
  • 詳細(xì)講解在集群交付評(píng)審過(guò)程中應(yīng)關(guān)注的關(guān)鍵點(diǎn)，包括系統(tǒng)穩(wěn)定性、性能指標(biāo)達(dá)標(biāo)情況及文檔完整性等。
  • 結(jié)合案例分析如何在評(píng)審過(guò)程中發(fā)現(xiàn)潛在問(wèn)題并及時(shí)解決。

第四天：基于英偉達(dá)環(huán)境的智算中心測(cè)試方案與標(biāo)準(zhǔn)

3.1智算集群整體測(cè)試方案

• 軟硬件測(cè)試方案：
  • 詳細(xì)講解智算集群的軟硬件測(cè)試方案，包括GPU性能測(cè)試、網(wǎng)絡(luò)帶寬測(cè)試、存儲(chǔ)性能測(cè)試等。
  • 結(jié)合案例分析如何制定合理的測(cè)試方案，確保測(cè)試結(jié)果的準(zhǔn)確性和可靠性。
• 模型部署與運(yùn)行操作實(shí)踐：
  • 介紹在智算集群中部署大模型的常見(jiàn)問(wèn)題和解決方案。
  • 結(jié)合案例進(jìn)行單機(jī)多卡、多機(jī)多卡的模型部署與運(yùn)行實(shí)踐操作演示，分析常見(jiàn)問(wèn)題及解決方案。

3.2智算集群交付測(cè)試標(biāo)準(zhǔn)

• 基線功能性能測(cè)試：
  • 介紹智算集群的基線功能和性能測(cè)試標(biāo)準(zhǔn)，包括計(jì)算性能、網(wǎng)絡(luò)性能、存儲(chǔ)性能的測(cè)試方法和評(píng)估標(biāo)準(zhǔn)。
  • 結(jié)合實(shí)際案例分析在基線測(cè)試過(guò)程中可能遇到的問(wèn)題及其解決方案。
• 模型測(cè)試全流程實(shí)操：
  • 詳細(xì)講解智算集群的模型測(cè)試流程，包括模型加載、訓(xùn)練、推理等環(huán)節(jié)的測(cè)試標(biāo)準(zhǔn)和操作步驟。
  • 結(jié)合實(shí)際案例進(jìn)行單機(jī)測(cè)試和集群測(cè)試的實(shí)操演練，分析測(cè)試中常見(jiàn)的瓶頸及優(yōu)化方法。
• 穩(wěn)定性和MFU測(cè)試：
  • 介紹智算集群的穩(wěn)定性測(cè)試方法，涵蓋長(zhǎng)時(shí)間負(fù)載測(cè)試、故障注入測(cè)試等。
  • 結(jié)合案例講解MFU（MeanFailureUnits）測(cè)試的意義和操作方法，分析如何通過(guò)MFU測(cè)試提高系統(tǒng)的可靠性。

第五天：英偉達(dá)NCCL集合通信優(yōu)化方案

4.1NCCL背景與理論知識(shí)

• NCCL概述：
  • 介紹NvidiaCollectiveCommunicationsLibrary（NCCL）的基本原理和應(yīng)用場(chǎng)景。
  • 詳細(xì)講解NCCL在分布式計(jì)算中的作用，分析其在不同通信模式下的性能表現(xiàn)。
• 標(biāo)準(zhǔn)通信原語(yǔ)實(shí)現(xiàn)：
  • 講解NCCL中的標(biāo)準(zhǔn)通信原語(yǔ)（如AllReduce、Broadcast、Reduce、AllGather等）的實(shí)現(xiàn)原理。
  • 結(jié)合實(shí)際案例分析在不同場(chǎng)景下選擇合適的通信原語(yǔ)進(jìn)行優(yōu)化的策略。

4.2NCCL環(huán)境變量含義與優(yōu)化方案

• NCCL環(huán)境變量解析：
  • 詳細(xì)介紹NCCL的主要環(huán)境變量，如NCCL_ALGO、NCCL_PROTO、NCCL_NTHREADS等，并分析其對(duì)性能的影響。
  • 結(jié)合實(shí)際案例講解如何通過(guò)調(diào)整環(huán)境變量?jī)?yōu)化NCCL的通信性能。
• NCCL優(yōu)化方案：
  • 討論在不同硬件配置和網(wǎng)絡(luò)架構(gòu)下的NCCL優(yōu)化策略，涵蓋帶寬優(yōu)化、延遲優(yōu)化等方面。
  • 結(jié)合案例進(jìn)行NCCL性能調(diào)優(yōu)的實(shí)操演練，分析優(yōu)化前后的性能提升效果。

4.3NCCLPlugin概念與實(shí)現(xiàn)

• NCCLPlugin概述：
  • 介紹NCCLPlugin的概念及其在提升通信性能中的作用。
  • 詳細(xì)講解NCCLPlugin的標(biāo)準(zhǔn)實(shí)現(xiàn)方案（如SHARP），分析其在實(shí)際應(yīng)用中的性能表現(xiàn)。
• NCCLPlugin實(shí)操演練：
  • 結(jié)合實(shí)際案例進(jìn)行NCCLPlugin的配置與調(diào)試操作，分析常見(jiàn)問(wèn)題及其解決方案。
  • 討論如何通過(guò)自定義NCCLPlugin實(shí)現(xiàn)特定場(chǎng)景下的性能優(yōu)化。

第六天：英偉達(dá)分布式訓(xùn)練與微調(diào)進(jìn)階

5.1主流深度學(xué)習(xí)框架與分布式訓(xùn)練框架能力介紹

• 深度學(xué)習(xí)框架概述：
  • 介紹當(dāng)前主流深度學(xué)習(xí)框架（如Pytorch、TensorFlow）的基本特點(diǎn)及其在分布式訓(xùn)練中的應(yīng)用。
  • 分析不同框架在分布式訓(xùn)練中的性能表現(xiàn)，結(jié)合實(shí)際案例進(jìn)行對(duì)比。
• 分布式訓(xùn)練框架介紹：
  • 詳細(xì)講解Megatron-LM、NeMo、DeepSpeed等分布式訓(xùn)練框架的功能特點(diǎn)及應(yīng)用場(chǎng)景。
  • 結(jié)合實(shí)際案例分析在大規(guī)模分布式訓(xùn)練中的框架選擇策略及其性能優(yōu)化方法。

5.2分布式并行策略與調(diào)優(yōu)技術(shù)

• 數(shù)據(jù)并行與模型并行：
  • 介紹數(shù)據(jù)并行、模型并行的基本原理和應(yīng)用場(chǎng)景。
  • 結(jié)合實(shí)際案例分析在不同場(chǎng)景下選擇合適的并行策略進(jìn)行性能優(yōu)化的最佳實(shí)踐。
• 調(diào)優(yōu)技術(shù)與實(shí)操演練：
  • 詳細(xì)講解分布式訓(xùn)練中的常見(jiàn)調(diào)優(yōu)技術(shù)，如梯度裁剪、混合精度訓(xùn)練、學(xué)習(xí)率調(diào)節(jié)等。
  • 結(jié)合實(shí)際案例進(jìn)行分布式訓(xùn)練的調(diào)優(yōu)實(shí)操演練，分析調(diào)優(yōu)前后的性能變化。

第七天：英偉達(dá)融合算子優(yōu)化技術(shù)與實(shí)戰(zhàn)

6.1英偉達(dá)CUDA與融合算子技術(shù)介紹

• CUDA基礎(chǔ)知識(shí)：
  • 介紹CUDA編程的基本概念和核心技術(shù)，分析其在高性能計(jì)算中的應(yīng)用。
  • 詳細(xì)講解CUDA中的關(guān)鍵概念，如線程塊、網(wǎng)格、共享內(nèi)存等，結(jié)合實(shí)際案例進(jìn)行分析。
• 融合算子與核心算子技術(shù)：
  • 介紹融合算子技術(shù)的原理及其在提高計(jì)算效率中的作用。
  • 結(jié)合實(shí)際案例分析在不同應(yīng)用場(chǎng)景下如何通過(guò)融合算子技術(shù)實(shí)現(xiàn)性能優(yōu)化。

6.2英偉達(dá)Profiling工具與案例分析

• Profiling工具介紹：
  • 介紹Nvidia的Profiling工具（如NsightCompute、NsightSystems）的功能特點(diǎn)及應(yīng)用場(chǎng)景。
  • 詳細(xì)講解如何通過(guò)Profiling工具分析CUDA程序的性能瓶頸，結(jié)合實(shí)際案例進(jìn)行演示。
• 案例分析與性能調(diào)優(yōu)：
  • 結(jié)合實(shí)際案例進(jìn)行CUDA程序的性能分析與調(diào)優(yōu)，詳細(xì)講解在Profiling過(guò)程中常見(jiàn)的問(wèn)題及其解決方案。

6.3融合算子優(yōu)化技術(shù)實(shí)戰(zhàn)

• 覆蓋場(chǎng)景與算子庫(kù)介紹：
  • 介紹主流預(yù)訓(xùn)練模型、推理模型中常用的融合算子庫(kù)，如cuDNN、TensorRT等。
  • 結(jié)合實(shí)際案例分析在不同應(yīng)用場(chǎng)景下的融合算子優(yōu)化技術(shù)，探討如何通過(guò)自定義算子實(shí)現(xiàn)特定場(chǎng)景下的性能提升。
• 自定義融合算子實(shí)操演練：
  • 詳細(xì)講解如何在Nvidia環(huán)境下開(kāi)發(fā)自定義融合算子，涵蓋開(kāi)發(fā)流程、調(diào)試方法及性能優(yōu)化策略。
  • 結(jié)合實(shí)際案例進(jìn)行自定義融合算子的實(shí)操演練，分析自定義算子對(duì)整體性能的提升效果。

講師簡(jiǎn)歷介紹

張老師 大模型算法/AIInfra開(kāi)發(fā)專家

北京郵電大學(xué)，網(wǎng)絡(luò)與交換國(guó)家重點(diǎn)實(shí)驗(yàn)室，計(jì)算機(jī)科學(xué)與技術(shù)碩士。某互聯(lián)網(wǎng)大廠高級(jí)工程師，深度學(xué)習(xí)框架開(kāi)發(fā)與性能調(diào)優(yōu)專家horovod,spark,iceberg,hudi等系列源碼貢獻(xiàn)者，“Tim在路上”公眾號(hào)主理人。

專業(yè)能力

熟悉深度學(xué)習(xí)框架，模型性能調(diào)優(yōu)，有過(guò)深度學(xué)習(xí)框架開(kāi)發(fā)調(diào)優(yōu)經(jīng)驗(yàn)。

熟悉GPU,NPU,CUDA,CANN,Nccl,IB等底層原理與工程實(shí)踐。

熟悉數(shù)據(jù)湖/數(shù)據(jù)引擎的開(kāi)發(fā)優(yōu)化，例如針對(duì)SparkSQL源碼級(jí)優(yōu)化開(kāi)發(fā)。

張老師 AI與高性能計(jì)算領(lǐng)域資深講師

復(fù)旦大學(xué)碩士，研究領(lǐng)域：高性能計(jì)算、深度學(xué)習(xí)、人工智能、GPU編程

職業(yè)履歷

上海拓途信息技術(shù)有限公司技術(shù)高級(jí)工程師2010年-2015年

-為華為代理商提供技術(shù)支持，負(fù)責(zé)包括網(wǎng)絡(luò)設(shè)備、存儲(chǔ)系統(tǒng)及相關(guān)軟硬件集成的實(shí)施和運(yùn)維。

-參與多個(gè)項(xiàng)目的技術(shù)方案設(shè)計(jì)與實(shí)施，確保了客戶在網(wǎng)絡(luò)性能和系統(tǒng)穩(wěn)定性方面的滿意度。

-在項(xiàng)目中深入理解客戶需求，提供定制化的技術(shù)解決方案，有效提高了客戶的系統(tǒng)效率。

萬(wàn)物新生集團(tuán)技術(shù)副總裁2015年-2022年

-深入研究并應(yīng)用英偉達(dá)的軟硬件技術(shù)，帶領(lǐng)團(tuán)隊(duì)解決了多個(gè)復(fù)雜的客戶需求。

-負(fù)責(zé)智算集群的規(guī)劃和部署，顯著提升了集團(tuán)在AI訓(xùn)練、推理和數(shù)據(jù)處理方面的能力。

-主導(dǎo)了英偉達(dá)相關(guān)技術(shù)的推廣與應(yīng)用，促進(jìn)了企業(yè)內(nèi)部對(duì)高性能計(jì)算和AI技術(shù)的接受和應(yīng)用。

上海迪賽申科技有限公司創(chuàng)始人兼CEO2022年-至今

-自主創(chuàng)業(yè)，成立了上海迪賽申科技有限公司，專注于基于英偉達(dá)GPU的智算集群建設(shè)。

-負(fù)責(zé)公司業(yè)務(wù)的全面管理和技術(shù)方向的把控，尤其在智算集群建設(shè)、NV算力存儲(chǔ)規(guī)劃及大規(guī)模IB網(wǎng)絡(luò)自動(dòng)化部署領(lǐng)域取得顯著成果。

-公司成功交付多個(gè)基于英偉達(dá)技術(shù)的智算集群項(xiàng)目，為客戶提供了高效可靠的計(jì)算和存儲(chǔ)解決方案。

專業(yè)能力

-英偉達(dá)GPU技術(shù)：精通NVIDIAGPU的架構(gòu)與應(yīng)用，包括A100、H100等核心產(chǎn)品，能夠?yàn)锳I訓(xùn)練、推理及高性能計(jì)算提供優(yōu)化的解決方案。

-智算集群規(guī)劃與實(shí)施：豐富的智算集群規(guī)劃與實(shí)施經(jīng)驗(yàn)，尤其在大規(guī)模集群建設(shè)、網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)及性能優(yōu)化方面具備獨(dú)到見(jiàn)解。

-NV算力存儲(chǔ)解決方案：深刻理解并能靈活運(yùn)用NV算力存儲(chǔ)技術(shù)，確保高性能計(jì)算環(huán)境中數(shù)據(jù)存儲(chǔ)的效率和可靠性。

-大規(guī)模IB網(wǎng)絡(luò)自動(dòng)化：在InfiniBand（IB）網(wǎng)絡(luò)架構(gòu)及其自動(dòng)化管理方面具備深厚的專業(yè)知識(shí)，能夠構(gòu)建和管理復(fù)雜的網(wǎng)絡(luò)系統(tǒng)。

-項(xiàng)目管理與交付：具備豐富的項(xiàng)目管理經(jīng)驗(yàn)，能夠有效確保項(xiàng)目按時(shí)按質(zhì)交付，并在項(xiàng)目評(píng)審中獲得客戶的高度認(rèn)可。

項(xiàng)目經(jīng)驗(yàn)

項(xiàng)目一：基于英偉達(dá)GPU的高校AI訓(xùn)練集群建設(shè)

-項(xiàng)目背景：某高校希望建設(shè)一個(gè)用于AI訓(xùn)練和科學(xué)研究的高性能計(jì)算平臺(tái)，要求系統(tǒng)具備高擴(kuò)展性、低延遲和高吞吐量。

-解決方案：采用NVIDIAA100GPU，配置32個(gè)DGXA100系統(tǒng)，并通過(guò)MellanoxInfiniBand網(wǎng)絡(luò)實(shí)現(xiàn)節(jié)點(diǎn)間的高效通信。使用NetAppAFFA800存儲(chǔ)系統(tǒng)，結(jié)合NVIDIAGPUDirectStorage優(yōu)化數(shù)據(jù)傳輸路徑，顯著提升了數(shù)據(jù)讀寫(xiě)速度。

-**項(xiàng)目成果**：系統(tǒng)成功交付并通過(guò)驗(yàn)收，運(yùn)行穩(wěn)定，能夠高效處理復(fù)雜的AI訓(xùn)練任務(wù)，極大提升了高校科研能力。基準(zhǔn)測(cè)試結(jié)果顯示，集群在深度學(xué)習(xí)模型訓(xùn)練任務(wù)中的效率提升了50%以上。

項(xiàng)目二：企業(yè)級(jí)AI推理與大數(shù)據(jù)分析平臺(tái)

-項(xiàng)目背景：某大型企業(yè)需要一個(gè)支持實(shí)時(shí)推理和大數(shù)據(jù)分析的計(jì)算平臺(tái)，要求系統(tǒng)具備高可用性、高擴(kuò)展性，并能夠處理海量數(shù)據(jù)。

-解決方案：采用NVIDIAH100GPU，配置64個(gè)DGXH100系統(tǒng)，并結(jié)合PureStorageFlashBlade存儲(chǔ)系統(tǒng)，提供快速的數(shù)據(jù)存取。使用NVIDIAMagnumIO優(yōu)化存儲(chǔ)和計(jì)算間的數(shù)據(jù)傳輸效率，部署NVIDIATritonInferenceServer以實(shí)現(xiàn)高效的多模型推理。

-項(xiàng)目成果：項(xiàng)目按時(shí)交付并通過(guò)驗(yàn)收，系統(tǒng)在多任務(wù)并發(fā)處理下保持了高效性能，并在推理速度和大數(shù)據(jù)分析速度方面達(dá)到了客戶預(yù)期。該系統(tǒng)使企業(yè)的數(shù)據(jù)處理效率提高了40%，有效支持了業(yè)務(wù)決策的實(shí)時(shí)性。

項(xiàng)目三：國(guó)家級(jí)超算與AI融合計(jì)算中心

-項(xiàng)目背景：某國(guó)家級(jí)科研機(jī)構(gòu)計(jì)劃建設(shè)一個(gè)融合HPC和AI的超級(jí)計(jì)算中心，以支持前沿科學(xué)研究和大規(guī)模AI模型的訓(xùn)練。

-解決方案：采用NVIDIAA100GPU，部署了512個(gè)DGXSuperPOD系統(tǒng)，使用WekaIO超高性能存儲(chǔ)系統(tǒng)確保數(shù)據(jù)吞吐量。通過(guò)NVIDIAQuantum-2InfiniBand交換機(jī)實(shí)現(xiàn)超高帶寬、低延遲的網(wǎng)絡(luò)連接，結(jié)合BrightClusterManager進(jìn)行集群管理與自動(dòng)化部署。

-項(xiàng)目成果：項(xiàng)目成功交付，系統(tǒng)在綜合性能測(cè)試中表現(xiàn)優(yōu)異，HPC和AI任務(wù)的運(yùn)行效率顯著提高。系統(tǒng)通過(guò)了嚴(yán)格的性能基準(zhǔn)測(cè)試，成為國(guó)家級(jí)科研項(xiàng)目的核心計(jì)算平臺(tái)，大幅提升了該機(jī)構(gòu)的科研效率。

職業(yè)成就與榮譽(yù)

-NVIDIA技術(shù)認(rèn)證專家：在GPU計(jì)算、AI訓(xùn)練與推理、數(shù)據(jù)中心優(yōu)化等領(lǐng)域獲得NVIDIA認(rèn)證。

-創(chuàng)業(yè)成就：成功創(chuàng)立并運(yùn)營(yíng)上海迪賽申科技有限公司，在業(yè)界樹(shù)立了良好的技術(shù)和服務(wù)口碑。

-項(xiàng)目管理獎(jiǎng)項(xiàng)：多次獲得客戶和合作伙伴的項(xiàng)目管理和技術(shù)貢獻(xiàn)獎(jiǎng)項(xiàng)，項(xiàng)目交付質(zhì)量和客戶滿意度在業(yè)內(nèi)享有盛譽(yù)。

陶老師 高性能計(jì)算專家

正高，大學(xué)客座教授，中國(guó)人工智能學(xué)會(huì)可拓學(xué)專委會(huì)理事，國(guó)家知識(shí)產(chǎn)權(quán)局專家，省學(xué)科帶頭人，市領(lǐng)軍和拔尖人才，全球五百?gòu)?qiáng)畢馬威特聘顧問(wèn)。長(zhǎng)期致力于技術(shù)創(chuàng)新領(lǐng)域，在全國(guó)7個(gè)省市做技術(shù)培訓(xùn)。課程內(nèi)容涵蓋從基礎(chǔ)理論到實(shí)際應(yīng)用，幫助學(xué)員掌握前沿技術(shù)，提升數(shù)據(jù)中心及高性能計(jì)算環(huán)境的運(yùn)維能力。專注于技術(shù)創(chuàng)新領(lǐng)域。全國(guó)累計(jì)培訓(xùn)企業(yè)和單位突破100余場(chǎng)，培訓(xùn)學(xué)員人數(shù)5000人次。有著幾百余天的授課經(jīng)驗(yàn)。與騰訊項(xiàng)目長(zhǎng)期簽約。主持3個(gè)課題并獲一等獎(jiǎng)，獲國(guó)家授權(quán)專利1項(xiàng)。在核心期刊、省級(jí)期刊公開(kāi)發(fā)表高質(zhì)量論文12篇。評(píng)標(biāo)專家。智庫(kù)研究員。項(xiàng)目管理技術(shù)雜志專家評(píng)委，熟悉運(yùn)營(yíng)商D-ICT項(xiàng)目管理相關(guān)工作。參與制定行業(yè)標(biāo)準(zhǔn)。長(zhǎng)期致力于技術(shù)培訓(xùn)授課，致力于NV基礎(chǔ)設(shè)施關(guān)鍵技術(shù)，致力于基于英偉達(dá)GPU建設(shè)的智算集群建設(shè)，擁有16年項(xiàng)目和項(xiàng)目群、項(xiàng)目組合、風(fēng)險(xiǎn)管理等方面工作實(shí)戰(zhàn)經(jīng)驗(yàn)，擅長(zhǎng)產(chǎn)品設(shè)計(jì)、系統(tǒng)集成、通信工程、生產(chǎn)制造、金融投資、工程投資、政府領(lǐng)域的企業(yè)管理培訓(xùn)與教練輔導(dǎo)技術(shù)。

專業(yè)能力

熟悉云計(jì)算、移動(dòng)互聯(lián)網(wǎng)和大數(shù)據(jù)等行業(yè)熱點(diǎn)發(fā)技術(shù)

在核心期刊上發(fā)表12篇高質(zhì)量專業(yè)技術(shù)論文

主持3個(gè)課題并獲得市三等獎(jiǎng)

申報(bào)1項(xiàng)國(guó)家專利

精通LTE技術(shù)原理和網(wǎng)絡(luò)規(guī)劃優(yōu)化，精通LTE網(wǎng)絡(luò)維護(hù)和優(yōu)化工作，負(fù)責(zé)開(kāi)發(fā)LTE終端網(wǎng)絡(luò)測(cè)試軟件，具有豐富的LTE項(xiàng)目實(shí)施經(jīng)驗(yàn)。熟悉通信工程施工的的各個(gè)環(huán)節(jié)。

主講課程內(nèi)容

NV基礎(chǔ)設(shè)施關(guān)鍵技術(shù)

基于英偉達(dá)GPU建設(shè)的智算集群建設(shè)含設(shè)備選型

基于英偉達(dá)環(huán)境的智算中心測(cè)試方案與標(biāo)準(zhǔn)

英偉達(dá)NCCL集合通信優(yōu)化方案

英偉達(dá)分布式訓(xùn)練與微調(diào)進(jìn)階

英偉達(dá)融合算子優(yōu)化技術(shù)與實(shí)戰(zhàn)

基于華為昇騰環(huán)境的智算集群建設(shè)交付含設(shè)備選型

基于昇騰環(huán)境的智算中心測(cè)試方案與標(biāo)準(zhǔn)

昇騰算子開(kāi)發(fā)相關(guān)

華為HCCL集合通信相關(guān)

昇騰智算集群網(wǎng)絡(luò)設(shè)備相關(guān)

項(xiàng)目交付管理

DICT項(xiàng)目全流程管理

DICT關(guān)鍵技術(shù)與行業(yè)應(yīng)用

通信行業(yè)分析與投資機(jī)遇

行業(yè)信息化落地方案

5G技術(shù)基礎(chǔ)知識(shí)與組網(wǎng)

5G網(wǎng)絡(luò)商業(yè)模式發(fā)展與業(yè)務(wù)展望

新時(shí)代下運(yùn)營(yíng)商經(jīng)營(yíng)策略

智慧城市和智能小區(qū)行業(yè)發(fā)展

無(wú)線通信基本原理

移動(dòng)通信網(wǎng)絡(luò)規(guī)劃

基站站點(diǎn)的勘察設(shè)計(jì)和施工規(guī)范

LTE技術(shù)基本原理

LTE網(wǎng)絡(luò)規(guī)劃和建設(shè)

LTE網(wǎng)絡(luò)維護(hù)

LTE網(wǎng)絡(luò)優(yōu)化

LTE信令協(xié)議和參數(shù)

VOLTE和網(wǎng)絡(luò)間互操作

LTE業(yè)務(wù)與移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)

通信企業(yè)技術(shù)類(lèi)內(nèi)訓(xùn)師培訓(xùn)

孫老師?云原生及智能算力專家

熟悉政府行業(yè)項(xiàng)目運(yùn)作機(jī)制，關(guān)注政策并具有產(chǎn)業(yè)趨勢(shì)分析能力，結(jié)合國(guó)標(biāo)和行標(biāo)從產(chǎn)業(yè)全局高度看算力技術(shù)和智算中心的發(fā)展，同時(shí)熟悉政府和央國(guó)企行文方式，有較強(qiáng)的規(guī)劃材料、申報(bào)材料編寫(xiě)和講解能力。本人有多年從事技術(shù)管理及咨詢實(shí)踐的工作經(jīng)驗(yàn)，熟悉政府、央國(guó)企數(shù)字化轉(zhuǎn)型發(fā)展要求，精通云計(jì)算、數(shù)字化轉(zhuǎn)型、智算中心、算力技術(shù)相關(guān)領(lǐng)域技術(shù)特點(diǎn)和發(fā)展趨勢(shì)，對(duì)工作充滿熱情，熱愛(ài)思考和學(xué)習(xí)，在工作繁忙中還筆耕不輟，寫(xiě)了多本專業(yè)書(shū)籍和數(shù)字化轉(zhuǎn)型方面的書(shū)籍，抗壓心理素質(zhì)好。

著作和獎(jiǎng)項(xiàng)

《云原生基礎(chǔ)架構(gòu)》譯者2018年出版

《企業(yè)私有云建設(shè)指南》作者2019年出版

《油氣行業(yè)數(shù)字化轉(zhuǎn)型》編者2020年出版

《數(shù)字化管理師能力評(píng)價(jià)與培養(yǎng)》作者2024年10月即將出版

榮獲阿里云MVP、騰訊云TVP、華為云MVP

工作履歷

1、中科天機(jī)技術(shù)有限公司CTO兼技術(shù)總監(jiān)(2024年4月至今)

負(fù)責(zé)湖北安陸智算中心技術(shù)平臺(tái)的規(guī)劃、建設(shè)和運(yùn)營(yíng)技術(shù)支持，包括整體智算的組網(wǎng)、集群的設(shè)計(jì)及部署、智算存儲(chǔ)的設(shè)計(jì)及部署，并對(duì)智算平臺(tái)整體技術(shù)把關(guān)，對(duì)疑難問(wèn)題進(jìn)行排查和處理。

負(fù)責(zé)北京石景山智算平臺(tái)的規(guī)劃、建設(shè)和運(yùn)營(yíng)技術(shù)支持，包括整體智算中心的組網(wǎng)、集群的設(shè)計(jì)及部署、分布式存儲(chǔ)的設(shè)計(jì)及部署，并對(duì)智算平臺(tái)整體的方案匯報(bào)和技術(shù)把關(guān)，對(duì)前期點(diǎn)亮的200P算力進(jìn)行部署和調(diào)優(yōu)。

負(fù)責(zé)金融業(yè)智算行業(yè)解決方案的調(diào)研編寫(xiě)和規(guī)劃、技術(shù)支持，包括智算集群的組網(wǎng)、集群的設(shè)計(jì)及部署、分布式存儲(chǔ)的設(shè)計(jì)及部署，并對(duì)行業(yè)整體的方案匯報(bào)和技術(shù)把關(guān)。對(duì)接了某些銀行的智能技術(shù)部并進(jìn)行了技術(shù)和方案上的合作共建。

2、北京鴻雪信息科技有限公司CTO兼首席咨詢師(2021年10月至2024年3月)

參與多項(xiàng)國(guó)家標(biāo)準(zhǔn)、團(tuán)體標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)的研討和編纂，聯(lián)合信通院專家、參編企業(yè)專家共同召開(kāi)標(biāo)準(zhǔn)編纂項(xiàng)目啟動(dòng)會(huì)和研討會(huì)，與院所、參編企業(yè)等專家共同討論標(biāo)準(zhǔn)名稱、標(biāo)準(zhǔn)框架、標(biāo)準(zhǔn)指標(biāo)等內(nèi)容范圍，結(jié)合各項(xiàng)標(biāo)準(zhǔn)展開(kāi)咨詢和評(píng)估測(cè)試。

參加信通院多項(xiàng)智算中心算力標(biāo)準(zhǔn)研討，對(duì)接信通院和北京通信管理局拉通北京算力互聯(lián)互通平臺(tái)的驗(yàn)證和測(cè)試。申報(bào)算力浦江行動(dòng)計(jì)劃，對(duì)接信通院華東分院和上海通信管理局，拉通算力浦江相關(guān)算力標(biāo)準(zhǔn)的建設(shè)和研討，幫助公司申請(qǐng)到算力浦江的專委會(huì)成員單位。

主導(dǎo)并負(fù)責(zé)數(shù)字化轉(zhuǎn)型成熟度平臺(tái)IT能力咨詢?cè)u(píng)估---中國(guó)電信集團(tuán)主導(dǎo)并負(fù)責(zé)數(shù)字化轉(zhuǎn)型成熟度平臺(tái)IT能力咨詢?cè)u(píng)估-云智平臺(tái)化-中移信息主導(dǎo)并負(fù)責(zé)數(shù)字化轉(zhuǎn)型成熟度業(yè)務(wù)IT能力咨詢?cè)u(píng)估-智慧財(cái)務(wù)-廣東移動(dòng)、中海物業(yè)主導(dǎo)并負(fù)責(zé)數(shù)字化轉(zhuǎn)型成熟度業(yè)務(wù)IT能力咨詢?cè)u(píng)估-業(yè)務(wù)中臺(tái)評(píng)估-中移信息主導(dǎo)并負(fù)責(zé)數(shù)字化轉(zhuǎn)型成熟度業(yè)務(wù)IT能力咨詢?cè)u(píng)估-智慧采購(gòu)-中移信息主導(dǎo)并負(fù)責(zé)數(shù)字化轉(zhuǎn)型成熟度業(yè)務(wù)IT能力咨詢?cè)u(píng)估-智慧管理-中移信息主導(dǎo)并負(fù)責(zé)數(shù)字化轉(zhuǎn)型成熟度業(yè)務(wù)IT能力咨詢?cè)u(píng)估-客戶服務(wù)體驗(yàn)-云南移動(dòng)主導(dǎo)并負(fù)責(zé)云原生技術(shù)架構(gòu)成熟度能力咨詢?cè)u(píng)估-中移蘇研主導(dǎo)并負(fù)責(zé)電信核心應(yīng)用系統(tǒng)現(xiàn)代化建設(shè)水平咨詢?cè)u(píng)估-江蘇移動(dòng)

工作業(yè)績(jī):完成數(shù)字化轉(zhuǎn)型成熟度、智慧財(cái)務(wù)、業(yè)務(wù)中臺(tái)、智慧采購(gòu)、智慧管理、客戶服務(wù)體驗(yàn)、云原生技術(shù)架構(gòu)、應(yīng)用現(xiàn)代化咨詢?cè)u(píng)估，深入客戶現(xiàn)場(chǎng)調(diào)研，形成了數(shù)字化轉(zhuǎn)型咨詢和評(píng)估方案，結(jié)合客戶的問(wèn)題針對(duì)提出整改提升的具體能力提升建議和解決方案，幫助客戶持續(xù)提升數(shù)字化轉(zhuǎn)型能力，并取得良好數(shù)字化轉(zhuǎn)型實(shí)踐效果。結(jié)合咨詢實(shí)踐，反哺到標(biāo)準(zhǔn)和指標(biāo)優(yōu)化，進(jìn)一步豐富和完善了標(biāo)準(zhǔn)，為標(biāo)準(zhǔn)的落地和推廣應(yīng)用奠定了堅(jiān)實(shí)的基礎(chǔ)。同時(shí)在工作中不斷完善和豐富了面向行業(yè)咨詢的經(jīng)驗(yàn)，為拓展不同行業(yè)客戶積累了豐富的經(jīng)驗(yàn)和能力。

3、昆侖數(shù)智科技數(shù)字化能力中心技術(shù)總監(jiān)兼數(shù)字化咨詢師

參與中油瑞飛數(shù)字化轉(zhuǎn)型的頂層規(guī)劃與設(shè)計(jì)

負(fù)責(zé)咨詢國(guó)家管網(wǎng)西南管道數(shù)字化轉(zhuǎn)型的頂層規(guī)劃與設(shè)計(jì)、智慧管網(wǎng)的規(guī)劃

負(fù)責(zé)咨詢長(zhǎng)慶油田的數(shù)字化轉(zhuǎn)型規(guī)劃與項(xiàng)目設(shè)計(jì)

負(fù)責(zé)咨詢大慶油田采油九廠的數(shù)字化轉(zhuǎn)型與項(xiàng)目設(shè)計(jì)

參與昆侖數(shù)智數(shù)字化平臺(tái)的整體規(guī)劃與設(shè)計(jì)

參與昆侖數(shù)智數(shù)據(jù)中臺(tái)的整體規(guī)劃與設(shè)計(jì)

負(fù)責(zé)并梳理昆侖數(shù)智數(shù)字化產(chǎn)品與解決方案

工作業(yè)績(jī):

完成中油瑞飛數(shù)字化轉(zhuǎn)型的頂層規(guī)劃與設(shè)計(jì)，深入業(yè)務(wù)板塊調(diào)研，形成了18個(gè)數(shù)字

化場(chǎng)景的項(xiàng)目卡片，持續(xù)推進(jìn)公司運(yùn)營(yíng)管理和業(yè)務(wù)的數(shù)字化轉(zhuǎn)型，初步取得良好數(shù)字化轉(zhuǎn)型效果。在集團(tuán)內(nèi)部，參與長(zhǎng)慶油田、大慶油田及西南管道的數(shù)字化頂層規(guī)劃與設(shè)計(jì)，積累了豐富的咨詢經(jīng)驗(yàn)，并在轉(zhuǎn)型中不斷思考和沉淀，形成了自己的數(shù)字化轉(zhuǎn)型方法論，并和信通院合作完成了數(shù)字化成熟度評(píng)估模型和指標(biāo)體系，促進(jìn)了數(shù)字化轉(zhuǎn)型，為集團(tuán)整體的數(shù)字化轉(zhuǎn)型打下了基礎(chǔ)。2020年9月，與信通院合作發(fā)布油氣行業(yè)數(shù)字化白皮書(shū)，編輯并出版第一本《油氣行業(yè)數(shù)字化轉(zhuǎn)型》書(shū)籍，在能源業(yè)界有一定影響。

云計(jì)算事業(yè)部系統(tǒng)架構(gòu)師2014年5月至2019年4月

參與中石油F12云計(jì)算平臺(tái)的IAAS規(guī)劃部署和測(cè)試及上線

參與中石油F9災(zāi)難恢復(fù)系統(tǒng)一二期的規(guī)劃設(shè)計(jì)及部署實(shí)施上線

參與中石油F12云計(jì)算平臺(tái)的PAAS規(guī)劃設(shè)計(jì)與部署上線

2015年負(fù)責(zé)中石油和INTEL軟件定義存儲(chǔ)的4家廠商產(chǎn)品的聯(lián)合測(cè)試和評(píng)估2016負(fù)責(zé)測(cè)試評(píng)估阿里企業(yè)專有云1130版，阿里專有云平臺(tái)技術(shù)評(píng)估負(fù)責(zé)人2016負(fù)責(zé)測(cè)試和評(píng)估華為的FusionSphere云操作系統(tǒng)基礎(chǔ)管理軟件

2017參與測(cè)試信息安全F14項(xiàng)目海量日志的大數(shù)據(jù)采集和評(píng)估系統(tǒng)

2018參與云統(tǒng)一運(yùn)維體系建設(shè)和實(shí)施規(guī)劃

2019參與中石油F12云計(jì)算平臺(tái)2.0的規(guī)劃和設(shè)計(jì)熟悉服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)等硬件產(chǎn)品和功能特性，對(duì)企業(yè)云計(jì)算、高性能計(jì)算、軟件定義數(shù)據(jù)中心等解決方案比較熟悉;

熟悉kubernetes和容器技術(shù)及架構(gòu)，部署及運(yùn)維

4、北京同方鼎欣技術(shù)有限公司2012年11月至2014年4月

IT技術(shù)一部高級(jí)運(yùn)維兼移動(dòng)項(xiàng)目負(fù)責(zé)人

負(fù)責(zé)北京移動(dòng)KM\MOA\統(tǒng)一知識(shí)社區(qū)項(xiàng)目的運(yùn)維和管理

負(fù)責(zé)生產(chǎn)系統(tǒng)的Unix\linux優(yōu)化配置、運(yùn)維支撐與安全

負(fù)責(zé)智算中心數(shù)據(jù)遷移、災(zāi)備項(xiàng)目的規(guī)劃、方案設(shè)計(jì)

參與中國(guó)移動(dòng)廣州南方基地私有云知識(shí)社區(qū)項(xiàng)目的規(guī)劃設(shè)計(jì)和集成部署

熟悉IBM的WEBSPHERE/IHS/MQ軟件

熟悉ORACLE,熟悉LINUX/SHELL/DB2/MYSQL/MONGODB的部署、配置與優(yōu)化。

過(guò)往相關(guān)案例

訓(xùn)練營(yíng)名稱	培訓(xùn)周期	培訓(xùn)內(nèi)容	服務(wù)客戶
Nvidia全系技術(shù)棧培訓(xùn)-技術(shù)架構(gòu)、智算平臺(tái)、算力中心建設(shè)	14天	詳盡解析英偉達(dá)技術(shù)體系，包括DGX、HGX、GPU技術(shù)及IB網(wǎng)絡(luò)架構(gòu)，及其在智算平臺(tái)中的應(yīng)用。不論是面向AI開(kāi)發(fā)框架的深入了解，還是大模型的端到端調(diào)優(yōu)，線上及線下雙模式培訓(xùn)都將提供豐富的實(shí)操經(jīng)驗(yàn)。讓企業(yè)在英偉達(dá)系統(tǒng)中，提升大模型性能，優(yōu)化智算中心的設(shè)計(jì)與運(yùn)維，精通存儲(chǔ)和網(wǎng)絡(luò)基礎(chǔ)設(shè)施的構(gòu)建。	某智算集群建設(shè)廠商
從訓(xùn)練到推理，LLM大模型技術(shù)培訓(xùn)	6天	內(nèi)容全面揭示大模型技術(shù)的核心原理與應(yīng)用。深入探討大模型從理論到實(shí)踐的每一個(gè)環(huán)節(jié)，包括大模型的理論基礎(chǔ)、關(guān)鍵技術(shù)如分布式并行計(jì)算、訓(xùn)練加速技術(shù)，以及推理優(yōu)化技術(shù)。	中國(guó)石油數(shù)據(jù)中心
RAG&CoT深度技術(shù)課程	2天	《RAG&CoT深度技術(shù)課程》是為某IT軟件上市公司的AI系統(tǒng)開(kāi)發(fā)團(tuán)隊(duì)定制研發(fā)的高級(jí)培訓(xùn)課程，旨在深入講解大語(yǔ)言模型（LLM）領(lǐng)域的兩大前沿技術(shù)：RAG（Retrieval-AugmentedGeneration）和思維鏈（ChainofThought,CoT）。本課程通過(guò)理論與實(shí)踐相結(jié)合的方式，詳細(xì)介紹RAG和CoT技術(shù)的基本原理、應(yīng)用場(chǎng)景、技術(shù)實(shí)現(xiàn)方法以及最新的研究進(jìn)展，幫助學(xué)員全面掌握這些技術(shù)的核心要點(diǎn)。	新致軟件
LLM大模型技術(shù)內(nèi)訓(xùn)	4天	本次培訓(xùn)項(xiàng)目是為華南某大型商業(yè)銀行研發(fā)中心的產(chǎn)品經(jīng)理、研發(fā)工程師、算法工程師定制開(kāi)發(fā)的全面的大模型知識(shí)及其在金融行業(yè)中的應(yīng)用培訓(xùn)和課題研討。通過(guò)本次課程，學(xué)員深入了解了大語(yǔ)言模型（LLM）的基本原理、應(yīng)用場(chǎng)景、案例分析以及實(shí)際操作技巧，從而在需求溝通和產(chǎn)品設(shè)計(jì)中能夠更好地運(yùn)用大模型技術(shù)。	廣發(fā)銀行
高性能計(jì)算環(huán)境下的算力集群規(guī)劃與優(yōu)化	12天	本課程旨在為數(shù)據(jù)中心的運(yùn)維工程師、IT工程師提供一套全面且深入的培訓(xùn)，涵蓋從算力集群的規(guī)劃與設(shè)計(jì)、POC環(huán)境的搭建，到GPU、CUDA、算力模型、應(yīng)用調(diào)優(yōu)、應(yīng)用性能監(jiān)測(cè)、算力調(diào)度管理、網(wǎng)絡(luò)調(diào)優(yōu)和安全保障等多個(gè)關(guān)鍵領(lǐng)域。整個(gè)課程注重實(shí)操，旨在提升學(xué)員的動(dòng)手能力，使其能夠在實(shí)際工作中高效地管理和優(yōu)化高性能計(jì)算環(huán)境。	某智算集群建設(shè)廠商