技術(shù)交流群

建立了算法技術(shù)交流群！完整版算法面試資料，期望技術(shù)交流的同學(xué)，都可以加微信號：mlc2060，獲取。加的時候備注一下：研究方向 +學(xué)校/公司或者來意。

技術(shù)交流群涉及前沿技術(shù)資訊、算法交流、求職內(nèi)推、算法競賽、面試交流(校招、社招、實(shí)習(xí))等，你將與 10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企開發(fā)者互動交流~

1、命名實(shí)體識別常見面試篇

• 隱馬爾科夫算法 HMM 常見面試篇

  • 一、基礎(chǔ)信息 介紹篇
    • 1.1 什么是概率圖模型？
    • 1.2 什么是 隨機(jī)場？
  • 二、馬爾可夫過程 介紹篇
    • 2.1 什么是 馬爾可夫過程？
    • 2.2 馬爾可夫過程 的核心思想 是什么？
  • 三、隱馬爾科夫算法 篇
    • 3.1 隱馬爾科夫算法 介紹篇
      • 3.1.1 隱馬爾科夫算法 是什么？
      • 3.1.2 隱馬爾科夫算法 中 兩個序列 是什么？
      • 3.1.3 隱馬爾科夫算法 中 三個矩陣 是什么？
      • 3.1.4 隱馬爾科夫算法 中 兩個假設(shè) 是什么？
      • 3.1.5 隱馬爾科夫算法 中 工作流程 是什么？
    • 3.2 隱馬爾科夫算法 模型計算過程篇
      • 3.2.1 隱馬爾科夫算法 學(xué)習(xí)訓(xùn)練過程 是什么樣的？
      • 3.2.2 隱馬爾科夫算法 序列標(biāo)注（解碼）過程 是什么樣的？
      • 3.2.3 隱馬爾科夫算法 序列概率過程 是什么樣的？
    • 3.3 隱馬爾科夫算法 問題篇

• 最大熵馬爾科夫模型 MEMM 常見面試篇

  • 四、最大熵馬爾科夫模型（MEMM）篇
    • 4.1 最大熵馬爾科夫模型（MEMM）動機(jī)篇
      • 4.1.1 HMM 存在 什么問題？
    • 4.2 最大熵馬爾科夫模型（MEMM）介紹篇
      • 4.2.1 最大熵馬爾科夫模型（MEMM） 是什么樣？
      • 4.2.2 最大熵馬爾科夫模型（MEMM） 如何解決 HMM 問題？
    • 4.3 最大熵馬爾科夫模型（MEMM）問題篇

• 條件隨機(jī)場（CRF） 常見面試篇

  • 五、條件隨機(jī)場（CRF）篇
    • 5.1 CRF 動機(jī)篇
      • 5.1.1 HMM 和 MEMM 存在什么問題？
    • 5.2 CRF 介紹篇
      • 5.2.1 什么是 CRF?
      • 5.2.2 CRF 的 主要思想是什么？
      • 5.2.3 CRF 的定義是什么?
      • 5.2.4 CRF 的 流程是什么？
    • 5.3 CRF 優(yōu)缺點(diǎn)篇
      • 5.3.1 CRF 的 優(yōu)點(diǎn)在哪里？
      • 5.3.2 CRF 的 缺點(diǎn)在哪里？
    • 5.4 CRF 復(fù)現(xiàn)？
  • 六、對比篇
    • 6.1 CRF模型 和 HMM和MEMM模型 區(qū)別？

• DNN-CRF 常見面試篇

  • 一、基本信息
    • 1.1 命名實(shí)體識別 評價指標(biāo) 是什么？
  • 二、傳統(tǒng)的命名實(shí)體識別方法
    • 2.1 基于規(guī)則的命名實(shí)體識別方法是什么？
    • 2.2 基于無監(jiān)督學(xué)習(xí)的命名實(shí)體識別方法是什么？
    • 2.3 基于特征的監(jiān)督學(xué)習(xí)的命名實(shí)體識別方法是什么？
  • 三、基于深度學(xué)習(xí)的命名實(shí)體識別方法
    • 3.1 基于深度學(xué)習(xí)的命名實(shí)體識別方法 相比于 基于機(jī)器學(xué)習(xí)的命名實(shí)體識別方法的優(yōu)點(diǎn)？
    • 3.2 基于深度學(xué)習(xí)的命名實(shí)體識別方法 的 結(jié)構(gòu)是怎么樣？
    • 3.3 分布式輸入層 是什么，有哪些方法？
    • 3.4 文本編碼器篇
      • 3.4.1 BiLSTM-CRF 篇
        • 3.4.1.1 什么是 BiLSTM-CRF？
        • 3.4.1.2 為什么要用 BiLSTM？
      • 3.4.2 IDCNN-CRF 篇
        • 3.4.2.1 什么是 Dilated CNN？
        • 3.4.2.2 為什么會有 Dilated CNN？
        • 3.4.2.3 Dilated CNN 的優(yōu)點(diǎn)？
        • 3.4.2.4 IDCNN-CRF 介紹
    • 3.5 標(biāo)簽解碼器篇
      • 3.5.1 標(biāo)簽解碼器是什么？
      • 3.5.2 MLP+softmax層 介紹？
      • 3.5.3 條件隨機(jī)場CRF層 介紹？
      • 3.5.4 循環(huán)神經(jīng)網(wǎng)絡(luò)RNN層 介紹？
      • 3.5.3 指針網(wǎng)路層 介紹？
  • 四、對比 篇
    • 4.1 CNN-CRF vs BiLSTM-CRF vs IDCNN-CRF?
    • 4.2 為什么 DNN 后面要加 CRF?
    • 4.3 CRF in TensorFlow V.S. CRF in discrete toolkit？

• 中文領(lǐng)域 NER 常見面試篇

  • 一、動機(jī)篇
    • 1.1 中文命名實(shí)體識別 與 英文命名實(shí)體識別的區(qū)別？
  • 二、詞匯增強(qiáng)篇
    • 2.1 什么是 詞匯增強(qiáng)？
    • 2.2 為什么說 「詞匯增強(qiáng)」 方法對于中文 NER 任務(wù)有效呢？
    • 2.3 詞匯增強(qiáng) 方法有哪些？
    • 2.4 Dynamic Architecture
      • 2.4.1 什么是 Dynamic Architecture？
      • 2.4.2 常用方法有哪些？
      • 2.4.3 什么是 Lattice LSTM ，存在什么問題？
      • 2.4.4 什么是 FLAT ，存在什么問題？
    • 2.5 Adaptive Embedding 范式
      • 2.5.1 什么是 Adaptive Embedding 范式？
      • 2.5.2 常用方法有哪些？
      • 2.5.3 什么是 WC-LSTM ，存在什么問題？
  • 三、詞匯/實(shí)體類型信息增強(qiáng)篇
    • 3.1 什么是 詞匯/實(shí)體類型信息增強(qiáng)？
    • 3.2 為什么說 「詞匯/實(shí)體類型信息增強(qiáng)」 方法對于中文 NER 任務(wù)有效呢？
    • 3.3 詞匯/實(shí)體類型信息增強(qiáng) 方法有哪些？
    • 3.4 什么是 LEX-BERT ？

• 命名實(shí)體識別 trick 常見面試篇

  • trick 1：領(lǐng)域詞典匹配
  • trick 2：規(guī)則抽取
  • trick 3：詞向量選取：詞向量 or 字向量？
  • trick 4：特征提取器 如何選擇？
  • trick 5：專有名稱 怎么 處理？
  • trick 6：標(biāo)注數(shù)據(jù) 不足怎么處理？
  • trick 7：嵌套命名實(shí)體識別怎么處理
    • 7.1 什么是實(shí)體嵌套？
    • 7.2 與 傳統(tǒng)命名實(shí)體識別任務(wù)的區(qū)別
    • 7.3 解決方法：
      • 7.3.1 方法一：序列標(biāo)注
      • 7.3.2 方法二：指針標(biāo)注
      • 7.3.3 方法三：多頭標(biāo)注
      • 7.3.4 方法四：片段排列
  • trick 8：為什么說 「詞匯增強(qiáng)」 方法對于中文 NER 任務(wù)有效？
  • trick 9：NER實(shí)體span過長怎么辦？
  • trick 10: NER 標(biāo)注數(shù)據(jù)噪聲問題？
  • trick 11： 給定兩個命名實(shí)體識別任務(wù)，一個任務(wù)數(shù)據(jù)量足夠，另外一個數(shù)據(jù)量很少，可以怎么做？
  • trick 12： NER 標(biāo)注數(shù)據(jù)不均衡問題？

2、關(guān)系抽取常見面試篇

• 關(guān)系抽取 常見面試篇
  • 一、動機(jī)篇
    • 1.1 什么是關(guān)系抽取？
    • 1.2 關(guān)系抽取技術(shù)有哪些類型？
    • 1.3 常見的關(guān)系抽取流程是怎么做的？
  • 二、經(jīng)典關(guān)系抽取篇
    • 2.1 模板匹配方法是指什么？有什么優(yōu)缺點(diǎn)？
    • 2.2 遠(yuǎn)監(jiān)督關(guān)系抽取是指什么？它有什么優(yōu)缺點(diǎn)？
    • 2.3 什么是關(guān)系重疊？復(fù)雜關(guān)系問題？
    • 2.4 聯(lián)合抽取是什么？難點(diǎn)在哪里？
    • 2.5 聯(lián)合抽取總體上有哪些方法？各有哪些缺點(diǎn)？
    • 2.6 介紹基于共享參數(shù)的聯(lián)合抽取方法？
    • 2.7 介紹基于聯(lián)合解碼的聯(lián)合抽取方法？
    • 2.8 實(shí)體關(guān)系抽取的前沿技術(shù)和挑戰(zhàn)有哪些？如何解決低資源和復(fù)雜樣本下的實(shí)體關(guān)系抽取？
  • 三、文檔級關(guān)系抽取篇
    • 3.1 文檔級關(guān)系抽取與經(jīng)典關(guān)系抽取有何區(qū)別？
    • 3.2 文檔級別關(guān)系抽取中面臨什么樣的問題？
    • 3.3 文檔級關(guān)系抽取的方法有哪些？
      • 3.3.1 基于BERT-like的文檔關(guān)系抽取是怎么做的？
      • 3.3.2 基于graph的文檔關(guān)系抽取是怎么做的？
    • 3.4 文檔級關(guān)系抽取常見數(shù)據(jù)集有哪些以及其評估方法？

3、事件抽取 常見面試篇

• 事件抽取 常見面試篇
  • 一、原理篇
    • 1.1 什么是事件？
    • 1.2 什么是事件抽取？
    • 1.3 ACE測評中事件抽取涉及的幾個基本術(shù)語及任務(wù)是什么？
    • 1.4 事件抽取怎么發(fā)展的？
    • 1.5 事件抽取存在什么問題？
  • 二、基本任務(wù)篇
    • 2.1 觸發(fā)詞檢測
      • 2.1.1 什么是觸發(fā)詞檢測？
      • 2.1.2 觸發(fā)詞檢測有哪些方法？
    • 2.2 類型識別
      • 2.2.1 什么是類型識別？
      • 2.2.2 類型識別有哪些方法？
    • 2.3 角色識別
      • 2.3.1 什么是角色識別？
      • 2.3.2 角色識別有哪些方法？
    • 2.4 論元檢測
      • 2.4.1 什么是論元檢測？
      • 2.4.2 論元檢測有哪些方法？
  • 三、常見方法篇
    • 3.1 模式匹配方法怎么用在事件抽取中?
    • 3.2 統(tǒng)計機(jī)器學(xué)習(xí)方法怎么用在事件抽取中?
    • 3.3 深度學(xué)習(xí)方法怎么用在事件抽取中?
  • 四、數(shù)據(jù)集及評價指標(biāo)篇
    • 4.1 事件抽取中常見的英文數(shù)據(jù)集有哪些？
    • 4.2 事件抽取中常見的中文數(shù)據(jù)集有哪些？
    • 4.3 事件抽取的評價指標(biāo)是什么？怎么計算的？
  • 五、對比篇
    • 5.1 事件抽取和命名實(shí)體識別（即實(shí)體抽取）有什么異同？
    • 5.2 事件抽取和關(guān)系抽取有什么異同？
    • 5.3 什么是事理圖譜？有哪些事件關(guān)系類型？事理圖譜怎么構(gòu)建？主要技術(shù)領(lǐng)域及當(dāng)前發(fā)展熱點(diǎn)是什么？
  • 六、應(yīng)用篇
  • 七、拓展篇
    • 7.1 事件抽取論文綜述
    • 7.2 事件抽取常見問題

4、NLP 預(yù)訓(xùn)練算法常見面試篇

• 關(guān)于TF-idf

  • 一、one-hot 篇
    • 1.1 為什么有 one-hot ？
    • 1.2 one-hot 是什么?
    • 1.3 one-hot 有什么特點(diǎn)?
    • 1.4 one-hot 存在哪些問題?
  • 二、TF-IDF 篇
    • 2.1 什么是 TF-IDF？
    • 2.2 TF-IDF 如何評估詞的重要程度？
    • 2.3 TF-IDF 的思想是什么？
    • 2.4 TF-IDF 的計算公式是什么？
    • 2.5 TF-IDF 怎么描述？
    • 2.6 TF-IDF 的優(yōu)點(diǎn)是什么？
    • 2.7 TF-IDF 的缺點(diǎn)是什么？
    • 2.8 TF-IDF 的應(yīng)用？

• 關(guān)于word2vec

  • 一、Wordvec 介紹篇
    • 1.1 Wordvec 指什么?
    • 1.2 Wordvec 中 CBOW 指什么?
    • 1.3 Wordvec 中 Skip-gram 指什么?
    • 1.4 CBOW vs Skip-gram 哪一個好？
  • 二、Wordvec 優(yōu)化篇
    • 2.1 Word2vec 中 霍夫曼樹 是什么？
    • 2.2 Word2vec 中 為什么要使用 霍夫曼樹？
    • 2.3 Word2vec 中使用 霍夫曼樹 的好處？
    • 2.4 為什么 Word2vec 中會用到 負(fù)采樣？
    • 2.5 Word2vec 中會用到 負(fù)采樣 是什么樣？
    • 2.6 Word2vec 中 負(fù)采樣 的采樣方式？
  • 三、Wordvec 對比篇
    • 3.1 word2vec和NNLM對比有什么區(qū)別？（word2vec vs NNLM）
    • 3.2 word2vec和tf-idf 在相似度計算時的區(qū)別？
  • 四、word2vec 實(shí)戰(zhàn)篇
    • 4.1 word2vec訓(xùn)練trick，window設(shè)置多大？
    • 4.1 word2vec訓(xùn)練trick，詞向量緯度，大與小有什么影響，還有其他參數(shù)？

• 關(guān)于FastText

  • 一、fastText 動機(jī)篇
    • 1.1 word-level Model 是什么？
    • 1.2 word-level Model 存在什么問題？
    • 1.3 Character-Level Model 是什么？
    • 1.4 Character-Level Model 優(yōu)點(diǎn)？
    • 1.5 Character-Level Model 存在問題？
    • 1.6 Character-Level Model 問題的解決方法？
  • 二、 詞內(nèi)的n-gram信息(subword n-gram information) 介紹篇
    • 2.1 引言
    • 2.2 fastText 是什么?
    • 2.3 fastText 的結(jié)構(gòu)是什么樣?
    • 2.4 為什么 fastText 要使用詞內(nèi)的n-gram信息(subword n-gram information)?
    • 2.5 fastText 詞內(nèi)的n-gram信息(subword n-gram information) 介紹?
    • 2.6 fastText 詞內(nèi)的n-gram信息 的 訓(xùn)練過程?
    • 2.7 fastText 詞內(nèi)的n-gram信息 存在問題?
  • 三、 層次化Softmax回歸(Hierarchical Softmax) 介紹篇
    • 3.1 為什么要用 層次化Softmax回歸(Hierarchical Softmax) ？
    • 3.2 層次化Softmax回歸(Hierarchical Softmax) 的思想是什么？
    • 3.3 層次化Softmax回歸(Hierarchical Softmax) 的步驟？
  • 四、fastText 存在問題？

• 關(guān)于Elmo

  • 一、Elmo 動機(jī)篇
    • 1.1 為什么會有 Elmo？
  • 二、Elmo 介紹篇
    • 2.1 Elmo 的 特點(diǎn)？
    • 2.2 Elmo 的 思想是什么？
  • 三、Elmo 問題篇
    • 3.1 Elmo 存在的問題是什么？

5、Bert 常見面試篇

• Bert 常見面試篇
  • 一、動機(jī)篇
    • 1.1 【演變史】one-hot 存在問題?
    • 1.2【演變史】wordvec 存在問題?
    • 1.3【演變史】fastText 存在問題?
    • 1.4【演變史】elmo 存在問題?
  • 二、Bert 篇
    • 2.1 Bert 介紹篇
      • 2.1.1【BERT】Bert 是什么?
      • 2.1.2【BERT】Bert 三個關(guān)鍵點(diǎn)？
    • 2.2 Bert 輸入輸出表征篇
      • 2.2.1 【BERT】Bert 輸入輸出表征長啥樣？
    • 2.3 【BERT】Bert 預(yù)訓(xùn)練篇
      • 2.3.1 【BERT】Bert 預(yù)訓(xùn)練任務(wù)介紹
      • 2.3.2 【BERT】Bert 預(yù)訓(xùn)練任務(wù) 之 Masked LM 篇
        • 2.3.2.1 【BERT】 Bert 為什么需要預(yù)訓(xùn)練任務(wù) Masked LM ？
        • 2.3.2.2 【BERT】 Bert 預(yù)訓(xùn)練任務(wù) Masked LM 怎么做？
        • 2.3.2.3 【BERT】 Bert 預(yù)訓(xùn)練任務(wù) Masked LM 存在問題？
        • 2.3.2.4 【BERT】 預(yù)訓(xùn)練和微調(diào)之間的不匹配的解決方法？
      • 2.3.3 【BERT】Bert 預(yù)訓(xùn)練任務(wù) 之 Next Sentence Prediction 篇
        • 2.3.3.1 【BERT】Bert 為什么需要預(yù)訓(xùn)練任務(wù) Next Sentence Prediction ？
        • 2.3.3.2 【BERT】 Bert 預(yù)訓(xùn)練任務(wù) Next Sentence Prediction 怎么做？
    • 2.4 【BERT】 fine-turning 篇？
      • 2.4.1 【BERT】為什么 Bert 需要 fine-turning？
      • 2.4.2 【BERT】 Bert 如何 fine-turning？
    • 2.5 【BERT】 Bert 損失函數(shù)篇？
      • 2.5.1 【BERT】BERT的兩個預(yù)訓(xùn)練任務(wù)對應(yīng)的損失函數(shù)是什么(用公式形式展示)？
  • 三、 對比篇？
    • 3.1 【對比】多義詞問題是什么？
    • 3.2 【對比】word2vec 為什么解決不了多義詞問題？
    • 3.3 【對比】GPT和BERT有什么不同？
    • 3.4 【對比】為什么 elmo、GPT、Bert能夠解決多義詞問題？（以 elmo 為例）

Bert 模型壓縮 常見面試篇

• Bert 模型壓縮 常見面試篇
  • 一、Bert 模型壓縮 動機(jī)篇
  • 二、Bert 模型壓縮對比表
  • 三、 Bert 模型壓縮方法介紹
    • 3.1 Bert 模型壓縮方法 之 低秩因式分解&跨層參數(shù)共享
      • 3.1.1 什么是低秩因式分解？
      • 3.1.2 什么是跨層參數(shù)共享？
      • 3.1.3 ALBERT 所所用的方法？
    • 3.2 Bert 模型壓縮方法 之 蒸餾
      • 3.2.1 什么是蒸餾？
      • 3.2.2 使用 模型蒸餾 的論文 有哪些，稍微介紹一下？
    • 3.3 Bert 模型壓縮方法 之 量化
      • 3.3.1 什么是量化？
      • 3.3.2 Q-BERT: Hessian Based Ultra Low Precision Quantization of BERT 【量化】
    • 3.4 Bert 模型壓縮方法 之 剪枝
      • 3.4.1 什么是剪枝？
  • 四、模型壓縮存在問題？

6、文本分類 常見面試篇

• 文本分類 常見面試篇

  • 一、 抽象命題
    • 1.1 分類任務(wù)有哪些類別？它們都有什么特征？
    • 1.2 文本分類任務(wù)相較于其他領(lǐng)域的分類任務(wù)有何不同之處？
    • 1.3 文本分類任務(wù)和文本領(lǐng)域的其他任務(wù)相比有何不同之處？
    • 1.4 文本分類的過程？
  • 二、數(shù)據(jù)預(yù)處理
    • 2.1 文本分類任務(wù)的數(shù)據(jù)預(yù)處理方法有哪些？
    • 2.2 你使用過哪些分詞方法和工具？
    • 2.3 中文文本分詞的方法？
    • 2.4 基于字符串匹配的分詞方法的原理 是什么？
    • 2.5 統(tǒng)計語言模型如何應(yīng)用于分詞？N-gram最大概率分詞？
    • 2.6 基于序列標(biāo)注的分詞方法 是什么？
    • 2.7 基于(Bi-)LSTM的詞性標(biāo)注 是什么？
    • 2.8 詞干提取和詞形還原有什么區(qū)別？
  • 三、特征提取
    • 3.1 （一個具體的）文本分類任務(wù)可以使用哪些特征？
    • 3.2 （對于西文文本）使用單詞和使用字母作為特征相比，差異如何？
    • 3.3 能不能簡單介紹下詞袋模型？
    • 3.4 n-gram 篇
      • 3.4.1 什么是n元語法？為什么要用n-gram？
      • 3.4.2 n-gram算法的局限性是什么？
    • 3.5 主題建模篇
      • 3.5.1 介紹一下主題建模任務(wù)？
      • 3.5.2 主題建模的常用方法
      • 3.5.3 TF-IDF算法是做什么的？簡單介紹下TF-IDF算法
      • 3.5.4 tf-idf高意味著什么？
      • 3.5.5 tf-idf的不足之處
    • 3.6 文本相似度篇
      • 3.6.1 如何計算兩段文本之間的距離？
      • 3.6.2 什么是jaccard距離？
      • 3.6.3 Dice系數(shù)和Jaccard系數(shù)的區(qū)別？
      • 3.6.4 同樣是編輯距離，萊文斯坦距離和漢明距離的區(qū)別在哪里？
      • 3.6.5 寫一下計算編輯距離（萊溫斯坦距離）的編程題吧？
  • 四、模型篇
    • 4.1 fastText 篇
      • 4.1.1 fastText的分類過程？
      • 4.1.2 fastText的優(yōu)點(diǎn)？
    • 4.2 TextCNN 篇
      • 4.2.1 TextCNN進(jìn)行文本分類的過程?
      • 4.2.2 TextCNN可以調(diào)整哪些參數(shù)？
      • 4.2.3 使用CNN作為文本分類器時，不同通道channels對應(yīng)著文本的什么信息？
      • 4.2.4 TextCNN中卷積核的長與寬代表了什么？
      • 4.2.5 在TextCNN中的pooling操作與一般CNN的pooling操作有何不同？
      • 4.2.6 TextCNN的局限性？
    • 4.3 DPCNN 篇
      • 4.3.1 如何解決長文本分類任務(wù)？
      • 4.3.2 簡單介紹DPCNN模型相較于TextCNN的改進(jìn)？
    • 4.4 TextRCNN 篇
      • 4.4.1 簡要介紹TextRCNN相較于TextCNN的改進(jìn)？
    • 4.5 RNN+Attention 篇
      • 4.5.1 RNN+Attention進(jìn)行文本分類任務(wù)的思路，以及為什么要加Attention / 注意力機(jī)制如何應(yīng)用于文本分類領(lǐng)域？
    • 4.6 GNN 圖神經(jīng)網(wǎng)絡(luò)篇
      • 4.6.1 GNN 圖神經(jīng)網(wǎng)絡(luò)如何應(yīng)用于文本分類領(lǐng)域？
    • 4.7 Transformer 篇
      • 4.7.1 基于Transformer的預(yù)訓(xùn)練模型如何應(yīng)用于文本分類領(lǐng)域？
    • 4.8 預(yù)訓(xùn)練模型 篇
      • 4.8.1 你了解哪些預(yù)訓(xùn)練模型？它們的特點(diǎn)是什么？
  • 五、損失函數(shù)
    • 5.1 激活函數(shù)sigmoid篇
      • 5.1.1 二分類問題使用的激活函數(shù)sigmoid簡介？
      • 5.1.2 Sigmod的缺點(diǎn)是什么？
    • 5.2 激活函數(shù)softmax篇
      • 5.2.1 softmax函數(shù)是什么？
      • 5.2.2 softmax函數(shù)怎么求導(dǎo)？
    • 5.3 分類問題使用的損失函數(shù)還有有哪些？
  • 六、模型評估和算法比較
    • 6.1 文本分類任務(wù)使用的評估算法和指標(biāo)有哪些？
    • 6.2 簡單介紹混淆矩陣和kappa？

• 文本分類 trick 常見面試篇

  • 一、文本分類數(shù)據(jù)預(yù)處理 如何做？
  • 二、文本分類 預(yù)訓(xùn)練模型 如何選擇？
  • 三、文本分類 參數(shù) 如何優(yōu)化？
  • 四、文本分類 有哪些棘手任務(wù)？
  • 五、文本分類 標(biāo)簽體系構(gòu)建？
  • 六、文本分類 策略構(gòu)建？

• 用檢索的方式做文本分類 常見面試篇

  • 為什么需要用檢索的方式做文本分類？
  • 基于檢索的方法做文本分類思路？
  • 檢索的方法的召回庫如何構(gòu)建？
  • 檢索的方法 的 訓(xùn)練階段 如何做？
  • 檢索的方法 的 預(yù)測階段 如何做？
  • 用檢索的方式做文本分類 方法 適用場景有哪些？

7、文本匹配 常見面試篇

• 文本匹配模型 ESIM 常見面試篇

  • 為什么需要 ESIM？
  • 介紹一下 ESIM 模型？

• 語義相似度匹配任務(wù)中的 BERT 常見面試篇

  • 一、Sentence Pair Classification Task：使用 CLS
  • 二、cosine similairity
  • 三、長短文本的區(qū)別
  • 四、sentence/word embedding
  • 五、siamese network 方式

8、問答系統(tǒng)常見面試篇

FAQ 檢索式問答系統(tǒng)常見面試篇

• 一、動機(jī)
  • 1.1 問答系統(tǒng)的動機(jī)？
  • 1.2 問答系統(tǒng) 是什么？
• 二、FAQ 檢索式問答系統(tǒng)介紹篇
  • 2.1 FAQ 檢索式問答系統(tǒng) 是 什么？
  • 2.2 query 匹配標(biāo)準(zhǔn) QA 的核心是什么?
• 三、FAQ 檢索式問答系統(tǒng) 方案篇
  • 3.1 常用 方案有哪些？
  • 3.2 為什么 QQ 匹配比較常用？
    • 3.2.1 QQ 匹配的優(yōu)點(diǎn)有哪些？
    • 3.2.2 QQ 匹配的語義空間是什么？
    • 3.2.3 QQ 匹配的語料的穩(wěn)定性是什么？
    • 3.2.4 QQ 匹配的業(yè)務(wù)回答與算法模型的解耦是什么？
    • 3.2.5 QQ 匹配的新問題發(fā)現(xiàn)與去重是什么？
    • 3.2.6 QQ 匹配的上線運(yùn)行速度是什么？
  • 3.3 QQ 匹配一般處理流程是怎么樣？ 【假設(shè) 標(biāo)準(zhǔn)問題庫 已處理好】
• 四、FAQ 標(biāo)準(zhǔn)問題庫構(gòu)建篇
  • 4.1 如何發(fā)現(xiàn) FAQ 中標(biāo)準(zhǔn)問題？
  • 4.2 FAQ 如何做拆分？
  • 4.3 FAQ 如何做合并？
  • 4.4 FAQ 標(biāo)準(zhǔn)庫如何實(shí)時更新？
• 五、FAQ 標(biāo)準(zhǔn)問題庫答案優(yōu)化篇
  • 5.1 FAQ 標(biāo)準(zhǔn)問題庫答案如何優(yōu)化？

問答系統(tǒng)工具篇常見面試篇

• Faiss 常見面試篇
  • 一、動機(jī)篇
    • 1.1 傳統(tǒng)的相似度算法所存在的問題？
  • 二、介紹篇
    • 2.1 什么是 Faiss ？
    • 2.2 Faiss 如何使用？
    • 2.3 Faiss原理與核心算法
  • 三、Faiss 實(shí)戰(zhàn)篇
    • 3.1 Faiss 如何安裝？
    • 3.2 Faiss 的索引Index有哪些？
    • 3.3 Faiss 的索引Index都怎么用？
      • 3.3.1 數(shù)據(jù)預(yù)備
      • 3.3.2 暴力美學(xué) IndexFlatL2
      • 3.3.3 閃電俠 IndexIVFFlat
      • 3.3.4 內(nèi)存管家 IndexIVFPQ
    • 3.4 Faiss 然后使用 GPU？
  • 四、 Faiss 對比篇
    • 4.1 sklearn cosine_similarity 和 Faiss 哪家強(qiáng)

9、對話系統(tǒng)常見面試篇

• 對話系統(tǒng) 常見面試篇
  • 一、對話系統(tǒng) 介紹篇
    • 1.1 對話系統(tǒng)有哪幾種？
    • 1.2 這幾種對話系統(tǒng)的區(qū)別？
  • 二、多輪對話系統(tǒng) 介紹篇
    • 2.1 為什么要用 多輪對話系統(tǒng)？
    • 2.2 常見的多輪對話系統(tǒng)解決方案是什么？
  • 三、任務(wù)型對話系統(tǒng) 介紹篇
    • 3.1 什么是任務(wù)型對話系統(tǒng)？
    • 3.2 任務(wù)型對話系統(tǒng)的流程是怎么樣？
    • 3.3 任務(wù)型對話系統(tǒng) 語言理解（SLU）篇
      • 3.3.1 什么是 語言理解（SLU）？
      • 3.3.2 語言理解（SLU）的輸入輸出是什么？
      • 3.3.3 語言理解（SLU）所使用的技術(shù)是什么？
    • 3.4 任務(wù)型對話系統(tǒng) DST（對話狀態(tài)跟蹤）篇
      • 3.4.1 什么是 DST（對話狀態(tài)跟蹤）？
      • 3.4.2 DST（對話狀態(tài)跟蹤）的輸入輸出是什么？
      • 3.4.3 DST（對話狀態(tài)跟蹤）存在問題和解決方法？
      • 3.4.4 DST（對話狀態(tài)跟蹤）實(shí)現(xiàn)方式是什么？
    • 3.5 任務(wù)型對話系統(tǒng) DPO（對話策略學(xué)習(xí)）篇
      • 3.5.1 DPO（對話策略學(xué)習(xí)）是什么？
      • 3.5.2 DPO（對話策略學(xué)習(xí)）的輸入輸出是什么？
      • 3.5.3 DPO（對話策略學(xué)習(xí)）的實(shí)現(xiàn)方法是什么？
    • 3.6 任務(wù)型對話系統(tǒng) NLG（自然語言生成）篇
      • 3.6.1 NLG（自然語言生成）是什么？
      • 3.6.2 NLG（自然語言生成）的輸入輸出是什么？
      • 3.6.3 NLG（自然語言生成）的實(shí)現(xiàn)方式？

10、知識圖譜常見面試篇

知識圖譜常見面試篇

• 一、知識圖譜簡介
  • 1.1 引言
  • 1.2 什么是知識圖譜呢？
    • 1.2.1 什么是圖（Graph）呢？
    • 1.2.2 什么是 Schema 呢？
  • 1.3 知識圖譜的類別有哪些？
  • 1.4 知識圖譜的價值在哪呢？
• 二、怎么構(gòu)建知識圖譜呢？
  • 2.1 知識圖譜的數(shù)據(jù)來源于哪里？
  • 2.2 信息抽取的難點(diǎn)在哪里？
  • 2.3 構(gòu)建知識圖譜所涉及的技術(shù)？
  • 2.4、知識圖譜的具體構(gòu)建技術(shù)是什么？
    • 2.4.1 實(shí)體命名識別（Named Entity Recognition）
    • 2.4.2 關(guān)系抽取（Relation Extraction）
    • 2.4.3 實(shí)體統(tǒng)一（Entity Resolution）
    • 2.4.4 指代消解（Disambiguation）
• 三、知識圖譜怎么存儲？
• 四、知識圖譜可以做什么？

KBQA 常見面試篇

• 一、基于詞典和規(guī)則的方法
  • 基于詞典和規(guī)則的方法 實(shí)現(xiàn) KBQA?
  • 基于詞典和規(guī)則的方法 實(shí)現(xiàn) KBQA 流程?
• 二、基于信息抽取的方法
  • 基于信息抽取的方法 實(shí)現(xiàn) KBQA 流程?

Neo4j 常見面試篇

• 一、Neo4J 介紹與安裝
  • 1.1 引言
  • 1.2 Neo4J 怎么下載？
  • 1.3 Neo4J 怎么安裝？
  • 1.4 Neo4J Web 界面 介紹
  • 1.5 Cypher查詢語言是什么？
• 二、Neo4J 增刪查改篇
  • 2.1 引言
  • 2.2 Neo4j 怎么創(chuàng)建節(jié)點(diǎn)？
  • 2.3 Neo4j 怎么創(chuàng)建關(guān)系？
  • 2.4 Neo4j 怎么創(chuàng)建 出生地關(guān)系？
  • 2.5 Neo4j 怎么查詢？
  • 2.6 Neo4j 怎么刪除和修改？
• 三、如何利用 Python 操作 Neo4j 圖數(shù)據(jù)庫？
  • 3.1 neo4j模塊：執(zhí)行CQL ( cypher ) 語句是什么？
  • 3.2 py2neo模塊是什么？
• 四、數(shù)據(jù)導(dǎo)入 Neo4j 圖數(shù)據(jù)庫篇

11、文本摘要常見面試篇

• 一、動機(jī)篇
  • 1.1 什么是文本摘要？
  • 1.2 文本摘要技術(shù)有哪些類型？
• 二、抽取式摘要篇
  • 2.1 抽取式摘要是怎么做的？
    • 2.1.1 句子重要性評估算法有哪些？
    • 2.1.2 基于約束的摘要生成方法有哪些？
    • 2.1.3 TextTeaser算法是怎么抽取摘要的？
    • 2.1.4 TextRank算法是怎么抽取摘要的？
  • 2.2 抽取式摘要的可讀性問題是什么？
• 三、壓縮式摘要篇
  • 3.1 壓縮式摘要是怎么做的？
• 四、生成式摘要篇
  • 4.1 生成式摘要是怎么做的？
  • 4.2 生成式摘要存在哪些問題？
  • 4.3 Pointer-generator network解決了什么問題？
• 五、摘要質(zhì)量評估方法
  • 5.1 摘要質(zhì)量的評估方法有哪些類型？
  • 5.2 什么是ROUGE？
  • 5.3 幾種ROUGE指標(biāo)之間的區(qū)別是什么？
  • 5.4 BLEU和ROUGE有什么不同？

文本糾錯篇-常見面試篇

• 一、介紹篇
  • 1.1 什么是文本糾錯？
  • 1.2 常見的文本錯誤類型？
  • 1.3 文本糾錯 常用方法？
• 二、pipeline 方法 介紹篇
  • pipeline 中的 錯誤檢測 如何實(shí)現(xiàn)？
  • pipeline 中的 候選召回 如何實(shí)現(xiàn)？
  • pipeline 中的 糾錯排序 如何實(shí)現(xiàn)？
  • pipeline 中的 ASR 回顯優(yōu)化 如何實(shí)現(xiàn)？

文本摘要-常見面試篇

• 一、動機(jī)篇
  • 1.1 什么是文本摘要？
  • 1.2 文本摘要技術(shù)有哪些類型？
• 二、抽取式摘要篇
  • 2.1 抽取式摘要是怎么做的？
    • 2.1.1 句子重要性評估算法有哪些？
    • 2.1.2 基于約束的摘要生成方法有哪些？
    • 2.1.3 TextTeaser算法是怎么抽取摘要的？
    • 2.1.4 TextRank算法是怎么抽取摘要的？
  • 2.2 抽取式摘要的可讀性問題是什么？
• 三、壓縮式摘要篇
  • 3.1 壓縮式摘要是怎么做的？
• 四、生成式摘要篇
  • 4.1 生成式摘要是怎么做的？
  • 4.2 生成式摘要存在哪些問題？
  • 4.3 Pointer-generator network解決了什么問題？
• 五、摘要質(zhì)量評估方法
  • 5.1 摘要質(zhì)量的評估方法有哪些類型？
  • 5.2 什么是ROUGE？
  • 5.3 幾種ROUGE指標(biāo)之間的區(qū)別是什么？
  • 5.4 BLEU和ROUGE有什么不同？

12、文本生成常見面試篇

• 生成模型的解碼方法 常見面試篇
  • 什么是生成模型？
  • 介紹一下 基于搜索的解碼方法？
  • 介紹一下 基于采樣的解碼方法？

13、深度學(xué)習(xí)算法篇 常見面試篇

• CNN 常見面試篇

  • 一、動機(jī)篇
  • 二、CNN 卷積層篇
    • 2.1 卷積層的本質(zhì)是什么？
    • 2.2 CNN 卷積層與全連接層的聯(lián)系？
    • 2.3 channel的含義是什么？
  • 三、CNN 池化層篇
    • 3.1 池化層針對區(qū)域是什么？
    • 3.2 池化層的種類有哪些？
    • 3.3 池化層的作用是什么？
    • 3.4 池化層 反向傳播 是什么樣的？
    • 3.5 mean pooling 池化層 反向傳播 是什么樣的？
    • 3.6 max pooling 池化層 反向傳播 是什么樣的？
  • 四、CNN 整體篇
    • 4.1 CNN 的流程是什么？
    • 4.2 CNN 的特點(diǎn)是什么？
    • 4.3 卷積神經(jīng)網(wǎng)絡(luò)為什么會具有平移不變性？
    • 4.4 卷積神經(jīng)網(wǎng)絡(luò)中im2col是如何實(shí)現(xiàn)的？
    • 4.5 CNN 的局限性是什么？
  • 五、Iterated Dilated CNN 篇
    • 5.1 什么是 Dilated CNN 空洞卷積？
    • 5.2 什么是 Iterated Dilated CNN？
  • 六、反卷積 篇
    • 6.1 解釋反卷積的原理和用途？

• RNN 常見面試篇

  • 一、RNN 篇
    • 1.2 為什么需要 RNN?
    • 1.2 RNN 結(jié)構(gòu)是怎么樣的？
    • 1.3 RNN 前向計算公式？
    • 1.4 RNN 存在什么問題？
  • 二、長短時記憶網(wǎng)絡(luò)(Long Short Term Memory Network, LSTM) 篇
    • 2.1 為什么 需要 LSTM?
    • 2.2 LSTM 的結(jié)構(gòu)是怎么樣的?
    • 2.3 LSTM 如何緩解 RNN 梯度消失和梯度爆炸問題?
    • 2.3 LSTM 的流程是怎么樣的?
    • 2.4 LSTM 中激活函數(shù)區(qū)別?
    • 2.5 LSTM的復(fù)雜度？
    • 2.6 LSTM 存在什么問題？
  • 三、GRU (Gated Recurrent Unit)
    • 3.1 為什么 需要 GRU?
    • 3.2 GRU 的結(jié)構(gòu)是怎么樣的?
    • 3.3 GRU 的前向計算?
    • 3.4 GRU 與其他 RNN系列模型的區(qū)別？
  • 四、RNN系列模型篇
    • 4.1 RNN系列模型 有什么特點(diǎn)？

• Attention 常見面試篇

  • 一、seq2seq 篇
    • 1.1 seq2seq （Encoder-Decoder）是什么？
    • 1.2 seq2seq 中 的 Encoder 怎么樣？
    • 1.3 seq2seq 中 的 Decoder 怎么樣？
    • 1.4 在 數(shù)學(xué)角度上 的 seq2seq ，你知道么？
    • 1.5 seq2seq 存在 什么 問題？
  • 二、Attention 篇
    • 2.1 什么是 Attention?
    • 2.2 為什么引入 Attention機(jī)制？
    • 2.3 Attention 有什么作用？
    • 2.4 Attention 流程是怎么樣？
      • 步驟一 執(zhí)行encoder (與 seq2seq 一致)
      • 步驟二 計算對齊系數(shù) a
      • 步驟三 計算上下文語義向量 C
      • 步驟四 更新decoder狀態(tài)
      • 步驟五 計算輸出預(yù)測詞
    • 2.5 Attention 的應(yīng)用領(lǐng)域有哪些？
  • 三、Attention 變體篇
    • 3.1 Soft Attention 是什么？
    • 3.2 Hard Attention 是什么？
    • 3.3 Global Attention 是什么？
    • 3.4 Local Attention 是什么？
    • 3.5 self-attention 是什么？

• 生成對抗網(wǎng)絡(luò) GAN 常見面試篇

  • 一、動機(jī)
  • 二、介紹篇
    • 2.1 GAN 的基本思想
    • 2.2 GAN 基本介紹
      • 2.2.1 GAN 的基本結(jié)構(gòu)
      • 2.2.2 GAN 的基本思想
  • 三、訓(xùn)練篇
    • 3.1 生成器介紹
    • 3.2 判別器介紹
    • 3.3 訓(xùn)練過程
    • 3.4 訓(xùn)練所涉及相關(guān)理論基礎(chǔ)
  • 四、總結(jié)

14、Transformer 常見面試篇

• Transformer 常見面試篇

  • 一、動機(jī)篇
    • 1.1 為什么要有 Transformer?
    • 1.2 Transformer 作用是什么？
  • 二、整體結(jié)構(gòu)篇
    • 2.1 Transformer 整體結(jié)構(gòu)是怎么樣？
    • 2.2 Transformer-encoder 結(jié)構(gòu)怎么樣？
    • 2.3 Transformer-decoder 結(jié)構(gòu)怎么樣?
  • 三、模塊篇
    • 3.1 self-attention 模塊
      • 3.1.1 傳統(tǒng) attention 是什么?
      • 3.1.2 為什么 會有self-attention?
      • 3.1.3 self-attention 的核心思想是什么?
      • 3.1.4 self-attention 的目的是什么?
      • 3.1.5 self-attention 的怎么計算的?
      • 3.1.6 self-attention 為什么Q和K使用不同的權(quán)重矩陣生成，為何不能使用同一個值進(jìn)行自身的點(diǎn)乘？
      • 3.1.7 為什么采用點(diǎn)積模型的 self-attention 而不采用加性模型？
      • 3.1.8 Transformer 中在計算 self-attention 時為什么要除以 d？
      • 3.1.9 self-attention 如何解決長距離依賴問題？
      • 3.1.10 self-attention 如何并行化？
    • 3.2 multi-head attention 模塊
      • 3.2.1 multi-head attention 的思路是什么樣?
      • 3.2.2 multi-head attention 的步驟是什么樣?
      • 3.2.3 Transformer為何使用多頭注意力機(jī)制？（為什么不使用一個頭）
      • 3.2.4 為什么在進(jìn)行多頭注意力的時候需要對每個head進(jìn)行降維？
      • 3.2.5 multi-head attention 代碼介紹
    • 3.3 位置編碼（Position encoding）模塊
      • 3.3.1 為什么要 加入 位置編碼（Position encoding） ？
      • 3.3.2 位置編碼（Position encoding）的思路是什么 ？
      • 3.3.3 位置編碼（Position encoding）的作用是什么 ？
      • 3.3.4 位置編碼（Position encoding）的步驟是什么 ？
      • 3.3.5 Position encoding為什么選擇相加而不是拼接呢？
      • 3.3.6 Position encoding和 Position embedding的區(qū)別？
      • 3.3.7 為何17年提出Transformer時采用的是 Position Encoder 而不是Position Embedding？而Bert卻采用的是 Position Embedding ？
      • 3.3.8 位置編碼（Position encoding）的代碼介紹
    • 3.4 殘差模塊模塊
      • 3.4.1 為什么要 加入 殘差模塊？
    • 3.5 Layer normalization 模塊
      • 3.5.1 為什么要 加入 Layer normalization 模塊？
      • 3.5.2 Layer normalization 模塊的是什么？
      • 3.5.3 Batch normalization 和 Layer normalization 的區(qū)別？
      • 3.5.4 Transformer 中為什么要舍棄 Batch normalization 改用 Layer normalization 呢?
      • 3.5.5 Layer normalization 模塊代碼介紹
    • 3.6 Mask 模塊
      • 3.6.1 什么是 Mask？
      • 3.6.2 Transformer 中用到 幾種 Mask？
      • 3.6.3 能不能介紹一下 Transformer 中用到幾種 Mask？

• 關(guān)于 Transformer 問題及改進(jìn)

  • 一、Transformer 問題篇
    • 1.1 既然 Transformer 怎么牛逼，是否還存在一些問題？
  • 二、每個問題的解決方法是什么？
    • 2.1 問題一：Transformer 不能很好的處理超長輸入問題
      • 2.1.1 Transformer 固定了句子長度？
      • 2.1.2 Transformer 固定了句子長度 的目的是什么？
      • 2.1.3 Transformer 針對該問題的處理方法？
    • 2.2 問題二：Transformer 方向信息以及相對位置 的 缺失 問題
    • 2.3 問題三：缺少Recurrent Inductive Bias
    • 問題四：問題四：Transformer是非圖靈完備的： 非圖靈完備通俗的理解，就是無法解決所有的問題
    • 問題五：transformer缺少conditional computation；
    • 問題六：transformer 時間復(fù)雜度 和 空間復(fù)雜度 過大問題；

15、NLP 技巧面

數(shù)據(jù)增強(qiáng)（EDA） 面試篇

• 一、動機(jī)篇
  • 1.1 什么是 數(shù)據(jù)增強(qiáng)？
  • 1.2 為什么需要 數(shù)據(jù)增強(qiáng)？
• 二、常見的數(shù)據(jù)增強(qiáng)方法篇
  • 2.1 詞匯替換篇
    • 2.1.1 什么是基于詞典的替換方法？
    • 2.1.2 什么是基于詞向量的替換方法？
    • 2.1.3 什么是基于 MLM 的替換方法？
    • 2.1.4 什么是基于 TF-IDF 的詞替換？
  • 2.2 詞匯插入篇
    • 2.2.1 什么是隨機(jī)插入法？
  • 2.3 詞匯交換篇
    • 2.3.1 什么是隨機(jī)交換法？
  • 2.4 詞匯刪除篇
    • 2.4.1 什么是隨機(jī)刪除法？
  • 2.5 回譯篇
    • 2.5.1 什么是回譯法？
  • 2.6 交叉增強(qiáng)篇
    • 2.6.1 什么是 交叉增強(qiáng)篇
  • 2.7 語法樹篇
    • 2.7.1 什么是語法樹操作？
  • 2.8 對抗增強(qiáng)篇
    • 2.8.1 什么是對抗增強(qiáng)？

主動學(xué)習(xí) 面試篇

• 一、動機(jī)篇
  • 1.1 主動學(xué)習(xí)是什么？
  • 1.2 為什么需要主動學(xué)習(xí)？
• 二、主動學(xué)習(xí)篇
  • 2.1 主動學(xué)習(xí)的思路是什么？
  • 2.2 主動學(xué)習(xí)方法 的價值點(diǎn)在哪里？
• 三、樣本選取策略篇
  • 3.1 以未標(biāo)記樣本的獲取方式的差別進(jìn)行劃分
  • 3.2 測試集內(nèi)選取“信息”量最大的數(shù)據(jù)標(biāo)記
    • 3.2.1 測試集內(nèi)選取“信息”量最大的數(shù)據(jù)標(biāo)記
    • 3.2.2 依賴不確定度的樣本選取策略（Uncertainty Sampling, US）
    • 3.2.3 基于委員會查詢的方法（Query-By-Committee，QBC）

數(shù)據(jù)增強(qiáng) 之 對抗訓(xùn)練 面試篇

• 一、介紹篇
  • 1.1 什么是 對抗訓(xùn)練 ？
  • 1.2 為什么 對抗訓(xùn)練 能夠 提高模型效果？
  • 1.3 對抗訓(xùn)練 有什么特點(diǎn)？
  • 1.4 對抗訓(xùn)練 的作用?
• 二、概念篇
  • 2.1 對抗訓(xùn)練的基本概念?
  • 2.2 如何計算擾動?
  • 2.3 如何優(yōu)化?
• 三、實(shí)戰(zhàn)篇
  • 3.1 NLP 中經(jīng)典對抗訓(xùn)練 之 Fast Gradient Method（FGM）
  • 3.2 NLP 中經(jīng)典對抗訓(xùn)練 之 Projected Gradient Descent（PGD）

臟數(shù)據(jù)處理 面試篇

• 一、動機(jī)
  • 1.1 何為“臟數(shù)據(jù)”？
  • 1.2 “臟數(shù)據(jù)” 會帶來什么后果？
• 二、“臟數(shù)據(jù)” 處理篇
  • 2.1 “臟數(shù)據(jù)” 怎么處理呢？
  • 2.2 置信學(xué)習(xí)方法篇
    • 2.2.1 什么是 置信學(xué)習(xí)方法？
    • 2.2.2 置信學(xué)習(xí)方法 優(yōu)點(diǎn)？
    • 2.2.3 置信學(xué)習(xí)方法 怎么做？
    • 2.2.4 置信學(xué)習(xí)方法 怎么用？有什么開源框架？
    • 2.2.5 置信學(xué)習(xí)方法 的工作原理？

batch_size設(shè)置 面試篇

• 一、訓(xùn)練模型時，batch_size的設(shè)置，學(xué)習(xí)率的設(shè)置?

早停法 EarlyStopping 面試篇

• 一、 為什么要用 早停法 EarlyStopping？
• 二、 早停法 EarlyStopping 是什么？
• 三、早停法 torch 版本怎么實(shí)現(xiàn)？

標(biāo)簽平滑法 LabelSmoothing 面試篇

• 一、為什么要有 標(biāo)簽平滑法 LabelSmoothing？
• 二、 標(biāo)簽平滑法 是什么？
• 三、 標(biāo)簽平滑法 torch 怎么復(fù)現(xiàn)？

bert-trick-面試篇

Bert 未登錄詞處理 面試篇

• 什么是 Bert 未登錄詞？
• Bert 未登錄詞 如何處理？
• Bert 未登錄詞各種處理方法 有哪些優(yōu)缺點(diǎn)？

BERT在輸入層引入額外特征 面試篇

• BERT在輸入層如何引入額外特征？

關(guān)于BERT 繼續(xù)預(yù)訓(xùn)練 面試篇

• 什么是 繼續(xù)預(yù)訓(xùn)練？
• 為什么會存在 【數(shù)據(jù)分布/領(lǐng)域差異】大 問題？
• 如何進(jìn)行 繼續(xù)預(yù)訓(xùn)練？
• 還有哪些待解決問題？
• 訓(xùn)練數(shù)據(jù)問題解決方案？
• 知識缺乏問題解決方案？
• 知識理解缺乏問題解決方案？

BERT如何處理篇章級長文本 面試篇

• 為什么 Bert 不能 處理 長文本？
• BERT 有哪些處理篇章級長文本?

16、Prompt Tuning 面試篇

Prompt 面試篇

1. 什么是prompt？
2. 如何設(shè)計prompt？
3. prompt進(jìn)階——如何自動學(xué)習(xí)prompt？
4. Prompt 有哪些關(guān)鍵要點(diǎn)？
5. Prompt 如何實(shí)現(xiàn)？

Prompt 文本生成 面試篇

1. Prompt之文本生成評估手段有哪些？
2. Prompt文本生成具體任務(wù)有哪些？

LoRA 面試篇

1. 什么是lora？
2. lora 是 怎么做的呢？
3. lora 為什么可以這樣做？
4. 用一句話描述 lora？
5. lora 優(yōu)點(diǎn)是什么？
6. lora 缺點(diǎn)是什么？
7. lora 如何實(shí)現(xiàn)？

PEFT面試篇

• 一、微調(diào) Fine-tuning 篇
  • 1.1 什么是 微調(diào) Fine-tuning ？
  • 1.2 微調(diào) Fine-tuning 基本思想是什么？
• 二、輕度微調(diào)（lightweight Fine-tuning）篇
  • 2.1 什么是 輕度微調(diào)（lightweight Fine-tuning）？
• 三、適配器微調(diào)（Adapter-tuning）篇
  • 3.1 什么 是 適配器微調(diào)（Adapter-tuning）？
  • 3.2 適配器微調(diào)（Adapter-tuning）變體有哪些？
• 四、提示學(xué)習(xí)（Prompting）篇
  • 4.1 什么是 提示學(xué)習(xí)（Prompting）？
  • 4.2 提示學(xué)習(xí)（Prompting）的目的是什么？
  • 4.3 提示學(xué)習(xí)（Prompting） 代表方法有哪些？
    • 4.3.1 前綴微調(diào)（Prefix-tining）篇
      • 4.3.1.1 什么是 前綴微調(diào)（Prefix-tining）？
      • 4.3.1.2 前綴微調(diào)（Prefix-tining）的核心是什么？
      • 4.3.1.3 前綴微調(diào)（Prefix-tining）的技術(shù)細(xì)節(jié)有哪些？
      • 4.3.1.4 前綴微調(diào)（Prefix-tining）的優(yōu)點(diǎn)是什么？
      • 4.3.1.5 前綴微調(diào)（Prefix-tining）的缺點(diǎn)是什么？
    • 4.3.2 指示微調(diào)（Prompt-tuning）篇
      • 4.3.2.1 什么是 指示微調(diào)（Prompt-tuning）？
      • 4.3.2.2 指示微調(diào)（Prompt-tuning）的核心思想？
      • 4.3.2.3 指示微調(diào)（Prompt-tuning）的 優(yōu)點(diǎn)/貢獻(xiàn) 是什么？
      • 4.3.2.4 指示微調(diào)（Prompt-tuning）的 缺點(diǎn) 是什么？
      • 4.3.2.5 指示微調(diào)（Prompt-tuning）與 Prefix-tuning 區(qū)別 是什么？
      • 4.3.2.6 指示微調(diào)（Prompt-tuning）與 fine-tuning 區(qū)別 是什么？
    • 4.3.3 P-tuning 篇
      • 4.3.3.1 P-tuning 動機(jī)是什么？
      • 4.3.3.2 P-tuning 核心思想是什么？
      • 4.3.3.3 P-tuning 做了哪些改進(jìn)？
      • 4.3.3.4 P-tuning 有哪些優(yōu)點(diǎn)/貢獻(xiàn)？
      • 4.3.3.5 P-tuning 有哪些缺點(diǎn)？
    • 4.3.4 P-tuning v2 篇
      • 4.3.4.1 為什么需要 P-tuning v2？
      • 4.3.4.2 P-tuning v2 是什么？
      • 4.3.4.3 P-tuning v2 有哪些優(yōu)點(diǎn)？
      • 4.3.4.4 P-tuning v2 有哪些缺點(diǎn)？
    • 4.3.5 PPT 篇
      • 4.3.5.1 為什么需要 PPT ？
      • 4.3.5.2 PPT 核心思想 是什么？
      • 4.3.5.3 PPT 具體做法是怎么樣？
      • 4.3.5.4 常用的soft prompt初始化方法？
      • 4.3.5.5 PPT 的優(yōu)點(diǎn)是什么？
      • 4.3.5.6 PPT 的缺點(diǎn)是什么？
  • 4.4 提示學(xué)習(xí)（Prompting） 優(yōu)點(diǎn) 是什么？
  • 4.5 提示學(xué)習(xí)（Prompting） 本質(zhì) 是什么？
• 五、指令微調(diào)（Instruct-tuning）篇
  • 5.1 為什么需要 指令微調(diào)（Instruct-tuning）？
  • 5.2 指令微調(diào)（Instruct-tuning）是什么？
  • 5.3 指令微調(diào)（Instruct-tuning）的優(yōu)點(diǎn)是什么？
  • 5.4 指令微調(diào)（Instruct-tuning） vs 提升學(xué)習(xí)（Prompting）？
  • 5.5 指令微調(diào)（Instruct-tuning） vs 提升學(xué)習(xí)（Prompting） vs Fine-tuning？
• 六、指令提示微調(diào)（Instruct Prompt tuning）篇
  • 6.1 為什么需要 指令微調(diào)（Instruct-tuning）？
  • 6.2 指令微調(diào)（Instruct-tuning） 是什么？
  • 6.3 指令微調(diào)（Instruct-tuning） 在不同任務(wù)上性能？
• 七、self-instruct篇
  • 7.1 什么是 self-instruct？
• 八、Chain-of-Thought 篇
  • 8.1 為什么需要 Chain-of-Thought ？
  • 8.2 什么是 Chain-of-Thought ？
  • 8.3 Chain-of-Thought 的思路是怎么樣的？
  • 8.4 Chain-of-Thought 的優(yōu)點(diǎn)是什么？
  • 8.5 為什么 chain-of-thought 會成功？
• 九、LoRA 篇
  • 9.1 LoRA 篇
    • 9.1.1 LoRA 核心思想是什么？
    • 9.1.2 LoRA 具體思路是什么？
    • 9.1.3 LoRA 優(yōu)點(diǎn)是什么？
    • 9.1.4 LoRA 缺點(diǎn)是什么？
  • 9.2 AdaLoRA 篇
    • 9.2.1 AdaLoRA 核心思想是什么？
    • 9.2.2 AdaLoRA 實(shí)現(xiàn)思路是什么？
  • 9.3 DyLoRA 篇
    • 9.3.1 AdaLoRA 動機(jī)是什么？
    • 9.3.2 AdaLoRA 核心思想是什么？
    • 9.3.3 AdaLoRA 優(yōu)點(diǎn)是什么？
• 十、BitFit 篇
  • 10.1 AdaLoRA 核心思想是什么？
  • 10.2 AdaLoRA 優(yōu)點(diǎn)是什么？
  • 10.3 AdaLoRA 缺點(diǎn)是什么？

17、LLMs 面試篇

現(xiàn)在達(dá)模型LLM，微調(diào)方式有哪些？各有什么優(yōu)缺點(diǎn)？

• 現(xiàn)在達(dá)模型LLM，微調(diào)方式有哪些？各有什么優(yōu)缺點(diǎn)？

GLM：ChatGLM的基座模型 常見面試題

• GLM 的 核心是什么？
• GLM 的 模型架構(gòu)是什么？
• GLM 如何進(jìn)行 多任務(wù)訓(xùn)練？
• 在進(jìn)行 NLG 時， GLM 如何保證 生成長度的未知性？
• GLM 的 多任務(wù)微調(diào)方式有什么差異？
• GLM 的 多任務(wù)微調(diào)方式有什么優(yōu)點(diǎn)？

18、基礎(chǔ)算法 常見面試篇

• 過擬合和欠擬合 常見面試篇

  • 一、過擬合和欠擬合 是什么？
  • 二、過擬合/高方差（overfiting / high variance）篇
    • 2.1 過擬合是什么及檢驗(yàn)方法？
    • 2.2 導(dǎo)致過擬合的原因是什么？
    • 2.3 過擬合的解決方法是什么？
  • 三、欠擬合/高偏差（underfiting / high bias）篇
    • 3.1 欠擬合是什么及檢驗(yàn)方法？
    • 3.2 導(dǎo)致欠擬合的原因是什么？
    • 3.3 過擬合的解決方法是什么？

• BatchNorm vs LayerNorm 常見面試篇

  • 一、動機(jī)篇
    • 1.1 獨(dú)立同分布（independent and identically distributed）與白化
    • 1.2 （ Internal Covariate Shift，ICS）
    • 1.3 ICS問題帶來的后果是什么？
  • 二、Normalization 篇
    • 2.1 Normalization 的通用框架與基本思想
  • 三、Batch Normalization 篇
    • 3.1 Batch Normalization（縱向規(guī)范化）是什么？
    • 3.2 Batch Normalization（縱向規(guī)范化）存在什么問題？
    • 3.3 Batch Normalization（縱向規(guī)范化）適用的場景是什么？
    • 3.4 BatchNorm 存在什么問題？
  • 四、Layer Normalization（橫向規(guī)范化） 篇
    • 4.1 Layer Normalization（橫向規(guī)范化）是什么？
    • 4.2 Layer Normalization（橫向規(guī)范化）有什么用？
  • 五、BN vs LN 篇
  • 六、主流 Normalization 方法為什么有效？

• 激活函數(shù) 常見面試篇

  • 一、動機(jī)篇
    • 1.1 為什么要有激活函數(shù)？
  • 二、激活函數(shù)介紹篇
    • 2.1 sigmoid 函數(shù)篇
      • 2.1.1 什么是 sigmoid 函數(shù)？
      • 2.1.2 為什么選 sigmoid 函數(shù) 作為激活函數(shù)？
      • 2.1.3 sigmoid 函數(shù) 有什么缺點(diǎn)？
    • 2.2 tanh 函數(shù)篇
      • 2.2.1 什么是 tanh 函數(shù)？
      • 2.2.2 為什么選 tanh 函數(shù) 作為激活函數(shù)？
      • 2.2.3 tanh 函數(shù) 有什么缺點(diǎn)？
    • 2.3 relu 函數(shù)篇
      • 2.3.1 什么是 relu 函數(shù)？
      • 2.3.2 為什么選 relu 函數(shù) 作為激活函數(shù)？
      • 2.3.3 relu 函數(shù) 有什么缺點(diǎn)？
  • 三、激活函數(shù)選擇篇

• 正則化常見面試篇

  • 一、L0，L1，L2正則化 篇
    • 1.1 正則化 是什么？
    • 1.2 什么是 L0 正則化 ？
    • 1.3 什么是 L1 （稀疏規(guī)則算子 Lasso regularization）正則化 ？
    • 1.4 什么是 L2 正則化（嶺回歸 Ridge Regression 或者 權(quán)重衰減 Weight Decay）正則化 ？
  • 二、對比篇
    • 2.1 什么是結(jié)構(gòu)風(fēng)險最小化？
    • 2.2 從結(jié)構(gòu)風(fēng)險最小化的角度理解L1和L2正則化
    • 2.3 L1 vs L2
  • 三、dropout 篇
    • 3.1 什么是 dropout？
    • 3.2 dropout 在訓(xùn)練和測試過程中如何操作？
    • 3.3 dropout 如何防止過擬合?

• 優(yōu)化算法及函數(shù) 常見面試篇

  • 一、動機(jī)篇
    • 1.1 為什么需要 優(yōu)化函數(shù)？
    • 1.2 優(yōu)化函數(shù)的基本框架是什么?
  • 二、優(yōu)化函數(shù)介紹篇
    • 2.1 梯度下降法是什么?
    • 2.2 隨機(jī)梯度下降法是什么?
    • 2.3 Momentum 是什么?
    • 2.4 SGD with Nesterov Acceleration 是什么?
    • 2.5 Adagrad 是什么?
    • 2.6 RMSProp/AdaDelta 是什么？
    • 2.7 Adam 是什么?
    • 2.8 Nadam 是什么?
  • 三、優(yōu)化函數(shù)學(xué)霸筆記篇

• 歸一化 常見面試篇

  • 一、動機(jī)篇
    • 1.1 為什么要?dú)w一化？
  • 二、介紹篇
    • 2.1 歸一化 有 哪些方法？
    • 2.2 歸一化 各方法 特點(diǎn)？
    • 2.3 歸一化 的 意義？
  • 三、應(yīng)用篇
    • 3.1 哪些機(jī)器學(xué)習(xí)算法 需要做 歸一化？
    • 3.2 哪些機(jī)器學(xué)習(xí)算法 不需要做 歸一化？

• 判別式（discriminative）模型 vs. 生成式(generative)模型 常見面試篇

  • 一、判別式模型篇
    • 1.1 什么是判別式模型？
    • 1.2 判別式模型是思路是什么？
    • 1.3 判別式模型的優(yōu)點(diǎn)是什么？
  • 二、生成式模型篇
    • 2.1 什么是生成式模型？
    • 2.2 生成式模型是思路是什么？
    • 2.3 生成式模型的優(yōu)點(diǎn)是什么？
    • 2.4 生成式模型的缺點(diǎn)是什么？

19、機(jī)器學(xué)習(xí)算法篇 常見面試篇

• 邏輯回歸 常見面試篇

  • 一、介紹篇
    • 1.1什么是邏輯回歸
    • 1.2邏輯回歸的優(yōu)勢
  • 二、推導(dǎo)篇
    • 2.1邏輯回歸推導(dǎo)
    • 2.2求解優(yōu)化

• 支持向量機(jī) 常見面試篇

  • 一、原理篇
    • 1.1 什么是SVM？
      • Q.A
    • 1.2 SVM怎么發(fā)展的？
    • 1.3 SVM存在什么問題？
      • Q.A
  • 二、算法篇
    • 2.1 什么是塊算法？
    • 2.2 什么是分解算法？
    • 2.3 什么是序列最小優(yōu)化算法？
    • 2.4 什么是增量算法？
      • Q.A
  • 三、其他SVM篇
    • 3.1 什么是最小二次支持向量機(jī)？
    • 3.2 什么是模糊支持向量機(jī)？
    • 3.3 什么是粒度支持向量機(jī)？
    • 3.4 什么是多類訓(xùn)練算法？
    • 3.5 什么是孿生支持向量機(jī)？
    • 3.6 什么是排序支持向量機(jī)？
      • Q.A
  • 四、應(yīng)用篇
    • 4.1 模式識別
    • 4.2 網(wǎng)頁分類
    • 4.3 系統(tǒng)建模與系統(tǒng)辨識
    • 4.4 其他
  • 五、對比篇
  • 六、拓展篇

• 集成學(xué)習(xí) 常見面試篇

  • 一、動機(jī)
  • 二、集成學(xué)習(xí)介紹篇
    • 2.1 介紹篇
      • 2.1.1 集成學(xué)習(xí)的基本思想是什么？
      • 2.1.2 集成學(xué)習(xí)為什么有效？
  • 三、 Boosting 篇
    • 3.1 用一句話概括 Boosting？
    • 3.2 Boosting 的特點(diǎn)是什么？
    • 3.3 Boosting 的基本思想是什么？
    • 3.4 Boosting 的特點(diǎn)是什么？
    • 3.5 GBDT 是什么？
    • 3.6 Xgboost 是什么？
  • 四、Bagging 篇
    • 4.1 用一句話概括 Bagging？
    • 4.2 Bagging 的特點(diǎn)是什么？
    • 4.3 Bagging 的基本思想是什么？
    • 4.4 Bagging 的基分類器如何選擇？
    • 4.5 Bagging 的優(yōu)點(diǎn) 是什么？
    • 4.6 Bagging 的特點(diǎn)是什么？
    • 4.7 隨機(jī)森林 是什么？
  • 五、 Stacking 篇
    • 5.1 用一句話概括 Stacking ？
    • 5.2 Stacking 的特點(diǎn)是什么？
    • 5.3 Stacking 的基本思路是什么？
  • 六、常見問題篇
    • 6.1 為什么使用決策樹作為基學(xué)習(xí)器？
    • 6.2 為什么不穩(wěn)定的學(xué)習(xí)器更適合作為基學(xué)習(xí)器？
    • 6.3 哪些模型適合作為基學(xué)習(xí)器？
    • 6.4 Bagging 方法中能使用線性分類器作為基學(xué)習(xí)器嗎？ Boosting 呢？
    • 6.5 Boosting/Bagging 與 偏差/方差 的關(guān)系？
  • 七、對比篇
    • 7.1 LR vs GBDT?

20、關(guān)于 Python

• 關(guān)于 Python

  • 一、什么是*args 和 **kwargs？
    • 1.1 為什么會有 *args 和 **kwargs？
    • 1.2 *args 和 **kwargs 的用途是什么？
    • 1.3 *args 是什么？
    • 1.4 **kwargs是什么？
    • 1.5 *args 與 **kwargs 的區(qū)別是什么？
  • 二、什么是裝飾器？
    • 2.1 裝飾器是什么？
    • 2.2 裝飾器怎么用？
  • 三、Python垃圾回收（GC）
    • 3.1 垃圾回收算法有哪些？
    • 3.2 引用計數(shù)（主要）是什么？
    • 3.3 標(biāo)記-清除是什么？
    • 3.4 分代回收是什么？
  • 四、python的sorted函數(shù)對字典按key排序和按value排序
    • 4.1 python 的sorted函數(shù)是什么？
    • 4.2 python 的sorted函數(shù)舉例說明？
  • 五、直接賦值、淺拷貝和深度拷貝
    • 5.1 概念介紹
    • 5.2 介紹
    • 5.3 變量定義流程
    • 5.3 賦值
    • 5.4 淺拷貝
    • 5.5 深度拷貝
    • 5.6 核心：不可變對象類型 and 可變對象類型
      • 5.6.1 不可變對象類型
      • 5.6.2 可變對象類型
  • 六、進(jìn)程、線程、協(xié)程
    • 6.1 進(jìn)程
      • 6.1.1 什么是進(jìn)程？
      • 6.1.2 進(jìn)程間如何通信？
    • 6.2 線程
      • 6.2.1 什么是線程？
      • 6.2.2 線程間如何通信？
    • 6.3 進(jìn)程 vs 線程
      • 6.3.1 區(qū)別
      • 6.3.2 應(yīng)用場景
    • 6.4 協(xié)程
      • 6.4.1 什么是協(xié)程？
      • 6.4.2 協(xié)程的優(yōu)點(diǎn)？
  • 七、全局解釋器鎖
    • 7.1 什么是全局解釋器鎖？
    • 7.2 GIL有什么作用？
    • 7.3 GIL有什么影響？
    • 7.4 如何避免GIL帶來的影響？

• 關(guān)于 Tensorflow 損失函數(shù)

  • 一、動機(jī)
  • 二、什么是損失函數(shù)？
  • 三、目標(biāo)函數(shù)、損失函數(shù)、代價函數(shù)之間的關(guān)系與區(qū)別？
  • 四、損失函數(shù)的類別
    • 4.1 回歸模型的損失函數(shù)
      • （1）L1正則損失函數(shù)（即絕對值損失函數(shù)）
      • （2）L2正則損失函數(shù)（即歐拉損失函數(shù)）
      • （3）均方誤差（MSE, mean squared error）
      • （4）Pseudo-Huber 損失函數(shù)
    • 4.2 分類模型的損失函數(shù)
      • （1）Hinge損失函數(shù)
      • （2）兩類交叉熵（Cross-entropy）損失函數(shù)
      • （3）Sigmoid交叉熵?fù)p失函數(shù)
      • （4）加權(quán)交叉熵?fù)p失函數(shù)
      • （5）Softmax交叉熵?fù)p失函數(shù)
      • (6) SparseCategoricalCrossentropy vs sparse_categorical_crossentropy
  • 五、總結(jié)