MT-Metrics 是一類用于評估生成文本質量的指標，最初用于機器翻譯任務，后來擴展到生成任務（如對話生成、文本摘要等）。它的核心思想是通過比較生成文本與參考文本之間的相似性（如詞匯重疊、句法結構、語義相似性）來評估生成質量。

原理

1. BLEU（Bilingual Evaluation Understudy）：

   • 定義：BLEU 通過計算生成文本與參考文本之間的 n-gram 重疊程度來評估生成質量。
   • 公式：
     $$\text{BLEU}=\text{BP}\times \exp \left(\sum _{n=1}^N{w}_n\log p_n\right)$$
     其中：
     • $\text{BP}$ 是 brevity penalty（懲罰過短的生成文本）。
     • $p_n$ 是 n-gram 的精確率。
     • $w_n$ 是權重。
   • 示例：
     • 生成文本與參考文本有 4 個相同的單詞，BLEU 分數(shù)會較高。

2. ROUGE（Recall-Oriented Understudy for Gisting Evaluation）：

   • 定義：ROUGE 通過計算生成文本與參考文本之間的詞匯重疊（尤其是召回率）來評估生成質量。
   • 公式：
     $$\text{ROUGE}=\frac{\text{生成文本與參考文本的詞匯重疊數(shù)}}{\text{參考文本的詞匯總數(shù)}}$$
   • 示例：
     • 生成文本與參考文本有 5 個相同的單詞，參考文本共有 10 個單詞，則 ROUGE 分數(shù)為 50%。

3. METEOR：

   • 定義：METEOR 結合精確匹配、同義詞匹配和句法結構匹配，評估生成文本的質量。
   • 公式：
     $$\text{METEOR}=\frac{\text{精確匹配數(shù)}+\text{同義詞匹配數(shù)}+\text{句法匹配數(shù)}}{\text{生成文本的詞匯總數(shù)}}$$
   • 示例：
     • 生成文本與參考文本有 3 個精確匹配、2 個同義詞匹配，生成文本共有 10 個單詞，則 METEOR 分數(shù)為 50%。

4. BERTScore：

   • 定義：BERTScore 基于預訓練的 BERT 模型，計算生成文本與參考文本之間的語義相似性。
   • 公式：
     $$\text{BERTScore}=\frac{1}{N}\sum _{i=1}^N\text{cosine\_similarity}(\text{BERT}(w_i),\text{BERT}(w_i^{\prime }))$$
     其中：
     • $w_i$ 是生成文本的單詞。
     • $w_i^{\prime }$ 是參考文本的單詞。
   • 示例：
     • 生成文本與參考文本的語義相似性較高，BERTScore 分數(shù)較高。

適用場景

• 開放性問題：例如生成任務（對話生成、文本摘要、故事生成等）。
• 無標準答案的任務：例如創(chuàng)意寫作、長文本生成等。