ROUGE (Recall-Oriented Understudy for Gisting Evaluation) 是用于評估自動文摘或機器翻譯的一種評估方法，其中的ROUGE-L指標是基于最長公共子序列（Longest Common Subsequence，LCS）來計算的

我們做AI問答系統(tǒng)，需要一些量化指標來作為優(yōu)化人工智能大模型的指導標準，經(jīng)過調(diào)查Rouge-L的特征測量是量化指標的手段之一。

為了采用更精確的分詞算法、詞性還原和停用詞處理，我借助一些自然語言處理的庫，以下是我引入的maven依賴：

<dependency>  <groupId>edu.stanford.nlp</groupId>  <artifactId>stanford-corenlp</artifactId>  <version>3.9.2</version>  
</dependency>  
<dependency>  <groupId>edu.stanford.nlp</groupId>  <artifactId>stanford-corenlp</artifactId>  <version>3.9.2</version>  <classifier>models</classifier>  
</dependency>  
<dependency>  <groupId>junit</groupId>  <artifactId>junit</artifactId>  <version>4.12</version>  <scope>test</scope>  
</dependency>

然后是我的具體代碼實現(xiàn)，因為詞性標注和詞性還原需要借助本地模型實現(xiàn)，為了快速落地量化指標，我暫時不使用詞性標注和詞性還原。

(Recall-Oriented Understudy for Gisting Evaluation) 是用于評估自動文摘或機器翻譯的一種評估方法，其中的ROUGE-L指標是基于最長公共子序列（Longest Common Subsequence，LCS）來計算的。它主要關(guān)注詞序列的匹配程度，不依賴于詞性標注和詞性還原。
因此，即使不使用詞性標注和詞性還原，只要確保分詞正確，你仍然可以得到有效的ROUGE-L指標。

以下是我的代碼具體實現(xiàn)：

package com.xxx.zjtest.testtest.test;import edu.stanford.nlp.ling.CoreAnnotations;
import edu.stanford.nlp.ling.CoreLabel;
import edu.stanford.nlp.pipeline.*;
import edu.stanford.nlp.util.CoreMap;import java.util.*;/**** 不使用詞性標注和詞性還原直接計算ROUGE-L指標本身不會產(chǎn)生問題。**/
public class RougeLCalculator {private static final Set<String> STOP_WORDS = new HashSet<>(Arrays.asList("的", "了", "和", "是", "就", "都", "而", "及", "與", "在")); // 中文停用詞示例列表public static double calculateRougeL(String referenceText, String hypothesisText) {// 創(chuàng)建Stanford CoreNLP管道Properties props = new Properties();props.setProperty("annotators", "tokenize, ssplit"); //加, pos, lemma 會報錯props.setProperty("ssplit.eolonly", "true");StanfordCoreNLP pipeline = new StanfordCoreNLP(props);// 處理參考答案和假設(shè)答案Annotation referenceAnnotation = new Annotation(referenceText);Annotation hypothesisAnnotation = new Annotation(hypothesisText);pipeline.annotate(referenceAnnotation);pipeline.annotate(hypothesisAnnotation);// 獲取參考答案和假設(shè)答案的詞性還原后的單詞列表/*List<String> referenceWords = getLemmatizedWords(referenceAnnotation, STOP_WORDS);List<String> hypothesisWords = getLemmatizedWords(hypothesisAnnotation, STOP_WORDS);*/// 獲取參考答案和假設(shè)答案的分詞列表List<String> referenceWords = getTokenizedWords(referenceAnnotation, STOP_WORDS);List<String> hypothesisWords = getTokenizedWords(hypothesisAnnotation, STOP_WORDS);// 計算ROUGE-L指標return calculateLongestCommonSubsequence(referenceWords, hypothesisWords);}//詞性標注和詞性還原部分，此部分需要使用大模型，無法實現(xiàn)/*private static List<String> getLemmatizedWords(Annotation annotation, Set<String> stopWords) {List<String> words = new ArrayList<>();for (CoreMap sentence : annotation.get(CoreAnnotations.SentencesAnnotation.class)) {for (CoreLabel token : sentence.get(CoreAnnotations.TokensAnnotation.class)) {String word = token.word(); // 獲取分詞后的單詞String pos = token.get(CoreAnnotations.PartOfSpeechAnnotation.class); // 獲取詞性標注String lemma = token.get(CoreAnnotations.LemmaAnnotation.class); // 獲取詞性還原后的單詞if (!stopWords.contains(word) && !pos.equalsIgnoreCase("PUNCT")) { // 過濾停用詞和標點符號words.add(lemma);}}}return words;}*/private static List<String> getTokenizedWords(Annotation annotation, Set<String> stopWords) {List<String> words = new ArrayList<>();for (CoreMap sentence : annotation.get(CoreAnnotations.SentencesAnnotation.class)) {for (CoreLabel token : sentence.get(CoreAnnotations.TokensAnnotation.class)) {String word = token.word(); // 獲取分詞后的單詞if (!stopWords.contains(word)) { // 過濾停用詞words.add(word);}}}return words;}//計算公共最長子序列private static double calculateLongestCommonSubsequence(List<String> referenceWords, List<String> hypothesisWords) {int[][] dp = new int[referenceWords.size() + 1][hypothesisWords.size() + 1];for (int i = 1; i <= referenceWords.size(); i++) {for (int j = 1; j <= hypothesisWords.size(); j++) {if (referenceWords.get(i - 1).equals(hypothesisWords.get(j - 1))) {dp[i][j] = dp[i - 1][j - 1] + 1;} else {dp[i][j] = Math.max(dp[i - 1][j], dp[i][j - 1]);}}}int lcs = dp[referenceWords.size()][hypothesisWords.size()];double precision = (double) lcs / hypothesisWords.size();double recall = (double) lcs / referenceWords.size();double rougeL = 2 * precision * recall / (precision + recall);System.out.println(rougeL);return rougeL;}public static double calculateAverageRougeL(List<String> referenceTexts, List<String> hypothesisTexts) {if (referenceTexts.size() != hypothesisTexts.size()) {throw new IllegalArgumentException("參考文本列表和假設(shè)文本列表的長度必須相等");}double totalRougeL = 0;for (int i = 0; i < referenceTexts.size(); i++) {totalRougeL += calculateRougeL(referenceTexts.get(i), hypothesisTexts.get(i));}return totalRougeL / referenceTexts.size();}public static void main(String[] args) {String yTest1 = "客戶專用網(wǎng)絡(luò)的使用應(yīng)注意以下幾點：\n" +"\n" +"實施方案應(yīng)由公司網(wǎng)絡(luò)管理員組織制定，并與客戶共同協(xié)商制定實施方案。\n" +"禁止將客戶要求隔離的網(wǎng)絡(luò)與未經(jīng)客戶許可的網(wǎng)絡(luò)連通。\n" +"禁止將客戶要求使用的網(wǎng)絡(luò)與公司內(nèi)部網(wǎng)絡(luò)連通。\n" +"禁止在客戶專用網(wǎng)絡(luò)中搭建無線網(wǎng)絡(luò)。\n" +"禁止在客戶專用網(wǎng)絡(luò)中使用筆記本電腦。\n" +"禁止在客戶專用網(wǎng)絡(luò)中未經(jīng)過客戶允許進行互聯(lián)網(wǎng)訪問。\n" +"禁止在客戶專用網(wǎng)絡(luò)中未按照客戶要求執(zhí)行設(shè)備要求。";String nTest1 = "根據(jù)已知信息，客戶專用網(wǎng)絡(luò)的注意事項有以下幾點：\n" +"\n" +"禁止將客戶要求隔離的網(wǎng)絡(luò)與未經(jīng)客戶許可的網(wǎng)絡(luò)連通。\n" +"禁止將客戶要求使用的網(wǎng)絡(luò)與公司內(nèi)部網(wǎng)絡(luò)連通。\n" +"禁止在客戶專用網(wǎng)絡(luò)中搭建無線網(wǎng)絡(luò)。\n" +"禁止在客戶專用網(wǎng)絡(luò)中使用筆記本電腦。\n" +"禁止在客戶專用網(wǎng)絡(luò)中未經(jīng)過客戶允許進行互聯(lián)網(wǎng)訪問。\n" +"禁止在客戶專用網(wǎng)絡(luò)中未按照客戶要求執(zhí)行設(shè)備要求。\n" +"客戶專用網(wǎng)絡(luò)的申請與構(gòu)建應(yīng)由公司網(wǎng)絡(luò)管理員組織制定，并與客戶共同協(xié)商制定實施方案。\n" +"客戶專用網(wǎng)絡(luò)的規(guī)劃與實施應(yīng)由公司網(wǎng)絡(luò)管理員與申請部門共同執(zhí)行，如在實施過程中需要第三方參與，公司網(wǎng)絡(luò)管理員應(yīng)進行監(jiān)督，并與申請部門共同驗收。\n" +"若需使用客戶的內(nèi)部網(wǎng)絡(luò)，必須事先獲得客戶批準，并嚴格遵守客戶的網(wǎng)絡(luò)安全規(guī)定，只能從事和業(yè)務(wù)相關(guān)的工作，不得私自查看其它計算機或客戶內(nèi)部網(wǎng)絡(luò)上的任何保密信息，禁止任何令客戶網(wǎng)絡(luò)嚴重增加負載或容易引起網(wǎng)絡(luò)故障的行為。\n" +"若需在客戶現(xiàn)場訪問Internet，必須事先獲得客戶批準，并按照客戶的要求采取必要的安全措施。";String yTest2 = "禁止將公司資料、私人信息以及敏感內(nèi)容存儲在個人郵箱中，避免信息泄露。\n" +"及時刪除接收的郵件，避免信息被他人獲取。\n" +"禁止使用私人郵箱用于工作中的業(yè)務(wù)往來，避免信息泄露。\n" +"謹慎使用電子郵件，避免感染病毒，確保郵件發(fā)送保密信息。\n" +"禁止使用工作手機號碼進行非工作目的的網(wǎng)站注冊。\n" +"及時將工作手機的操作系統(tǒng)升級至最新版本。\n" +"工作手機信息安全管理要求，包括保密性、完整性、可用性等方面。";String nTest2="不要將公司資料、私人信息以及敏感內(nèi)容存儲在個人郵箱中，避免信息泄露。\n" +"及時刪除接收的郵件，避免信息被他人獲取。\n" +"禁止使用私人郵箱用于工作中的業(yè)務(wù)往來。\n" +"謹慎使用電子郵件，避免感染病毒，確保郵件發(fā)送保密信息。\n" +"禁止使用工作手機號碼進行非工作目的的網(wǎng)站注冊。\n" +"及時將工作手機的操作系統(tǒng)升級至最新版本。\n" +"遵守公司電子郵件尺寸規(guī)定，不得發(fā)送超大郵件。\n" +"收到不明電子郵件盡量不要回信，含有可疑附件時不得打開，并應(yīng)立即刪除該郵件。\n" +"發(fā)送電子郵件時，應(yīng)認真核對收件人地址，避免誤傳送。\n" +"若發(fā)生電子郵件誤傳送時，應(yīng)立即再發(fā)一封致歉信，聲明發(fā)錯，并請對方將已收到的郵件刪除。\n" +"若郵件含有公司敏感信息，應(yīng)立即向部門領(lǐng)導及業(yè)務(wù)安全部匯報。\n" +"當收到別人發(fā)錯的電子郵件時，應(yīng)立即通知提醒發(fā)件人，若該郵件含有改善敏感信息，應(yīng)將郵件徹底刪除。\n" +"禁止使用手機VPN進行加密。\n" +"禁止使用工作手機接收郵件。\n" +"禁止使用私人郵箱進行郵件收發(fā)。\n" +"禁止使用手機接收或發(fā)送郵件時點擊或打開可疑鏈接或附件，避免被惡意攻擊導致信息泄露。";//計算單個值//System.out.println(calculateRougeL(yTest1,nTest1));// 計算平均值List<String> referenceTexts = Arrays.asList(yTest1, yTest2);List<String> hypothesisTexts = Arrays.asList(nTest1, nTest2);double averageRougeL = calculateAverageRougeL(referenceTexts, hypothesisTexts);System.out.println("平均ROUGE-L值: " + averageRougeL);}
}

• tokenize: 這個注解器用于將文本分解成單詞或標記（tokens）。例如，對于句子"Hello world!"，tokenize會將其分解為兩個標記：“Hello"和"world!”。
• ssplit: 這個注解器用于句子分割，即將文本分割成句子。它根據(jù)標點符號和其他線索來確定句子的邊界。
• ssplit.eolonly: 這是一個特定的句子分割選項。當設(shè)置為true時，它只根據(jù)行尾（end-of-line）符號來分割句子，忽略其他標點符號。這通常用于那些每行只有一個句子的文本。