定義：

????????MRR計(jì)算的是第一個(gè)正確答案的排名的倒數(shù)，并對(duì)所有查詢?nèi)∑骄?/span>。它衡量了模型在排序結(jié)果中快速找到正確答案的能力。

其中：

• Q?是查詢的總數(shù)。
• ranki??是第?i?個(gè)查詢中第一個(gè)正確答案的排名（位置）。如果第一個(gè)正確答案不在結(jié)果列表中，則通常將?ranki??視為一個(gè)非常大的數(shù)（在實(shí)際計(jì)算中可能會(huì)設(shè)為無窮大，但通常會(huì)用0或某個(gè)很小的數(shù)來近似表示，或者簡單地忽略該查詢的貢獻(xiàn)）。然而，更常見的做法是在計(jì)算MRR之前先過濾掉那些沒有正確答案的查詢。

計(jì)算步驟

1. 確定查詢集：首先，你需要有一個(gè)查詢集，其中包含?Q?個(gè)查詢。

2. 獲取排序結(jié)果：對(duì)于每個(gè)查詢，使用你的模型生成一個(gè)排序結(jié)果列表。

3. 找到第一個(gè)正確答案的排名：在排序結(jié)果列表中，找到第一個(gè)正確答案的排名（位置）。如果列表中沒有正確答案，則根據(jù)具體情況處理（如忽略該查詢或?qū)⑵渑琶暈闊o窮大）。

4. 計(jì)算每個(gè)查詢的倒數(shù)排名：對(duì)每個(gè)查詢，計(jì)算其第一個(gè)正確答案排名的倒數(shù)（即?ranki?1?）。

5. 計(jì)算MRR：將所有查詢的倒數(shù)排名相加，然后除以查詢的總數(shù)?Q。

注意事項(xiàng)

• 排名從1開始：在大多數(shù)情況下，排名是從1開始的，即第一個(gè)結(jié)果的位置是1，第二個(gè)結(jié)果的位置是2，依此類推。

• 處理沒有正確答案的查詢：如果某個(gè)查詢?cè)诮Y(jié)果集中沒有正確答案，你可以選擇忽略該查詢（即不在求和時(shí)包含它），或者將其倒數(shù)排名視為0（這實(shí)際上等同于忽略它）。

• 截?cái)?/strong>：在某些情況下，你可能只對(duì)排序結(jié)果的前N個(gè)位置感興趣。在這種情況下，你可以只考慮前N個(gè)位置中的第一個(gè)正確答案來計(jì)算MRR（這被稱為MRR@N）。