論文鏈接
RAG的一個(gè)棘手問(wèn)題是不知道該召回多少chunk，少了可能丟信息，多了會(huì)引入噪聲信息。雖然有self-reasoning等自我反思的解決辦法，但是整體鏈路太長(zhǎng)，延遲高，不利于工業(yè)落地。

雖然無(wú)法面對(duì)整個(gè)服務(wù)場(chǎng)景，但是對(duì)于知識(shí)密集型數(shù)據(jù)，可以用Speculative RAG解決。所謂知識(shí)密集，即你要問(wèn)的問(wèn)題只集中在少數(shù)幾個(gè)chunk里，不需要長(zhǎng)篇大論地找答案，例如一個(gè)章節(jié)就解決一個(gè)事，你要問(wèn)這個(gè)事，把這個(gè)章節(jié)拿來(lái)就全解決了。

對(duì)于這種數(shù)據(jù)，Speculative RAG加速的辦法是：（舉個(gè)例子）把72b或32b的大模型換成多個(gè)7b模型，稱(chēng)為draft。RAG檢索到100個(gè)chunk，先用k-means把100個(gè)chunk聚類(lèi)，然后隨機(jī)地把各個(gè)桶里的信息分到每個(gè)draft模型，多個(gè)draft模型并行推理。
！！！因?yàn)橛昧诵∧Ｐ?#xff0c;所以必須保證問(wèn)題足夠簡(jiǎn)單。
并行推理的結(jié)果作為draft被后續(xù)模型評(píng)測(cè)，例如忠誠(chéng)度、相關(guān)度，評(píng)測(cè)結(jié)果最好的作為最終答案。