本文整理了今日發(fā)表在ArXiv上的AI論文中最熱門的TOP5。

論文解讀、論文熱度排序、論文標(biāo)簽、中文標(biāo)題、推薦理由和論文摘要均由賽博馬良平臺上的智能體 「AI論文解讀達(dá)人」提供。

如需查看其他熱門論文，歡迎移步賽博馬良?^_^

TOP1

APAR: LLMs Can Do Auto-Parallel Auto-Regressive Decoding

標(biāo)題：

清華大學(xué)讓大語言模型自動并行自回歸解碼，速度提升高達(dá)4倍！

標(biāo)簽：

Tsinghua、NLP

作者：

Mingdao Liu, Aohan Zeng, Bowen Wang, Peng Zhang, Jie Tang, Yuxiao Dong

推薦理由：

這篇論文由清華大學(xué)發(fā)表，且標(biāo)題提到了大型語言模型（LLMs）的自動并行自回歸解碼（Auto-Parallel Auto-Regressive Decoding），這是一個當(dāng)前AI領(lǐng)域的熱點(diǎn)話題，同時也涉及模型效率提升，這可能意味著在模型推理過程中的一個重要進(jìn)步。清華大學(xué)是一個有影響力的機(jī)構(gòu)，這也增加了論文的吸引力。

論文簡介：
大型語言模型（LLMs）的大規(guī)模采用要求高效的部署策略。然而，自回歸解碼過程是大多數(shù)LLMs生成文本的基礎(chǔ)，它給實(shí)現(xiàn)高效服務(wù)帶來了挑戰(zhàn)。在這項(xiàng)工作中，我們引入了一種并行自回歸生成方法。通過在包含層次結(jié)構(gòu)的通用領(lǐng)域數(shù)據(jù)上進(jìn)行指導(dǎo)調(diào)優(yōu)，我們使LLMs能夠獨(dú)立規(guī)劃其生成過程，并執(zhí)行自動并行自回歸（APAR）生成，顯著減少了生成步驟的數(shù)量。APAR本身可以實(shí)現(xiàn)高達(dá)2倍的加速，當(dāng)與推測性解碼結(jié)合時，加速比可以達(dá)到高達(dá)4倍。此外，APAR在生成過程中減少了鍵值緩存的消耗和注意力計(jì)算。與最先進(jìn)的服務(wù)框架相比，在高吞吐量場景下，這導(dǎo)致吞吐量增加了20-70%，延遲減少了20-35%。

論文解讀鏈接：

https://www.saibomaliang.com/generate?session_id=8939e4ab-3dcd-41a6-be41-1815133918ee

TOP2

An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models

標(biāo)題：
成本降半！斯坦福聯(lián)合華盛頓大學(xué)打造大語言模型精準(zhǔn)微調(diào)新框架

標(biāo)簽：
Stanford、Microsoft、NLP、ML

作者：
Gantavya Bhatt, Yifang Chen, Arnav M. Das, Jifan Zhang, Sang T. Truong, Stephen Mussmann, Yinglun Zhu, Jeffrey Bilmes, Simon S. Du, Kevin Jamieson, Jordan T. Ash, Robert D. Nowak

推薦理由：
這篇論文由斯坦福大學(xué)和微軟聯(lián)合發(fā)表，探討了大型語言模型的標(biāo)簽高效微調(diào)，這是一個非常實(shí)用且具有商業(yè)價值的研究方向。論文的合作機(jī)構(gòu)包括頂尖大學(xué)和大公司，這將吸引更多的關(guān)注。

論文簡介：
在指令數(shù)據(jù)集上進(jìn)行的有監(jiān)督微調(diào)（Supervised finetuning, SFT）在實(shí)現(xiàn)現(xiàn)代大型語言模型（Large Language Models, LLMs）觀察到的卓越零樣本泛化能力方面發(fā)揮了關(guān)鍵作用。然而，為指令生成高質(zhì)量響應(yīng)所需的注釋工作變得代價高昂，特別是隨著指令數(shù)據(jù)集所涵蓋的任務(wù)數(shù)量不斷增加。主動學(xué)習(xí)在從未標(biāo)注的樣本池中識別有用的樣本子集以進(jìn)行注釋方面是有效的，但其高昂的計(jì)算成本仍然是阻礙其在LLMs背景下廣泛應(yīng)用的障礙。為了減輕SFT的注釋成本并規(guī)避主動學(xué)習(xí)的計(jì)算瓶頸，我們提出使用實(shí)驗(yàn)設(shè)計(jì)。實(shí)驗(yàn)設(shè)計(jì)技術(shù)選擇最具信息量的樣本進(jìn)行標(biāo)注，并通常最大化某種不確定性和/或多樣性的概念。在我們的工作中，我們實(shí)現(xiàn)了一個框架，評估了幾種現(xiàn)有的和新穎的實(shí)驗(yàn)設(shè)計(jì)技術(shù)，并發(fā)現(xiàn)這些方法在標(biāo)簽效率上始終能夠顯著提升，同時計(jì)算開銷很小。在生成性任務(wù)上，我們的方法僅需隨機(jī)抽樣所需注釋成本的50%即可達(dá)到相同的泛化性能。

論文解讀鏈接：

https://www.saibomaliang.com/generate?session_id=736178ba-b3b2-4420-a929-12388281f82b

TOP3

Scalable 3D Panoptic Segmentation With Superpoint Graph Clustering

標(biāo)題：

3D全景分割新突破！SuperCluster模型訓(xùn)練速度快15倍，參數(shù)量僅為競品的1/30

標(biāo)簽：
CV、3DV2024

作者：
Damien Robert, Hugo Raguet, Loic Landrieu

推薦理由：
這篇論文被接受在3DV 2024會議上做口頭報告，這是一個有影響力的會議，且論文涉及的3D全景分割是一個熱門的研究方向，具有很好的應(yīng)用前景，特別是在自動駕駛和機(jī)器人領(lǐng)域。

論文簡介：

我們提出了一種高效的大型3D點(diǎn)云全景分割方法，通過將這一任務(wù)重新定義為一個可擴(kuò)展的圖聚類問題。這種方法只需使用局部輔助任務(wù)進(jìn)行訓(xùn)練，從而消除了訓(xùn)練過程中資源密集型的實(shí)例匹配步驟。此外，我們的公式可以輕松適應(yīng)超點(diǎn)(superpoint)范式，進(jìn)一步提高效率。這使得我們的模型能夠在單次推理中處理包含數(shù)百萬點(diǎn)和數(shù)千個對象的場景。我們的方法，稱為SuperCluster，為兩個室內(nèi)掃描數(shù)據(jù)集實(shí)現(xiàn)了新的全景分割性能標(biāo)準(zhǔn)。我們還為兩個大規(guī)模移動測繪基準(zhǔn)：KITTI-360和DALES，設(shè)定了首個性能標(biāo)準(zhǔn)。我們的模型只有209209

209209

k參數(shù)，比最佳競爭方法小了30多倍，并且訓(xùn)練速度快達(dá)15倍。我們的代碼和預(yù)訓(xùn)練模型可在以下位置獲取。

論文解讀鏈接：

https://www.saibomaliang.com/generate?session_id=cfe1e3c4-df92-41e8-aa0f-133079459b24

TOP4

Synthetic Data Generation Framework, Dataset, and Efficient Deep Model for Pedestrian Intention Prediction

標(biāo)題：

安全駕駛新突破：PedGNN模型預(yù)測行人意圖，實(shí)時保護(hù)每一步！
標(biāo)簽：
ML、CV、IEEE International Conference on Systems 2023

作者：
Muhammad Naveed Riaz, Maciej Wielgosz, Abel Garcia Romera, Antonio M. Lopez

推薦理由：

這篇論文將在IEEE國際智能交通系統(tǒng)會議上發(fā)表，這是一個與實(shí)際應(yīng)用緊密相關(guān)的會議。論文提出了一個用于行人意圖預(yù)測的合成數(shù)據(jù)生成框架和高效深度模型，這是一個具有很高社會價值和應(yīng)用前景的研究。

論文簡介：
行人意圖預(yù)測對于自動駕駛至關(guān)重要。特別是，了解行人是否打算在自車前方穿越是執(zhí)行安全舒適操作的核心。從連續(xù)圖像中預(yù)測此類意圖的準(zhǔn)確快速模型的創(chuàng)建具有挑戰(zhàn)性。導(dǎo)致這一挑戰(zhàn)的一個因素是缺乏具有多樣化穿越和非穿越（C/NC）場景的數(shù)據(jù)集。我們通過引入一個名為ARCANE的框架來解決這種稀缺性，該框架允許以編程方式生成由C/NC視頻剪輯樣本組成的合成數(shù)據(jù)集。作為一個例子，我們使用ARCANE生成了一個大型且多樣化的數(shù)據(jù)集，名為PedSynth。我們將展示PedSynth如何補(bǔ)充廣泛使用的真實(shí)世界數(shù)據(jù)集，例如JAAD和PIE，從而使得C/NC預(yù)測模型更加準(zhǔn)確?？紤]到C/NC預(yù)測模型的車載部署，我們還提出了一個名為PedGNN的深度模型，該模型快速且內(nèi)存占用非常低。PedGNN基于GNN-GRU架構(gòu)，它接受一系列行人骨架作為輸入來預(yù)測穿越意圖。

論文解讀鏈接：

https://www.saibomaliang.com/generate?session_id=8f1334da-241b-4a43-817b-b80625ce50fb

TOP5

Relying on the Unreliable: The Impact of Language Models’ Reluctance to Express Uncertainty

標(biāo)題：

斯坦福最新研究：GPT不愿承認(rèn)回答錯誤，高置信回答錯誤率高達(dá)47%

標(biāo)簽：
Carnegie Mellon University、Allen Institute for AI、NLP、ML、IR

作者：
Kaitlyn Zhou, Jena D. Hwang, Xiang Ren, Maarten Sap

推薦理由：
這篇論文由斯坦福大學(xué)等單位發(fā)表，探討了人類與LM互動面臨的一系列新的安全風(fēng)險，并提出了設(shè)計(jì)建議和未來的緩解策略。論文的機(jī)構(gòu)包括頂尖大學(xué)，論文涉及的是一個熱門的研究方向，具有很好的應(yīng)用前景。

論文簡介：

隨著自然語言成為人工智能交互的默認(rèn)界面，LM（語言模型）在下游應(yīng)用中適當(dāng)傳達(dá)不確定性的需求變得至關(guān)重要。在這項(xiàng)工作中，我們研究了LM如何通過自然語言融入對其回應(yīng)的信心，以及下游用戶如何對LM表達(dá)的不確定性做出反應(yīng)。我們檢查了公開部署的模型，并發(fā)現(xiàn)LM在回答問題時即使產(chǎn)生錯誤的回應(yīng)也無法表達(dá)不確定性。LM可以被明確提示表達(dá)信心，但傾向于過度自信，導(dǎo)致高錯誤率（平均47%）的自信回應(yīng)。我們通過進(jìn)行人類實(shí)驗(yàn)來測試LM過度自信的風(fēng)險，并展示用戶是否依賴于LM生成的內(nèi)容，不論它們是否被標(biāo)記為確定。最后，我們調(diào)查了在RLHF（強(qiáng)化學(xué)習(xí)與人類反饋）對齊中使用的偏好注釋數(shù)據(jù)集，并發(fā)現(xiàn)人類對帶有不確定性的文本存在偏見。我們的工作突出了人類與LM互動面臨的一系列新的安全風(fēng)險，并提出了設(shè)計(jì)建議和未來的緩解策略。

論文解讀鏈接：
https://www.saibomaliang.com/generate?session_id=c159f895-a9c3-4837-bf5f-9c159c95bec0

本文整理了今日發(fā)表在ArXiv上的AI論文中最熱門的TOP5。

論文解讀、論文熱度排序、論文標(biāo)簽、中文標(biāo)題、推薦理由和論文摘要均由賽博馬良平臺上的智能體 「AI論文解讀達(dá)人」 提供。

如需查看其他熱門論文，歡迎移步賽博馬良?^_^