RasaGPT 結(jié)合了 Rasa 和 Langchain 這 2 個(gè)開源項(xiàng)目，當(dāng)超出 Rasa 現(xiàn)有意圖(out_of_scope)的時(shí)候，就會(huì)執(zhí)行 ActionGPTFallback，本質(zhì)上就是利用 Langchain 做了一個(gè) RAG，調(diào)用 LLM API。RasaGPT 涉及的技術(shù)棧比較多而復(fù)雜，包括 Rasa、Langchain、LlamaIndex、Telegram、PostgresSQL、PGVector、Ngrok、FastAPI、Docker、docker-compose、Dozzle 等。盡管對(duì)項(xiàng)目做了簡化[3]，刪除了不容易實(shí)現(xiàn)的部分，但仍是一次失敗的實(shí)踐，各種原因沒有完整運(yùn)行起來。不過 RasaGPT 為結(jié)合 Rasa 和 Langchain 提供了一種思路，接下來重點(diǎn)是把 Rasa 和 Langchain-Chatchat 進(jìn)行對(duì)接。

一.RasaGPT 及特點(diǎn)

RasaGPT 是一個(gè)建立在 Rasa 和 Langchain 之上的無頭 LLM chatbot 平臺(tái)（無頭簡單理解就是沒有界面）。它是 Rasa 和 Telegram 的樣板文件（Boilerplate）和參考實(shí)現(xiàn)，利用 LLM 庫（如 Langchain）進(jìn)行索引、檢索和上下文注入。RasaGPT 可以直接投入使用，很多實(shí)施上的麻煩事都已經(jīng)被解決了，這樣就不必親自處理，包括：

• 使用FastAPI創(chuàng)建自己的專有機(jī)器人端點(diǎn)，包括文檔上傳和"訓(xùn)練"管道的設(shè)置。
• 如何集成Langchain/LlamaIndex和Rasa。
• 與LLM庫的庫沖突以及傳遞metadata。
• 在MacOS上使用Docker支持運(yùn)行Rasa。
• 通過ngrok進(jìn)行與聊天機(jī)器人的反向代理。
• 使用自定義模式而非使用Langchain的高度傾向的PGVector類來實(shí)現(xiàn)pgvector。
• 添加多租戶支持（Rasa原生并不支持此功能），在Rasa和后端/應(yīng)用程序之間進(jìn)行會(huì)話和metadata的傳遞。

Rasa 是一個(gè)開源 (Python) 機(jī)器學(xué)習(xí)框架，用于自動(dòng)執(zhí)行基于文本和語音的對(duì)話：NLU、對(duì)話管理、連接到 Slack、Facebook 等，創(chuàng)建聊天機(jī)器人和語音助手。LangChain 主要功能是圍繞 LLM 快速構(gòu)建應(yīng)用程序和管道，通過與外部數(shù)據(jù)和知識(shí)源的結(jié)合，可以提高 LLM 的應(yīng)用效率和范圍。

1.完整應(yīng)用程序和 API

• 使用Langchain，LLM在任意語料庫上學(xué)習(xí)
• 通過FastAPI上傳文檔并進(jìn)行訓(xùn)練
• 支持文檔版本控制，上傳時(shí)自動(dòng)進(jìn)行重新訓(xùn)練
• 通過FastAPI和SQLModel自定義自己的異步端點(diǎn)和數(shù)據(jù)庫模型
• 機(jī)器人確定是否需要進(jìn)行人工接管
• 機(jī)器人根據(jù)用戶問題和自動(dòng)響應(yīng)自動(dòng)生成標(biāo)簽
• 通過Swagger和Redoc提供完整的API文檔
• 包含PGAdmin，以便瀏覽數(shù)據(jù)庫
• 在啟動(dòng)時(shí)自動(dòng)生成Ngrok端點(diǎn)，以便機(jī)器人始終可以通過https://t.me/yourbotname訪問
• 通過pgvector和Postgres函數(shù)嵌入相似性搜索構(gòu)建到Postgres中
• 包含虛擬數(shù)據(jù)供測試和實(shí)驗(yàn)
• 無限的用例，從幫助臺(tái)、客戶支持、測驗(yàn)、e-learning、角色扮演游戲等

2.Rasa 集成

• 構(gòu)建在Rasa之上，這是開源聊天平臺(tái)的黃金標(biāo)準(zhǔn)
• 支持MacOS M1/M2通過Docker（標(biāo)準(zhǔn)Rasa鏡像不支持MacOS架構(gòu)）
• 支持Telegram，輕松集成Slack、Whatsapp、Line、短信等
• 使用Huggingface的NLU模型（如BERT）或使用Keras、Tensorflow等庫/框架，備用為OpenAI GPT，建立復(fù)雜的對(duì)話管道

3.靈活性

• 使用Langchain擴(kuò)展主體、記憶等能力
• 模式支持多租戶、會(huì)話、數(shù)據(jù)存儲(chǔ)
• 自定義智能體個(gè)性
• 保存所有聊天歷史并從所有交互中創(chuàng)建embeddings，以適應(yīng)未來的檢索策略
• 從知識(shí)庫語料庫和客戶反饋中自動(dòng)生成embeddings

二.RasaGPT 安裝

1.軟件要求

• Python 3.9
• Docker和Docker compose
• 開放AI（API密鑰）
• Telegram（機(jī)器人憑證）
• Ngrok（身份驗(yàn)證令牌）
• Make（MacOS / Windows）
• SQL模型

2.Docker 安裝過程步驟

• 檢查以確保有.env可用的
• 數(shù)據(jù)庫初始化為pgvector
• 數(shù)據(jù)庫模型創(chuàng)建數(shù)據(jù)庫模式
• 訓(xùn)練Rasa模型，使其準(zhǔn)備好運(yùn)行
• 使用Rasa設(shè)置ngrok，以便Telegram有一個(gè)返回API服務(wù)器的Webhook
• 設(shè)置Rasa操作服務(wù)器，以便Rasa可以與RasaGPT API對(duì)話
• 數(shù)據(jù)庫通過seed.py方式填充虛擬數(shù)據(jù)

3.docker-compose.yml 快速啟動(dòng)

使用 docker-compose.yml 文件快速啟動(dòng)，如果使用的是 Linux 或 Windows，則需要將 docker-compose.yml 文件中的 Dockerfilekhalosa/rasa-aarch64:3.5.2 名稱修改為 rasa/rasa:latest。

# 獲取源碼
git clone https://github.com/paulpierre/RasaGPT.git
cd RasaGPT# 根據(jù)需要配置.env文件
cp .env-example .env# 自動(dòng)安裝和運(yùn)行RasaGPT
make install

說明：可以輸入 make 查看更多選項(xiàng)列表，安裝完成后再次執(zhí)行命令 make run 運(yùn)行。完整安裝日志參考： https://app.warp.dev/block/vflua6Eue29EPk8EVvW8Kd

4.所有容器列表

chat_api
chat_ngrok
chat_rasa_core
chat_rasa_actions
chat_rasa_credentials
chat_db
chat_pgadmin
chat_dozzle

簡化后的 RasaGPT 項(xiàng)目[3]包括：chat_rasa_core（模型）、chat_api（LLM 接口）、chat_db（數(shù)據(jù)庫）、chat_rasa_actions（action 服務(wù)）、chat_rasa_credentials（憑證）。如下所示：

三.操作說明

1.對(duì)話操作

2.查看日志

可以通過訪問 https://localhost:9999/查看所有日志，它將顯示所有 Docker 容器的實(shí)時(shí)日志。如下所示：

3.API 文檔

可以通過訪問 https://localhost:8888/docs 查看 API 端點(diǎn)文檔。在這個(gè)頁面上，可以創(chuàng)建和更新實(shí)體，以及將文檔上傳到知識(shí)庫。如下所示：

3.1.Organization（組織）

這可以被認(rèn)為是 SaaS/多租戶中的客戶公司。默認(rèn)情況下，已提供虛擬組織列表。如下所示：

[{"id": 1,"uuid": "d2a642e6-c81a-4a43-83e2-22cee3562452","display_name": "Pepe Corp.","namespace": "pepe","bot_url": null,"created_at": "2023-05-05T10:42:45.933976","updated_at": "2023-05-05T10:42:45.933979"},{"id": 2,"uuid": "7d574f88-6c0b-4c1f-9368-367956b0e90f","display_name": "Umbrella Corp","namespace": "acme","bot_url": null,"created_at": "2023-05-05T10:43:03.555484","updated_at": "2023-05-05T10:43:03.555488"},{"id": 3,"uuid": "65105a15-2ef0-4898-ac7a-8eafee0b283d","display_name": "Cyberdine Systems","namespace": "cyberdine","bot_url": null,"created_at": "2023-05-05T10:43:04.175424","updated_at": "2023-05-05T10:43:04.175428"},{"id": 4,"uuid": "b7fb966d-7845-4581-a537-818da62645b5","display_name": "Bluth Companies","namespace": "bluth","bot_url": null,"created_at": "2023-05-05T10:43:04.697801","updated_at": "2023-05-05T10:43:04.697804"},{"id": 5,"uuid": "9283d017-b24b-4ecd-bf35-808b45e258cf","display_name": "Evil Corp","namespace": "evil","bot_url": null,"created_at": "2023-05-05T10:43:05.102546","updated_at": "2023-05-05T10:43:05.102549"}
]

3.2.Project（項(xiàng)目）

這可以被視為屬于公司的產(chǎn)品?？梢圆榭磳儆诮M織的項(xiàng)目列表。如下所示：

[{"id": 1,"documents": [{"id": 1,"uuid": "92604623-e37c-4935-bf08-0e9efa8b62f7","display_name": "project-pepetamine.md","node_count": 3}],"document_count": 1,"uuid": "44a4b60b-9280-4b21-a676-00612be9aa87","display_name": "Pepetamine","created_at": "2023-05-05T10:42:46.060930","updated_at": "2023-05-05T10:42:46.060934"},{"id": 2,"documents": [{"id": 2,"uuid": "b408595a-3426-4011-9b9b-8e260b244f74","display_name": "project-frogonil.md","node_count": 3}],"document_count": 1,"uuid": "5ba6b812-de37-451d-83a3-8ccccadabd69","display_name": "Frogonil","created_at": "2023-05-05T10:42:48.043936","updated_at": "2023-05-05T10:42:48.043940"},{"id": 3,"documents": [{"id": 3,"uuid": "b99d373a-3317-4699-a89e-90897ba00db6","display_name": "project-kekzal.md","node_count": 3}],"document_count": 1,"uuid": "1be4360c-f06e-4494-bf20-e7c73a56f003","display_name": "Kekzal","created_at": "2023-05-05T10:42:49.092675","updated_at": "2023-05-05T10:42:49.092678"},{"id": 4,"documents": [{"id": 4,"uuid": "94da307b-5993-4ddd-a852-3d8c12f95f3f","display_name": "project-memetrex.md","node_count": 3}],"document_count": 1,"uuid": "1fd7e772-365c-451b-a7eb-4d529b0927f0","display_name": "Memetrex","created_at": "2023-05-05T10:42:50.184817","updated_at": "2023-05-05T10:42:50.184821"},{"id": 5,"documents": [{"id": 5,"uuid": "6deff180-3e3e-4b09-ae5a-6502d031914a","display_name": "project-pepetrak.md","node_count": 4}],"document_count": 1,"uuid": "a389eb58-b504-48b4-9bc3-d3c93d2fbeaa","display_name": "PepeTrak","created_at": "2023-05-05T10:42:51.293352","updated_at": "2023-05-05T10:42:51.293355"},{"id": 6,"documents": [{"id": 6,"uuid": "2e3c2155-cafa-4c6b-b7cc-02bb5156715b","display_name": "project-memegen.md","node_count": 5}],"document_count": 1,"uuid": "cec4154f-5d73-41a5-a764-eaf62fc3db2c","display_name": "MemeGen","created_at": "2023-05-05T10:42:52.562037","updated_at": "2023-05-05T10:42:52.562040"},{"id": 7,"documents": [{"id": 7,"uuid": "baabcb6f-e14c-4d59-a019-ce29973b9f5c","display_name": "project-neurokek.md","node_count": 5}],"document_count": 1,"uuid": "4a1a0542-e314-4ae7-9961-720c2d092f04","display_name": "Neuro-kek","created_at": "2023-05-05T10:42:53.689537","updated_at": "2023-05-05T10:42:53.689539"},{"id": 8,"documents": [{"id": 8,"uuid": "5be007ec-5c89-4bc4-8bfd-448a3659c03c","display_name": "org-about_the_company.md","node_count": 5},{"id": 9,"uuid": "c2b3fb39-18c0-4f3e-9c21-749b86942cba","display_name": "org-board_of_directors.md","node_count": 3},{"id": 10,"uuid": "41aa81a9-13a9-4527-a439-c2ac0215593f","display_name": "org-company_story.md","node_count": 4},{"id": 11,"uuid": "91c59eb8-8c05-4f1f-b09d-fcd9b44b5a20","display_name": "org-corporate_philosophy.md","node_count": 4},{"id": 12,"uuid": "631fc3a9-7f5f-4415-8283-78ff582be483","display_name": "org-customer_support.md","node_count": 3},{"id": 13,"uuid": "d4c3d3db-6f24-433e-b2aa-52a70a0af976","display_name": "org-earnings_fy2023.md","node_count": 5},{"id": 14,"uuid": "08dd478b-414b-46c4-95c0-4d96e2089e90","display_name": "org-management_team.md","node_count": 3}],"document_count": 7,"uuid": "1d2849b4-2715-4dcf-aa68-090a221942ba","display_name": "Pepe Corp. (company)","created_at": "2023-05-05T10:42:55.258902","updated_at": "2023-05-05T10:42:55.258904"}
]

3.3.Document（文檔）

這可以被視為與產(chǎn)品相關(guān)的工件，例如 FAQ 頁面或財(cái)務(wù)報(bào)表收益 PDF。可以查看與組織項(xiàng)目相關(guān)的所有文檔。如下所示：

{"id": 1,"uuid": "44a4b60b-9280-4b21-a676-00612be9aa87","organization": {"id": 1,"uuid": "d2a642e6-c81a-4a43-83e2-22cee3562452","display_name": "Pepe Corp.","bot_url": null,"status": 2,"created_at": "2023-05-05T10:42:45.933976","updated_at": "2023-05-05T10:42:45.933979","namespace": "pepe"},"document_count": 1,"documents": [{"id": 1,"uuid": "92604623-e37c-4935-bf08-0e9efa8b62f7","organization_id": 1,"project_id": 1,"display_name": "project-pepetamine.md","url": "","data": "# Pepetamine\n\nProduct Name: Pepetamine\n\nPurpose: Increases cognitive focus just like the Limitless movie\n\n**How to Use**\n\nPepetamine is available in the form of rare Pepe-coated tablets. The recommended dosage is one tablet per day, taken orally with a glass of water, preferably while browsing your favorite meme forum for maximum cognitive enhancement. For optimal results, take Pepetamine 30 minutes before engaging in mentally demanding tasks, such as decoding ancient Pepe hieroglyphics or creating your next viral meme masterpiece.\n\n**Side Effects**\n\nSome potential side effects of Pepetamine may include:\n\n1. Uncontrollable laughter and a sudden appreciation for dank memes\n2. An inexplicable desire to collect rare Pepes\n3. Enhanced meme creation skills, potentially leading to internet fame\n4. Temporary green skin pigmentation, resembling the legendary Pepe himself\n5. Spontaneously speaking in \"feels good man\" language\n\nWhile most side effects are generally harmless, consult your memologist if side effects persist or become bothersome.\n\n**Precautions**\n\nBefore taking Pepetamine, please consider the following precautions:\n\n1. Do not use Pepetamine if you have a known allergy to rare Pepes or dank memes.\n2. Pepetamine may not be suitable for individuals with a history of humor deficiency or meme intolerance.\n3. Exercise caution when driving or operating heavy machinery, as Pepetamine may cause sudden fits of laughter or intense meme ideation.\n\n**Interactions**\n\nPepetamine may interact with other substances, including:\n\n1. Normie supplements: Combining Pepetamine with normie supplements may result in meme conflicts and a decreased sense of humor.\n2. Caffeine: The combination of Pepetamine and caffeine may cause an overload of energy, resulting in hyperactive meme creation and potential internet overload.\n\nConsult your memologist if you are taking any other medications or substances to ensure compatibility with Pepetamine.\n\n**Overdose**\n\nIn case of an overdose, symptoms may include:\n\n1. Uncontrollable meme creation\n2. Delusions of grandeur as the ultimate meme lord\n3. Time warps into the world of Pepe\n\nIf you suspect an overdose, contact your local meme emergency service or visit the nearest meme treatment facility. Remember, the key to enjoying Pepetamine is to use it responsibly, and always keep in mind the wise words of our legendary Pepe: \"Feels good man.\"","hash": "fdee6da2b5441080dd78e7850d3d2e1403bae71b9e0526b9dcae4c0782d95a78","version": 1,"status": 2,"created_at": "2023-05-05T10:42:46.755428","updated_at": "2023-05-05T10:42:46.755431"}],"display_name": "Pepetamine","created_at": "2023-05-05T10:42:46.060930","updated_at": "2023-05-05T10:42:46.060934"
}

3.4.Node（節(jié)點(diǎn)）

盡管在 API 中沒有公開，但節(jié)點(diǎn)是為其生成 embedding 的文檔塊。節(jié)點(diǎn)用于檢索搜索以及上下文注入。節(jié)點(diǎn)屬于文檔。

3.5.User（用戶）

用戶代表與機(jī)器人交談的人。用戶不一定屬于組織或產(chǎn)品，但這種關(guān)系在下面的 ChatSession 中被捕獲。

3.6.ChatSession（會(huì)話 Session）

不通過 API 公開，但這表示用戶和機(jī)器人之間的問答。這些對(duì)象中的每一個(gè)都可以由自動(dòng)生成的 session_id 靈活識(shí)別。Chat Session 包含豐富的 metadata，可用于訓(xùn)練和優(yōu)化。通過 /chat 端點(diǎn)的 ChatSession 實(shí)際上與組織相關(guān)聯(lián)（出于多租戶安全目的）。

4.對(duì)話例子

這個(gè)機(jī)器人只是一個(gè)概念驗(yàn)證，并且尚未進(jìn)行檢索方面的優(yōu)化。目前，它使用 1000 個(gè)字符長度的分塊進(jìn)行索引，使用基本的歐幾里得距離進(jìn)行檢索，質(zhì)量時(shí)好時(shí)壞?？梢栽?RESULTS.MD 文件中查看機(jī)器人的示例命中和未命中。總體而言，估計(jì)通過進(jìn)行索引優(yōu)化和 LLM 配置更改，輸出質(zhì)量可以提高超過 70%。單擊查看演示數(shù)據(jù)的 Q&A 結(jié)果在 RESULTS.MD 文件中。

四.RasaGPT 工作原理

1.Rasa

• Rasa 處理與通信 channel 的集成，在本例中為 Telegram。

  • 它專門處理用戶反饋應(yīng)該通過的目標(biāo)網(wǎng)絡(luò)鉤子（target webhook）的提交。在本例子中，它是 FastAPI 服務(wù)器，通過 /webhooks/{channel}/webhook

• Rasa 有兩個(gè)組件，核心Rasa app和單獨(dú)運(yùn)行的actions server。

• Rasa 必須通過一些 yaml 文件進(jìn)行配置（已經(jīng)完成）：

  • config.yml：包含 NLU 管道和策略配置。重要的是設(shè)置 FallbackClassifier 閾值
  • credentials.yml：包含 webhook 和 Telegram 憑據(jù)的路徑。這將由輔助服務(wù) rasa-credentials 通過app/rasa-credentials/main.py進(jìn)行更新
  • domain.yml：這包含聊天入口點(diǎn)邏輯配置，如意圖和針對(duì)意圖采取的操作。在這里，添加 action_gpt_fallback 操作，它將觸發(fā)actions server
  • endpoints.yml：這是為 Rasa 設(shè)置自定義操作端點(diǎn)以觸發(fā) fallback 的地方
  • nlu.yml：這是設(shè)置意圖 out_of_scope 的地方
  • rules.yml：為這個(gè)意圖設(shè)置了一個(gè)規(guī)則，它應(yīng)該觸發(fā)動(dòng)作 action_gpt_fallback
  • actions.py：這是通過 ActionGPTFallback 定義和表達(dá) action 的地方。方法名返回為上面意圖定義的動(dòng)作

• Rasa 的 NLU 模型必須經(jīng)過訓(xùn)練，這可以通過 CLI 命令 rasa train 來完成。當(dāng)運(yùn)行 make install 時(shí)，這會(huì)自動(dòng)完成。

• 訓(xùn)練后必須通過 rasa run 運(yùn)行 Rasa Core。

• Rasa 的 action server 必須用 rasa run actions 單獨(dú)運(yùn)行。

2.Telegram

• Rasa 會(huì)自動(dòng)使用 credentials.yml 中的回調(diào) webhook 更新 Telegram Bot API。
• 默認(rèn)情況下這是靜態(tài)的。由于在本地運(yùn)行，利用 Ngrok 生成一個(gè)公開訪問的 URL，并反向隧道進(jìn)入 Docker 容器。
• rasa-credentials 服務(wù)會(huì)處理這個(gè)過程。Ngrok 作為一個(gè)服務(wù)運(yùn)行，一旦準(zhǔn)備就緒，rasa-credentials 將調(diào)用本地的 Ngrok API 來檢索隧道 URL，并更新 credentials.yml 文件，然后重新啟動(dòng) Rasa。
• Telegram 將發(fā)送消息的 webhook 將是我們的 FastAPI 服務(wù)器。為什么不使用 Rasa？因?yàn)橄Ｍ`活地捕獲 metadata，而 Rasa 使這變得復(fù)雜，集中到 API server 是理想的。
• FastAPI 服務(wù)器將消息轉(zhuǎn)發(fā)到 Rasa webhook。
• Rasa 然后將根據(jù)用戶意圖確定要采取的操作。由于這個(gè)演示中的意圖被弱化，它將進(jìn)入到 actions.py 中運(yùn)行的 fallback action。
• 自定義操作將捕獲 metadata，并將來自 FastAPI 的響應(yīng)轉(zhuǎn)發(fā)給用戶。

3.PGVector

PGVector 是 Postgres 的插件，可以自動(dòng)安裝，能夠存儲(chǔ)和計(jì)算向量數(shù)據(jù)類型。有自己的實(shí)現(xiàn)，因?yàn)?Langchain PGVector 類不靈活，無法適應(yīng)模式，需要靈活性。

• 默認(rèn)情況下，在 postgres 中，如果數(shù)據(jù)庫尚未初始化，容器路徑 /docker-entry-initdb.d 中的任何文件都運(yùn)行。在postgres Dockerfile中，復(fù)制 create_db.sh 創(chuàng)建數(shù)據(jù)庫和用戶。
• 在Makefile中的 models 命令中，在 API 容器中運(yùn)行 models.py，該容器從 models 中創(chuàng)建表。
• enable_vector 方法在數(shù)據(jù)庫中啟用 pgvector 擴(kuò)展。

4.Langchain

• 訓(xùn)練數(shù)據(jù)被加載到數(shù)據(jù)庫中
• 如果索引不存在，則對(duì)數(shù)據(jù)進(jìn)行索引并存儲(chǔ)在名為 index.json 的文件中
• LlamaIndex 使用基本 GPTSimpleVectorIndex 查找相關(guān)數(shù)據(jù)并將其注入 prompt。
• 通過 prompt 的保護(hù)欄用于保持對(duì)話的集中。

5.Bot flow

• 用戶將在 Telegram 中聊天，消息將被過濾為現(xiàn)有意圖

• 如果它檢測到?jīng)]有意圖匹配，而是匹配 out_of_scope，它將根據(jù) rule.yml 觸發(fā) action_gpt_fallback 操作

• ActionGPTFallback 函數(shù)然后將調(diào)用 FastAPI API Server

• 使用 LlamaIndex 的 API 會(huì)找到相關(guān)的索引內(nèi)容，并將其注入到 prompt 中發(fā)送給 OpenAI 進(jìn)行推理

• prompt 包含對(duì)話護(hù)欄，包括：

  • 請(qǐng)求數(shù)據(jù) JSON 返回
  • 根據(jù)用戶的問題創(chuàng)建分類標(biāo)簽
  • 如果對(duì)話應(yīng)該升級(jí)到人工（如果沒有上下文匹配），則返回布爾值

參考文獻(xiàn)

[1] https://github.com/paulpierre/RasaGPT

[2] https://youtu.be/GAPnQ0qf1-E

[3] https://github.com/ai408/RasaGPT