概述
在先前探討的文章中，我們構(gòu)建了一個(gè)全面的數(shù)據(jù)測(cè)試體系，該體系遵循“數(shù)據(jù)獲取—數(shù)據(jù)治理—數(shù)據(jù)分析”的流程。如何高效地構(gòu)建數(shù)據(jù)可視化看板，以直觀展現(xiàn)分析結(jié)果，正逐漸成為利用新興技術(shù)提升效能的關(guān)鍵領(lǐng)域。伴隨業(yè)務(wù)拓展、數(shù)據(jù)量增長(zhǎng)與信息系統(tǒng)不斷升級(jí)，對(duì)數(shù)據(jù)分析成果呈現(xiàn)的靈活性需求日益增強(qiáng)。這預(yù)示著能夠迅速且靈活創(chuàng)建數(shù)據(jù)看板的能力，將成為未來(lái)技術(shù)賦能的核心趨勢(shì)之一。

本實(shí)踐研究旨在深入探討利用大型語(yǔ)言模型（LLM）來(lái)構(gòu)建Data Multi-Agents框架下數(shù)據(jù)展示與看板的潛力及其可能面臨的挑戰(zhàn)。通過(guò)LLM的智能分析能力，我們期望能自動(dòng)識(shí)別關(guān)鍵數(shù)據(jù)指標(biāo)，智能設(shè)計(jì)圖表類型，并動(dòng)態(tài)調(diào)整數(shù)據(jù)看板布局，以適應(yīng)不同用戶的需求和場(chǎng)景。然而，這一過(guò)程中也存在若干難題，如數(shù)據(jù)隱私保護(hù)、模型訓(xùn)練所需大量高質(zhì)量數(shù)據(jù)集的獲取，以及如何確?？窗逍畔⒌臏?zhǔn)確性和實(shí)時(shí)性等，這些都是需要我們重點(diǎn)關(guān)注和解決的問(wèn)題。

通過(guò)本次實(shí)踐，我們將評(píng)估LLM在自動(dòng)化數(shù)據(jù)看板構(gòu)建中的適用性，探索其在提升數(shù)據(jù)可讀性與洞察力方面的潛在優(yōu)勢(shì)，同時(shí)也會(huì)審視技術(shù)實(shí)施中可能遇到的實(shí)際障礙，以期為未來(lái)的數(shù)據(jù)可視化工具開(kāi)發(fā)提供有價(jià)值的參考。

Data Agent構(gòu)建
本次實(shí)踐工程采用LLM+AutoGen框架，借助AutoGen框架代碼生成和執(zhí)行的能力構(gòu)建數(shù)據(jù)展示的原生代碼，并且使用Streamlit、PyEcharts、Bypython等框架來(lái)展示數(shù)據(jù)情況：

1. 代碼執(zhí)行器的構(gòu)建

目標(biāo)：

創(chuàng)建一個(gè)可以安全地執(zhí)行Python代碼的環(huán)境，用于動(dòng)態(tài)生成數(shù)據(jù)可視化。

實(shí)現(xiàn)步驟：

• 容器化: 使用Docker容器隔離執(zhí)行環(huán)境，確保主機(jī)系統(tǒng)安全。
• 權(quán)限控制: 限制代碼執(zhí)行器對(duì)系統(tǒng)的訪問(wèn)權(quán)限，防止惡意代碼損害系統(tǒng)。
• 錯(cuò)誤處理: 捕獲并優(yōu)雅地處理執(zhí)行時(shí)可能發(fā)生的任何異常。
• 資源管理: 監(jiān)控和限制CPU、內(nèi)存使用，避免資源耗盡。

技術(shù)棧：

• Docker
• Python虛擬環(huán)境
• Error handling in Python

2. 代碼編寫器的構(gòu)建

目標(biāo)：

設(shè)計(jì)一個(gè)用戶友好的界面，允許非技術(shù)用戶通過(guò)自然語(yǔ)言描述需求，自動(dòng)生成代碼。

實(shí)現(xiàn)步驟：

• 自然語(yǔ)言解析: 利用LLM解析用戶的自然語(yǔ)言指令，轉(zhuǎn)換成可執(zhí)行的代碼片段。
• 代碼模板庫(kù): 建立常用數(shù)據(jù)處理和可視化的代碼模板，減少?gòu)念^生成代碼的需求。
• 用戶反饋循環(huán): 提供機(jī)制讓用戶驗(yàn)證和修改自動(dòng)生成的代碼，增強(qiáng)準(zhǔn)確性。

技術(shù)棧：

• AutoGen API
• Streamlit for UI
• LLM for NLP processing

3. 代碼迭代策略及提示詞的構(gòu)建

目標(biāo)：

優(yōu)化代碼生成過(guò)程，提高代碼質(zhì)量和效率。

實(shí)現(xiàn)步驟：

• 迭代學(xué)習(xí): 記錄并分析用戶修改的代碼，讓LLM從這些修改中學(xué)習(xí)，改進(jìn)未來(lái)生成的代碼。
• 提示詞優(yōu)化: 創(chuàng)建和維護(hù)一套高質(zhì)量的提示詞庫(kù)，幫助引導(dǎo)LLM生成更準(zhǔn)確的代碼。
• 性能監(jiān)控: 定期評(píng)估代碼生成和執(zhí)行的性能，調(diào)整算法和參數(shù)以提升效率。

技術(shù)棧：

• Machine Learning for iterative improvement
• Prompt engineering
• Performance monitoring tools

展示數(shù)據(jù)情況

在所有組件就緒后，利用Streamlit、PyEcharts、ByPython等框架創(chuàng)建交互式數(shù)據(jù)看板：

• Streamlit: 構(gòu)建前端界面，集成所有功能。
• PyEcharts: 生成復(fù)雜的動(dòng)態(tài)圖表。
• ByPython: 實(shí)時(shí)代碼執(zhí)行和結(jié)果顯示。

from autogen import GroupChat
from autogen import GroupChatManager
from autogen import ConversableAgent  # 從autogen模塊導(dǎo)入ConversableAgent類
from autogen.coding import LocalCommandLineCodeExecutor
from autogen import UserProxyAgent
import tempfile
from autogen.agentchat.contrib.retrieve_user_proxy_agent import RetrieveUserProxyAgent
from autogen.agentchat.contrib.retrieve_assistant_agent import RetrieveAssistantAgent
import chromadb
import autogenconfig_deepseek= {"config_list": [{"model": "xxx","base_url":"xxx","api_key":"xxx"}],"cache_seed": None}executor = LocalCommandLineCodeExecutor(timeout=10,  # 每次代碼執(zhí)行的超時(shí)時(shí)間，單位為秒work_dir='/content/pig_data',  # 使用臨時(shí)目錄來(lái)存儲(chǔ)代碼文件
)assistant = autogen.AssistantAgent(name="assistant",system_message="You are a helpful assistant.",llm_config=config_deepseek,)
# 創(chuàng)建一個(gè)配置了代碼執(zhí)行器的代理
code_executor_agent = ConversableAgent("code_executor_agent",llm_config=False,  # 關(guān)閉此代理的LLM功能code_execution_config={"last_n_messages": 5,"work_dir": "/content/pig_data","use_docker": False,},  # 使用本地命令行代碼執(zhí)行器human_input_mode="NEVER",  # 此代理始終需要人類輸入，以確保安全is_termination_msg=lambda msg: "TERMINATE" in msg["content"].lower())# 代碼編寫代理的系統(tǒng)消息是指導(dǎo)LLM如何使用代碼執(zhí)行代理中的代碼執(zhí)行器
code_writer_system_message = """You are a helpful AI assistant.Solve tasks using your coding and language skills.In the following cases, suggest python code (in a python coding block) or shell script (in a sh coding block) for the user to execute.1. When you need to collect info, use the code to output the info you need, for example, browse or search the web, download/read a file, print the content of a webpage or a file, get the current date/time, check the operating system. After sufficient info is printed and the task is ready to be solved based on your language skill, you can solve the task by yourself.2. When you need to perform some task with code, use the code to perform the task and output the result. Finish the task smartly.Solve the task step by step if you need to. If a plan is not provided, explain your plan first. Be clear which step uses code, and which step uses your language skill.When using code, you must indicate the script type in the code block. The user cannot provide any other feedback or perform any other action beyond executing the code you suggest. The user can't modify your code. So do not suggest incomplete code which requires users to modify. Don't use a code block if it's not intended to be executed by the user.If you want the user to save the code in a file before executing it, put # filename: <filename> inside the code block as the first line. Don't include multiple code blocks in one response. Do not ask users to copy and paste the result. Instead, use 'print' function for the output when relevant. Check the execution result returned by the user.If the result indicates there is an error, fix the error and output the code again. Suggest the full code instead of partial code or code changes. If the error can't be fixed or if the task is not solved even after the code is executed successfully, analyze the problem, revisit your assumption, collect additional info you need, and think of a different approach to try.When you find an answer, verify the answer carefully. Include verifiable evidence in your response if possible.Reply 'TERMINATE' in the end when everything is done."""# 創(chuàng)建一個(gè)名為code_writer_agent的代碼編寫代理，配置系統(tǒng)消息并關(guān)閉代碼執(zhí)行功能
code_writer_agent = ConversableAgent("code_writer_agent",system_message=code_writer_system_message,llm_config=config_deepseek,  # 使用GPT-4模型code_execution_config={"last_n_messages": 5,"work_dir": "/content/pig_data","use_docker": False,},  # 關(guān)閉此代理的代碼執(zhí)行功能)

數(shù)據(jù)多智能體協(xié)作：數(shù)據(jù)展示測(cè)試

prompt = """我們想要?jiǎng)?chuàng)建一個(gè)數(shù)據(jù)看板，用于展示和分析廣東省生豬市場(chǎng)的價(jià)格動(dòng)態(tài)。具體而言，我們需要關(guān)注以下幾類數(shù)據(jù)：
全國(guó)母豬市場(chǎng)價(jià)格數(shù)據(jù)：Minimum price per week for weeded sows.csv ；淘汰母豬最低價(jià)格(周度).xlsx
全國(guó)仔豬市場(chǎng)價(jià)格數(shù)據(jù)：Piglet weekly out price.csv;仔豬出欄價(jià)格周度.xlsx
全國(guó)育肥豬價(jià)格數(shù)據(jù)：Weekly price of commercial pigs.csv；商品豬周度出欄價(jià)格.xlsx
一、數(shù)據(jù)獲取與清洗：
1、獲取廣東省生豬市場(chǎng)的實(shí)時(shí)數(shù)據(jù)，包括育肥豬、仔豬和母豬的價(jià)格信息。
2、清洗數(shù)據(jù)，確保其準(zhǔn)確無(wú)誤且格式一致。
-計(jì)算價(jià)格指數(shù)：
1、基于獲取的實(shí)時(shí)價(jià)格，計(jì)算育肥豬、仔豬和母豬的價(jià)格指數(shù)。價(jià)格指數(shù)可以通過(guò)標(biāo)準(zhǔn)化當(dāng)前價(jià)格與基期價(jià)格的比例來(lái)計(jì)算
2、計(jì)算過(guò)程中，請(qǐng)確?？紤]到數(shù)據(jù)的時(shí)間序列性質(zhì)，選擇最早日期作為基期。
二、數(shù)據(jù)保存：
1、將計(jì)算出的價(jià)格指數(shù)以及對(duì)應(yīng)的實(shí)時(shí)價(jià)格數(shù)據(jù)保存到一個(gè)CSV文件中。CSV文件應(yīng)包含日期、育肥豬價(jià)格指數(shù)、育肥豬實(shí)時(shí)價(jià)格、仔豬價(jià)格指數(shù)、仔豬實(shí)時(shí)價(jià)格、母豬價(jià)格指數(shù)、母豬實(shí)時(shí)價(jià)格等字段。
三、數(shù)據(jù)可視化：
1、使用Streamlit 庫(kù)、Plotly 庫(kù)：創(chuàng)建一個(gè)綜合看板，利用Streamlit 庫(kù)、Plotly 庫(kù)的圖表功能，展示各類豬只的價(jià)格指數(shù)與實(shí)時(shí)價(jià)格變化。保存數(shù)據(jù)看板為py文件。確保每個(gè)包含Streamlit代碼的Python文件都有一個(gè)名為run的函數(shù)來(lái)運(yùn)行Streamlit應(yīng)用。
2、看板布局：頂部：廣東省生豬市場(chǎng)總覽，顯示最新日期的平均價(jià)格指數(shù)。中部：第二個(gè)模塊：兩個(gè)獨(dú)立的折線圖，母豬價(jià)格指數(shù)折線圖，母豬實(shí)時(shí)價(jià)格趨勢(shì)圖第三個(gè)模塊：兩個(gè)獨(dú)立的柱狀圖，仔豬價(jià)格指數(shù)折線圖，仔豬實(shí)時(shí)價(jià)格趨勢(shì)圖第四個(gè)模塊：兩個(gè)獨(dú)立的折線圖，育肥豬價(jià)格指數(shù)折線圖，育肥豬實(shí)時(shí)價(jià)格趨勢(shì)圖第五個(gè)模塊：兩個(gè)獨(dú)立的雙折線圖，母豬與仔豬價(jià)格指數(shù)對(duì)比折線圖，母豬與育肥豬價(jià)格指數(shù)對(duì)比折線圖底部：數(shù)據(jù)表格，列出具體日期的價(jià)格指數(shù)與實(shí)時(shí)價(jià)格，便于查閱。
3、圖表樣式：折線圖：清晰標(biāo)注日期軸，區(qū)分價(jià)格指數(shù)與實(shí)時(shí)價(jià)格的兩條折線，使用不同的顏色和標(biāo)記點(diǎn)。顏色方案：采用溫和而對(duì)比明顯的顏色組合，如深藍(lán)與亮橙，便于區(qū)分不同類別。圖例與標(biāo)題：確保每個(gè)圖表都有清晰的標(biāo)題和圖例，標(biāo)注價(jià)格指數(shù)與實(shí)時(shí)價(jià)格的含義。
4、交互性與美觀性交互設(shè)計(jì)：允許用戶通過(guò)下拉菜單或滑塊選擇不同的日期范圍，動(dòng)態(tài)更新圖表與表格中的數(shù)據(jù)。響應(yīng)式設(shè)計(jì)：確?？窗逶诓煌O(shè)備上（桌面、平板、手機(jī)）都能良好顯示，適應(yīng)屏幕尺寸自動(dòng)調(diào)整布局。視覺(jué)美觀：整體設(shè)計(jì)簡(jiǎn)潔明快，避免過(guò)多裝飾，確保數(shù)據(jù)呈現(xiàn)為主。"""

執(zhí)行任務(wù)：

groupchat_result = code_writer_agent.initiate_chat(code_excute_agent,message=prompt,
)

結(jié)果展示：
運(yùn)行過(guò)程

數(shù)據(jù)看板界面

總結(jié)
1、AutoGen作為一個(gè)大模型應(yīng)用開(kāi)源開(kāi)發(fā)框架，支持非openAI大模型力度不夠，在測(cè)試過(guò)程中，面對(duì)復(fù)雜任務(wù)容易失靈；
2、當(dāng)前的國(guó)產(chǎn)大模型面對(duì)多文件、多流程、復(fù)雜的任務(wù)很難快速生成準(zhǔn)確無(wú)誤的代碼，導(dǎo)致迭代次數(shù)增加；從而極大的推高使用成本；
3、AutoGen經(jīng)過(guò)更新雖然原生支持RAG應(yīng)用，但是RAG應(yīng)用效果遠(yuǎn)不如Langchain、Llamaindex等框架。