基礎(chǔ)任務(wù)（完成此任務(wù)即完成闖關(guān)）

• 使用 OpenCompass 評測 internlm2-chat-1.8b 模型在 ceval 數(shù)據(jù)集上的性能，記錄復(fù)現(xiàn)過程并截圖。
  按照教程中的順序安裝包有問題，網(wǎng)上找了解決方案，按一下順序能正常執(zhí)行

使用OpenCompass評測internlm2-chat-1.8b模型在ceval數(shù)據(jù)集上的性能

1. 環(huán)境準(zhǔn)備

首先，評測環(huán)境需要準(zhǔn)備妥當(dāng)。創(chuàng)建一個配置了Cuda 11.7和conda的開發(fā)機，并選擇10% A100 GPU資源。

接著，創(chuàng)建并激活conda環(huán)境：

conda create -n opencompass python=3.10
conda activate opencompass

2. 安裝OpenCompass

接下來，安裝OpenCompass及其依賴：

cd ~
git clone -b 0.2.4 https://github.com/open-compass/opencompass
cd opencompass
pip install -e .

并安裝其他必要的依賴項：

apt-get update
apt-get install cmake
pip install -r requirements.txt
pip install protobuf

3. 準(zhǔn)備評測數(shù)據(jù)集

將評測數(shù)據(jù)集解壓到OpenCompass的data目錄下：

cp /share/temp/datasets/OpenCompassData-core-20231110.zip /root/opencompass/
unzip OpenCompassData-core-20231110.zip

4. 配置模型

需要配置internlm2-chat-1.8b模型。打開configs/models/hf_internlm/hf_internlm2_chat_1_8b.py文件，并粘貼以下內(nèi)容：

from opencompass.models import HuggingFaceCausalLMmodels = [dict(type=HuggingFaceCausalLM,abbr='internlm2-1.8b-hf',path="/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b",tokenizer_path='/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b',model_kwargs=dict(trust_remote_code=True,device_map='auto',),tokenizer_kwargs=dict(padding_side='left',truncation_side='left',use_fast=False,trust_remote_code=True,),max_out_len=100,min_out_len=1,max_seq_len=2048,batch_size=8,run_cfg=dict(num_gpus=1, num_procs=1),)
]

5. 啟動評測

啟動評測可以通過命令行方式或配置文件方式。

5.1 命令行方式

首先，設(shè)置一些環(huán)境變量：

export MKL_SERVICE_FORCE_INTEL=1
# 或者
export MKL_THREADING_LAYER=GNU

然后使用以下命令啟動評測：

python run.py --datasets ceval_gen --models hf_internlm2_chat_1_8b --debug

該命令的含義為：

• --datasets ceval_gen: 使用ceval_gen數(shù)據(jù)集
• --models hf_internlm2_chat_1_8b: 使用剛剛配置的internlm2-chat-1.8b模型
• --debug: 以debug模式運行，任務(wù)將按順序執(zhí)行并實時打印輸出

這是本人的運行過程：（漫長等待過程）

5.2 配置文件方式

可以通過配置文件方式啟動評測。首先，創(chuàng)建一個配置文件：

cd /root/opencompass/configs
touch eval_tutorial_demo.py

然后，在eval_tutorial_demo.py中添加以下內(nèi)容：

from mmengine.config import read_basewith read_base():from .datasets.ceval.ceval_gen import ceval_datasetsfrom .models.hf_internlm.hf_internlm2_chat_1_8b import models as hf_internlm2_chat_1_8b_modelsdatasets = ceval_datasets
models = hf_internlm2_chat_1_8b_models

接著，使用這個配置文件啟動評測：

cd /root/opencompass
python run.py configs/eval_tutorial_demo.py --debug

6. 觀察評測結(jié)果

運行一切正常，這是結(jié)果：

這些結(jié)果展示了internlm2-chat-1.8b模型在ceval數(shù)據(jù)集的各個子集上的性能表現(xiàn)。