第6节课作业(2班)

[MING-ZCH]

在下方讨论区提交作业（图片/链接形式均可）~

基础作业

• 使用 OpenCompass 评测 InternLM2-Chat-7B 模型在 C-Eval 数据集上的性能

进阶作业

• 使用 OpenCompass 评测 InternLM2-Chat-7B 模型使用 LMDeploy 0.2.0 部署后在 C-Eval 数据集上的性能

备注：由于进阶作业较难，完成基础作业之后就可以先提交作业了，在后续的大作业项目中使用这些技术将作为重要的加分点！

[ZixinxinWang]

1 基础作业

[RyanWu31]

https://github.com/RyanWu31/tutorial_notebook/blob/main/README.md

[CoderJackZhu]

基础作业
使用 OpenCompass 评测 InternLM2-Chat-7B 模型在 C-Eval 数据集上的性能

[DarthThomas]

基础作业

[dcuplover]

[xulinui]

https://h90ag9106t.feishu.cn/docx/FpmkdNBtroX7LMxnioQcMAqJnWf

[kyrie2to11]

InterLM L-6: OpenCompass LLM 评测 打卡~

[songyuc]

基础作业

• 使用 OpenCompass 评测 InternLM2-Chat-7B 模型在 C-Eval 数据集上的性能

[YanxingLiu]

基础作业：
使用 OpenCompass 评测 InternLM2-Chat-7B 模型在 C-Eval 数据集上的性能

[zyy0831]

第6节课 基础作业 使用 OpenCompass 评测 InternLM2-Chat-7B 模型在 C-Eval 数据集上的性能，只保留一条测试场景

[xrxu]

第6节课 基础作业 使用 OpenCompass 评测 InternLM2-Chat-7B 模型在 C-Eval 数据集上的性能

https://github.com/xrxu/Docu/blob/master/opencompass/opencompass.md

[pranerd]

基础作业
使用openCompass测试InternLM2-Chat-7B在C-Eval数据集上面的效果
运行命令

python run.py --datasets ceval_gen \
--hf-path /root/share/model_repos/internlm2-chat-7b/ \
--tokenizer-kwargs padding_side='left' truncation='left' \
trust_remote_code=True --model-kwargs trust_remote_code=True \
device_map='auto' --max-seq-len 1024 --max-out-len 16 --batch-size 2 --num-gpus 1

运行效果

进阶作业
首先安装lmdeploy0.2.0,使用命令 pip install lmdeploy==0.2.0
接下来使用lmdeploy将模型进行转换
lmdeploy convert internlm2-chat-7b /root/share/model_repos/internlm2-chat-7b --dst-path /root/model/internlm7b_lmdeploy2.0/
#新建eval_internlm2-7b-deploy2.0.py
该脚本中的内容如下：

from mmengine.config import read_base
from opencompass.models.turbomind import TurboMindModel

with read_base():
    # choose a list of datasets
    from .datasets.ceval.ceval_gen_5f30c7 import ceval_datasets
    # and output the results in a choosen format
    from .summarizers.medium import summarizer


datasets = sum((v for k, v in locals().items() if k.endswith('_datasets')), [])

internlm_meta_template = dict(round=[
    dict(role='HUMAN', begin='<|User|>:', end='\n'),
    dict(role='BOT', begin='<|Bot|>:', end='<eoa>\n', generate=True),
],
                              eos_token_id=103028)

# config for internlm-chat-7b
internlm2_chat_7b = dict(
    type=TurboMindModel,
    abbr='internlm2-chat-7b-turbomind',
    path='/root/model/internlm7b_lmdeploy2.0/',
    engine_config=dict(session_len=2048,
                       max_batch_size=32,
                       rope_scaling_factor=1.0),
    gen_config=dict(top_k=1,
                    top_p=0.8,
                    temperature=1.0,
                    max_new_tokens=100),
    max_out_len=100,
    max_seq_len=2048,
    batch_size=32,
    concurrency=32,
    meta_template=internlm_meta_template,
    run_cfg=dict(num_gpus=1, num_procs=1),
)


models = [internlm2_chat_7b]

接下来运行命令

python run.py configs/eval_internlm2-7b-deploy2.0.py --debug --num-gpus 1

就可以出来结果了

[Heitao5200]

 大佬 这个问题有遇到过吗？

[Mr-Vincenyang]

基础作业

[PrinceRay7]

第六节课作业
https://github.com/PrinceRay7/InternLM_HW/blob/main/hw6/homework/homework.md

[ljqiff]

基础作业
使用 OpenCompass 评测 InternLM2-Chat-7B 模型在 C-Eval 数据集上的性能


进阶作业
使用 OpenCompass 评测 InternLM2-Chat-7B 模型使用 LMDeploy 0.2.0 部署后在 C-Eval 数据集上的性能

[kishiokon]

使用 OpenCompass 评测 InternLM2-Chat-7B 模型在 C-Eval 数据集上的性能

[kaoyansoft123]

基础作业：

[kaoyansoft123]