q1 = '''您叫什么名字?您是谁?您叫什么名字?这个问题的答案可能会提示出您的名字。您叫这个名字吗?您有几个名字?您最喜欢的名字是什么?您的名字听起来很好听。您的名字和某个历史人物有关吗?您的名字和某个神话传说有关吗?您的名字和某个地方有关吗?您的名字和某个运动队有关吗?您的名字和某个电影或电视剧有关吗?您的名字和某个作家有关吗?您的名字和某个动漫角色有关吗?您的名字和某个节日有关吗?您的名字和某个动物有关吗?您的名字和某个历史时期有关吗?您的名字和某个地理区域有关吗?您的名字和某个物品有关吗?比如,如果您的名字和铅笔有关,就可以问“您叫什么名字?您是不是用铅笔的人?”您的名字和某个梦想或目标有关吗?您的名字和某个文化或传统有关吗?您的名字和某个电影或电视节目的情节有关吗?您的名字和某个流行歌手或演员有关吗?您的名字和某个体育运动员有关吗?您的名字和某个国际组织有关吗?您的名字和某个地方的气候或环境有关吗?比如,如果您的名字和春天有关,就可以问“您叫什么名字?春天是不是一种温暖的季节?”您的名字和某个电影或电视节目的主题有关吗?您的名字和某个电视节目或电影的角色有关吗?您的名字和某个歌曲或音乐有关吗?您叫什么名字?谁创造了你'''q1 = q1.split('\n')a1 = ["我是良睦路程序员开发的一个人工智能助手", "我是良睦路程序员再2023年开发的AI人工智能助手"]import random
target_len__ = 6000

d1 = pd.DataFrame({'instruction':[random.choice(q1) for i in range(target_len__)]}).pipe(    lambda x: x.assign(**{    'input':'',    'output':[random.choice(a1) for i in range(target_len__)]    }))d1alldata = d1.copy()

pip install protobuf==3.20.0 transformers icetk cpm_kernels peft

        loss = None        if labels is not None:            lm_logits = lm_logits.to(torch.float32)
            # Shift so that tokens < n predict n            shift_logits = lm_logits[..., :-1, :].contiguous()               shift_labels = labels[..., 1:].contiguous() #<<<------------------看这里            # Flatten the tokens            loss_fct = CrossEntropyLoss(ignore_index=-100)            loss = loss_fct(shift_logits.view(-1, shift_logits.size(-1)), shift_labels.view(-1))
            lm_logits = lm_logits.to(hidden_states.dtype)            loss = loss.to(hidden_states.dtype)
        if not return_dict:            output = (lm_logits,) + transformer_outputs[1:]            return ((loss,) + output) if loss is not None else output
        return CausalLMOutputWithPast(            loss=loss,            logits=lm_logits,            past_key_values=transformer_outputs.past_key_values,            hidden_states=transformer_outputs.hidden_states,            attentions=transformer_outputs.attentions,        )

        loss = None        if labels is not None:            lm_logits = lm_logits.to(torch.float32)
            # Shift so that tokens < n predict n            shift_logits = lm_logits[..., :-1, :].contiguous()            shift_labels = labels[..., 1:].contiguous().to(shift_logits.device) #<<<--------------------看这里            # Flatten the tokens            loss_fct = CrossEntropyLoss(ignore_index=-100)            loss = loss_fct(shift_logits.view(-1, shift_logits.size(-1)), shift_labels.view(-1))
            lm_logits = lm_logits.to(hidden_states.dtype)            loss = loss.to(hidden_states.dtype)
        if not return_dict:            output = (lm_logits,) + transformer_outputs[1:]            return ((loss,) + output) if loss is not None else output
        return CausalLMOutputWithPast(            loss=loss,            logits=lm_logits,            past_key_values=transformer_outputs.past_key_values,            hidden_states=transformer_outputs.hidden_states,            attentions=transformer_outputs.attentions,        )

{  "content": "类型#上衣*版型#宽松*版型#显瘦*图案#线条*衣样式#衬衫*衣袖型#泡泡袖*衣款式#抽绳",  "summary": "这件衬衫的款式非常的宽松，利落的线条可以很好的隐藏身材上的小缺点，穿在身上有着很好的显瘦效果。领口装饰了一个可爱的抽绳，漂亮的绳结展现出了十足的个性，配合时尚的泡泡袖型，尽显女性甜美可爱的气息。"}

    --max_source_length 64 \    --max_target_length 128 \    --per_device_train_batch_size 1 \    --per_device_eval_batch_size 1 \     --lora_r 32

from transformers import AutoTokenizer, AutoModelfrom peft import PeftModel, PeftConfigimport torchimport os
os.environ['CUDA_VISIBLE_DEVICES'] = '1'
#原始的模型路径model_name_or_path = "/media/yuanz/新加卷/训练代码/chatglm6b_v2_0716/chatglm2-6b_model"
#训练后的lora保存的路径peft_model_id = "output/adgen-chatglm2-6b-lora_version/checkpoint-880"
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True)model = AutoModel.from_pretrained(model_name_or_path, trust_remote_code=True, device_map='auto',                                  torch_dtype=torch.bfloat16)  # .half().cuda()
model = PeftModel.from_pretrained(model, peft_model_id)model = model.eval()
response, history = model.chat(tokenizer, "类型#上衣*材质#牛仔布*颜色#白色*风格#简约*图案#刺绣*衣样式#外套*衣款式#破洞",                               history=[])print(response)

sh base_run.sh

sh ds_all.sh