新手做网站的几个必要步骤网站注册收入

新手做网站的几个必要步骤,网站注册收入,演示动画制作免费网站,海淀做网站公司微调技术简介 指令微调 模型微调也被称为指令微调#xff08;Instruction Tuning#xff09;或者有监督微调#xff08;Supervised Fine-tuning, SFT#xff09;#xff0c;该方法利用成对的任务输入与预期输出数据#xff0c;训练模型学会以问答的形式解答问题#xff…微调技术简介指令微调模型微调也被称为指令微调Instruction Tuning或者有监督微调Supervised Fine-tuning, SFT该方法利用成对的任务输入与预期输出数据训练模型学会以问答的形式解答问题从而解锁其任务解决潜能。经过指令微调后大语言模型能够展现出较强的指令遵循能力可以通过零样本学习的方式解决多种下游任务。然而值得注意的是指令微调并非无中生有地传授新知而是更多地扮演着催化剂的角色激活模型内在的潜在能力而非单纯地灌输信息。相较于预训练所需的海量数据指令微调所需数据量显著减少从几十万到上百万条不等的数据均可有效激发模型的通用任务解决能力甚至有研究表明少量高质量的指令数据数千至数万条亦能实现令人满意的微调效果。这不仅降低了对计算资源的依赖也提升了微调的灵活性与效率。轻量化微调然而由于大模型的参数量巨大 进行全量参数微调需要消耗非常多的算力。为了解决这一问题研究者提出了参数高效微调Parameter-efficient Fine-tuning也称为轻量化微调 Lightweight Fine-tuning这些方法通过训练极少的模型参数同时保证微调后的模型表现可以与全量微调相媲美。常用的轻量化微调技术有LoRA、Adapter 和 Prompt Tuning。LoRA微调LoRA 是通过低秩矩阵分解在原始矩阵的基础上增加一个旁路矩阵然后只更新旁路矩阵的参数。微调实战模型使用Yuan2-2B-Mars-hf创建Conda环境conda create -n datawhale_labpython3.10-y conda activate datawhale_lab安装依赖反正运行过程中缺什么库就装什么库pipinstalltorch torchvision --index-url https://download.pytorch.org/whl/cu128 pipinstalltransformers4.41.1 pipinstallpeft0.11.1 pipinstallsentencepiece pipinstallmodelscope数据处理# 导入环境importtorchimportpandasaspdfromdatasetsimportDatasetfromtransformersimportAutoTokenizer,AutoModelForCausalLM,DataCollatorForSeq2Seq,TrainingArguments,Trainer# 读取数据dfpd.read_json(./data.json)dsDataset.from_pandas(df)# 查看数据len(ds)ds[:1]输出结果{‘input’: [‘# 任务描述\n假设你是一个AI简历助手能从简历中识别出所有的命名实体并以json格式返回结果。\n\n# 任务要求\n实体的类别包括姓名、国籍、种族、职位、教育背景、专业、组织名、地名。\n返回的json格式是一个字典其中每个键是实体的类别值是一个列表包含实体的文本。\n\n# 样例\n输入\n张三男中国籍工程师\n输出\n{“姓名”: [“张三”], “国籍”: [“中国”], “职位”: [“工程师”]}\n\n# 当前简历\n高勇男中国国籍无境外居留权\n\n# 任务重述\n请参考样例按照任务要求识别出当前简历中所有的命名实体并以json格式返回结果。’],‘output’: [‘{“姓名”: [“高勇”], “国籍”: [“中国国籍”]}’]}加载 tokenizerpath/root/patest/IEITYuan/Yuan2-2B-Mars-hftokenizerAutoTokenizer.from_pretrained(path,add_eos_tokenFalse,add_bos_tokenFalse,eos_tokeneod)tokenizer.add_tokens([sep,pad,mask,predict,FIM_SUFFIX,FIM_PREFIX,FIM_MIDDLE,commit_before,commit_msg,commit_after,jupyter_start,jupyter_text,jupyter_code,jupyter_output,empty_output],special_tokensTrue)tokenizer.pad_tokentokenizer.eos_token定义数据处理函数defprocess_func(example):MAX_LENGTH384# Llama分词器会将一个中文字切分为多个token因此需要放开一些最大长度保证数据的完整性instructiontokenizer(f{example[input]}sep)responsetokenizer(f{example[output]}eod)input_idsinstruction[input_ids]response[input_ids]attention_mask[1]*len(input_ids)labels[-100]*len(instruction[input_ids])response[input_ids]# instruction 不计算lossiflen(input_ids)MAX_LENGTH:# 做一个截断input_idsinput_ids[:MAX_LENGTH]attention_maskattention_mask[:MAX_LENGTH]labelslabels[:MAX_LENGTH]return{input_ids:input_ids,attention_mask:attention_mask,labels:labels}# 定义数据处理函数defprocess_func(example):MAX_LENGTH384# Llama分词器会将一个中文字切分为多个token因此需要放开一些最大长度保证数据的完整性instructiontokenizer(f{example[input]}sep)responsetokenizer(f{example[output]}eod)input_idsinstruction[input_ids]response[input_ids]attention_mask[1]*len(input_ids)labels[-100]*len(instruction[input_ids])response[input_ids]# instruction 不计算lossiflen(input_ids)MAX_LENGTH:# 做一个截断input_idsinput_ids[:MAX_LENGTH]attention_maskattention_mask[:MAX_LENGTH]labelslabels[:MAX_LENGTH]return{input_ids:input_ids,attention_mask:attention_mask,labels:labels}## 处理数据集python tokenized_idds.map(process_func,remove_columnsds.column_names)tokenized_id输出结果Dataset({features: [‘input_ids’, ‘attention_mask’, ‘labels’],num_rows: 200})数据检查tokenizer.decode(tokenized_id[0][input_ids])输出结果‘# 任务描述\n假设你是一个AI简历助手能从简历中识别出所有的命名实体并以json格式返回结果。\n\n# 任务要求\n实体的类别包括姓名、国籍、种族、职位、教育背景、专业、组织名、地名。\n返回的json格式是一个字典其中每个键是实体的类别值是一个列表包含实体的文本。\n\n# 样例\n输入\n张三男中国籍工程师\n输出\n{“姓名”: [“张三”], “国籍”: [“中国”], “职位”: [“工程师”]}\n\n# 当前简历\n高勇男中国国籍无境外居留权\n\n# 任务重述\n请参考样例按照任务要求识别出当前简历中所有的命名实体并以json格式返回结果。 {“姓名”: [“高勇”], “国籍”: [“中国国籍”]}’tokenizer.decode(list(filter(lambdax:x!-100,tokenized_id[0][labels])))输出结果‘{“姓名”: [“高勇”], “国籍”: [“中国国籍”]}’模型训练# 模型加载modelAutoModelForCausalLM.from_pretrained(path,device_mapauto,torch_dtypetorch.bfloat16,trust_remote_codeTrue)model.enable_input_require_grads()# 开启gradient_checkpointing时要执行该方法# 配置LorafrompeftimportLoraConfig,TaskType,get_peft_model configLoraConfig(task_typeTaskType.CAUSAL_LM,target_modules[q_proj,k_proj,v_proj,o_proj,gate_proj,up_proj,down_proj],inference_modeFalse,# 训练模式r8,# Lora 秩lora_alpha32,# Lora alaph具体作用参见 Lora 原理lora_dropout0.1# Dropout 比例)# 构建PeftModelmodelget_peft_model(model,config)model# 设置训练参数argsTrainingArguments(output_dir./output/Yuan2.0-2B_lora_bf16,per_device_train_batch_size12,gradient_accumulation_steps1,logging_steps1,save_strategyepoch,num_train_epochs3,learning_rate5e-5,save_on_each_nodeTrue,gradient_checkpointingTrue,bf16True,)# 初始化TrainertrainerTrainer(modelmodel,argsargs,train_datasettokenized_id,data_collatorDataCollatorForSeq2Seq(tokenizertokenizer,paddingTrue),)# 模型训练trainer.train()效果验证# 定义生成函数defgenerate(prompt):promptpromptsepinputstokenizer(prompt,return_tensorspt)[input_ids].cuda()outputsmodel.generate(inputs,do_sampleFalse,max_length256)outputtokenizer.decode(outputs[0])print(output.split(sep)[-1])# 输入prompt templatetemplate # 任务描述 假设你是一个AI简历助手能从简历中识别出所有的命名实体并以json格式返回结果。 # 任务要求 实体的类别包括姓名、国籍、种族、职位、教育背景、专业、组织名、地名。 返回的json格式是一个字典其中每个键是实体的类别值是一个列表包含实体的文本。 # 样例 输入 张三男中国籍工程师 输出 {姓名: [张三], 国籍: [中国], 职位: [工程师]} # 当前简历 input_str # 任务重述 请参考样例按照任务要求识别出当前简历中所有的命名实体并以json格式返回结果。 input_str张三汉族金融学硕士。prompttemplate.replace(input_str,input_str).strip()generate(prompt)运行结果{“姓名”: [“张三”], “国籍”: [“汉族”], “职位”: [“金融学硕士”]}