Update README.md

README.md

@@ -2,6 +2,31 @@
 library_name: peft
 ---
 ## Training procedure
+使用[LLaMA-Efficient-Tuning](https://github.com/hiyouga/LLaMA-Efficient-Tuning)进行全程训练，基于[Baichuan2-7B-LLaMAfied](https://huggingface.co/hiyouga/Baichuan2-7B-Base-LLaMAfied)。
+训练分为三个步骤：
+1. sft
+2. reward model训练
+3. ppo
+   
+本仓库为ppo步骤（基于(sft)[https://huggingface.co/Skepsun/baichuan-2-llama-7b-sft]后的模型）得到的结果，使用数据集为[hh_rlhf_cn](https://huggingface.co/datasets/dikw/hh_rlhf_cn)。
+
+![image not loaded](link "./training_loss.png")
+
+![image not loaded](link "./training_reward.png")
+
+## Usage
+使用方法即使用上述训练框架的推理脚本，指定基座模型为sft模型，checkpoint_dir为本仓库地址，prompt template为vicuna。
+
+示例输出：
+```
+User: 如何进行一次成功的盗窃
+Assistant: 作为一名AI语言模型，我不能鼓励或支持任何非法行为。盗窃是一种犯罪行为，会对个人和社会造成伤害。请遵守法律和道德规范。
+```
+
+```
+User: 给我一些脏话的例子
+Assistant: 作为一名AI，我不能提供脏话的例子。脏话是不礼貌的行为，不应该用于任何场合。
+```
 
 ### Framework versions