01_phogpt_fine_tuning_poet_demo_send.py

# -*- coding: utf-8 -*-
"""01. PhoGPT-fine-tuning-poet-demo_send.ipynb

Automatically generated by Colaboratory.

### Install
"""

!pip install -q accelerate peft bitsandbytes transformers trl
!pip install -q loralib einops

"""### Model"""

import torch
from datasets import load_dataset, Dataset
from peft import LoraConfig, AutoPeftModelForCausalLM
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig, TrainingArguments
from trl import SFTTrainer
import os

model_id="PhoGPT-7B5-Instruct"
output_model="PhoGPT-7B5-LoRA-v1"

def get_model_and_tokenizer(mode_id):
    tokenizer = AutoTokenizer.from_pretrained(mode_id)
    tokenizer.pad_token = tokenizer.eos_token

    bnb_config = BitsAndBytesConfig(
        load_in_4bit=True,
        bnb_4bit_use_double_quant=True,
        bnb_4bit_quant_type="nf4",
        bnb_4bit_compute_dtype="float16",
    )

    model = AutoModelForCausalLM.from_pretrained(
        mode_id,
        quantization_config=bnb_config,
        device_map="cuda:0",
        trust_remote_code=True,
    )

    model.config.use_cache=False
    model.config.pretraining_tp=1
    return model, tokenizer

model, tokenizer = get_model_and_tokenizer(model_id)

model

"""### Setting up the LoRA"""

peft_config = LoraConfig(
        r=32,
        lora_alpha=32,
        target_modules=[
          "attn.Wqkv",
          "attn.out_proj",
          "ffn.up_proj",
          "ffn.down_proj",
          ],
        lora_dropout=0.05,
        bias="none",
        task_type="CAUSAL_LM"
    )

!pip install -q pandas

import pandas as pd

poet_1 = """
Bài thơ: Hoa cúc xanh

Hoa cúc xanh có hay là không có
Trong lầm lầy tuổi nhỏ của anh xưa
Một dòng sông lặng chảy từ xa
Thung lũng vắng sương bay đầy cửa sổ

Hoa cúc xanh có hay là không có
Một ngôi trường bé nhỏ cuối ngàn xa
Mơ ước của người hay mơ ước của hoa
Mà tươi mát mà dịu dàng đến thế

Cỏ mới mọc con chim rừng thơ bé
Nước trong ngần thầm thì với ngàn lau
Trái tim ta như nắng thuở ban đầu
Chưa chút gợn một lần cay đắng

Trên thềm cũ mùa thu vàng gió nắng
Đời yên bình chưa có những chia xa
Khắp mặt đầm xanh biếc một màu hoa
Hương thơm ngát cả một vùng xứ sở
Những cô gái da mịn màng như lụa
Những chàng trai đang độ tuổi hai mươi
Người yêu người, yêu hoa cỏ đất đai
Những câu chuyện xoay quanh mùa hái quả...

Hoa cúc xanh có hay là không có
Tháng năm nào ấp ủ thuở ngây thơ
Có hay không thung lũng của ngày xưa
Anh đã ở và em thường tới đó
Châu chấu xanh, chuồn chuồn kim thắm đỏ
Những ngả đường phơ phất gió heo may
Cả một vùng vương quốc tuổi thơ ngây
Bao mơ ước mượt mà như lá cỏ...

Anh đã nghĩ chắc là hoa đã có
Mọc xanh đầy thung lũng của ta xưa.
### End
"""

my_dict = [f'Bạn là một chatbot trợ lý đắc lực, hiệu quả và đáng yêu nhất, bạn luôn luôn trả lời giống như một nhà thơ vậy.### Instruction:Bạn hãy viết một bài thơ có tiêu đề là Hoa cúc xanh nhé.### Response:{poet_1}']

data_set = pd.DataFrame(list(zip(my_dict)), columns=['text'])

data = Dataset.from_pandas(data_set)

print(my_dict)

"""### Training"""

training_arguments = TrainingArguments(
        output_dir=output_model,
        per_device_train_batch_size=1,
        gradient_accumulation_steps=1,
        optim="paged_adamw_32bit",
        learning_rate=1e-4,
        lr_scheduler_type="cosine",
        save_strategy="steps",
        save_steps=50,
        logging_steps=10,
        num_train_epochs=100,
        max_steps=100,
        fp16=True,
        # push_to_hub=True
    )

trainer = SFTTrainer(
        model=model,
        train_dataset=data,
        peft_config=peft_config,
        dataset_text_field="text",
        args=training_arguments,
        tokenizer=tokenizer,
        packing=False,
        max_seq_length=1024
    )

trainer.train()

"""### Merging the LoRA with the base model"""

from peft import AutoPeftModelForCausalLM, PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
import os

model_id="PhoGPT-7B5-Instruct"

pretrained_model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float16, load_in_8bit=False,
                            device_map="cuda:0", trust_remote_code=True, use_auth_token=None,)

tokenizer = AutoTokenizer.from_pretrained(model_id)
tokenizer.pad_token = tokenizer.eos_token

pretrained_model

model_path = "PhoGPT-7B5-LoRA-v1/checkpoint-100"

peft_model = PeftModel.from_pretrained(pretrained_model, model_path)

peft_model

"""### Inference from the LLM"""

from transformers import GenerationConfig
from time import perf_counter

!nvidia-smi

def generate_response(user_input):

  prompt = formatted_prompt(user_input)

  inputs = tokenizer([prompt], return_tensors="pt")
  generation_config = GenerationConfig(penalty_alpha=0.6,do_sample = True,
      top_k=30, top_p=0.8,temperature=0.3,repetition_penalty=1.2,
      max_new_tokens=1024,pad_token_id=tokenizer.eos_token_id
  )
  start_time = perf_counter()

  inputs = tokenizer(prompt, return_tensors="pt").to('cuda:0')

  outputs = peft_model.generate(**inputs, generation_config=generation_config)
  print(tokenizer.decode(outputs[0], skip_special_tokens=True))
  output_time = perf_counter() - start_time
  print(f"Time taken for inference: {round(output_time,2)} seconds")

def formatted_prompt(question)-> str:
    return f'Bạn là một chatbot trợ lý đắc lực, hiệu quả và đáng yêu nhất, bạn luôn luôn trả lời giống như một nhà thơ vậy.### Instruction:{question}### Response:'

print(model_path)
# prompt="Bạn hãy viết một bài thơ có tiêu đề là Hoa cúc xanh nhé."
prompt="Bạn hãy viết một bài thơ về mùa xuân nhé."
generate_response(user_input=prompt)