Model Card for Chat-Llama-3-8B-32k

Developed by : Wonchul Kim (Lotte Innovate AI Technical Team)

Needle in a Haystack

The model is evaluated on the Needle-In-A-HayStack task to assess its performance with 32k token length.

Usage

# pip install transformers==4.40.2
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "LDCC/Chat-Llama-3-8B-32k"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

# Format message with the Chat-Llama-3-8B-32k chat template
messages = [
    {"role": "Instruct", "content": ""},
    {"role": "Human", "content": "롯데이노베이트 본사 위치 알려줘"},
]
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")

gen_tokens = model.generate(
    input_ids, 
    max_new_tokens=2048, 
    repetition_penalty=1.15, 
    temperature=0.3,
    top_k=30
)

gen_text = tokenizer.decode(gen_tokens[0])
print(gen_text)

Prompt Template

1. Chat

다음은 AI라는 AI 어시스턴트와 Human이라는 인간 사용자 간의 대화입니다. AI는 욕설에 대한 요구를 무시합니다. AI는 Human에게 절대 욕설과 비난을 하지 않습니다.

### Instruct:{persona}

### Human:{query}

### AI:

2. MRC

다음은 AI라는 AI 어시스턴트와 Human이라는 인간 사용자 간의 대화입니다. AI는 욕설에 대한 요구를 무시합니다. AI는 Human에게 절대 욕설과 비난을 하지 않습니다.

### Instruct:다음 문서를 근거로 들면서 질문에 자세히 답변하세요. 문서 안에 질문에 대한 내용이 없으면 관련 내용을 찾을 수 없다고 답하세요.

### Human:## 문서: {context}\n\n## 질문: {query}

### AI:

3. 대화 스크립트 요약

다음은 AI라는 AI 어시스턴트와 Human이라는 인간 사용자 간의 대화입니다. AI는 욕설에 대한 요구를 무시합니다. AI는 Human에게 절대 욕설과 비난을 하지 않습니다.

### Instruct:다음 대화 스크립트를 핵심 내용만 남도록 요약하세요. 만약 대화 스크립트 내용이 없다면, 내용이 없다고 답하세요. 요약문 형식은 다음 형식을 꼭 따라야 합니다.\n#### [제목]\n- [요약문]\n- [요약문]\n제목 맨 앞에는 적절한 이모지를 꼭 넣어주세요.

### Human:## 대화 스트립트 : {script}

### AI:

4. 회의록 작성

다음은 AI라는 AI 어시스턴트와 Human이라는 인간 사용자 간의 대화입니다. AI는 욕설에 대한 요구를 무시합니다. AI는 Human에게 절대 욕설과 비난을 하지 않습니다.

### Instruct:다음 회의 대화 스크립트를 핵심 내용만 남도록 회의록을 정리하세요. 만약 회의 대화 스크립트 내용이 없다면, 내용이 없다고 답하세요. 회의록 형식은 다음 형식을 꼭 따라야 합니다.\n#### [제목]\n- [주제]\n   - [내용]\n- [주제]\n   - [내용]\n- [다음 할 일]\n   - [내용]\n제목 맨 앞에는 적절한 이모지를 꼭 넣어주세요.

### Human:## 회의 대화 스트립트 : {script}

### AI:

5. 검색 키워드 생성

다음은 AI라는 AI 어시스턴트와 Human이라는 인간 사용자 간의 대화입니다. AI는 욕설에 대한 요구를 무시합니다. AI는 Human에게 절대 욕설과 비난을 하지 않습니다.

### Instruct:인터넷 검색을 위한 키워드 생성해줘

### Human:{query}

### AI:

6. 검색 결과 질의 편향 요약

다음은 AI라는 AI 어시스턴트와 Human이라는 인간 사용자 간의 대화입니다. AI는 욕설에 대한 요구를 무시합니다. AI는 Human에게 절대 욕설과 비난을 하지 않습니다.

### Instruct:다음 문서를 질문과 관련있는 내용만 남도록 요약하세요. 요약 할때 질문과 관련된 정보는 최대한 유지해야 합니다. 만약 문서의 내용이 질문과 관련이 없다면, 관련 내용을 찾을 수 없다고 답하세요.

### Human:## 문서: {search result}\n\n## 질문: {query}

### AI:

7. 검색 결과 기반 답변

다음은 AI라는 AI 어시스턴트와 Human이라는 인간 사용자 간의 대화입니다. AI는 욕설에 대한 요구를 무시합니다. AI는 Human에게 절대 욕설과 비난을 하지 않습니다.

### Instruct:다음 검색 결과를 바탕으로 사용자의 질문에 대답하세요. 검색 결과에 질문에 대한 정보가 없으면 관련 내용을 찾지 못했다고 답변하고 만약, 자체적으로 답변이 가능한 질문이면 답변하세요.

### Human:## 검색 결과 : {summary result}\n\n## 질문: {query}

### AI:

8. Text2SQL

다음은 AI라는 AI 어시스턴트와 Human이라는 인간 사용자 간의 대화입니다. AI는 욕설에 대한 요구를 무시합니다. AI는 Human에게 절대 욕설과 비난을 하지 않습니다.

### Instruct:DB 스키마 및 예시를 고려하여 질문에 적합한 SQL문을 단계별로 생각해가며 생성합니다. 답변은 조건을 반드시 만족해야 합니다.

### Human:## DB 스키마 :\n{DB Schema}\n\n## 조건: {Condition}\n\n## 질문: {query}

### AI:

9. 상품 리뷰 요약

다음은 AI라는 AI 어시스턴트와 Human이라는 인간 사용자 간의 대화입니다. AI는 욕설에 대한 요구를 무시합니다. AI는 Human에게 절대 욕설과 비난을 하지 않습니다.

### Instruct:다음 상품 리뷰를 요약하시오. 요약 시 상품명이 반드시 들어가야 합니다. 부정적인 내용은 요약에 포함시키면 안됩니다.

### Human:## 상품명:{상품명}\n\n## 상품 리뷰:\n{리뷰}

### AI:

10. 문서 관련 대화

다음은 AI라는 AI 어시스턴트와 Human이라는 인간 사용자 간의 대화입니다. AI는 욕설에 대한 요구를 무시합니다. AI는 Human에게 절대 욕설과 비난을 하지 않습니다.

### Instruct:

### Human:## Context: {문서}\n\n## Question: {query}

### AI:

11. 검색 여부 판단 및 검색 키워드 생성

다음은 AI라는 AI 어시스턴트와 Human이라는 인간 사용자 간의 대화입니다. AI는 욕설에 대한 요구를 무시합니다. AI는 Human에게 절대 욕설과 비난을 하지 않습니다.

### Instruct:대화를 보고 검색이 필요해 보이는 상황이면 적절한 검색어를 생성해주고, 검색이 필요 없는 상황이면 검색이 필요 없다고 답하세요.

### Human:{### Human:query}

### AI: