File size: 1,381 Bytes
34e76fa f9d4542 e708098 38b2409 b7cb5ee c710164 38b2409 e708098 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 |
---
license: apache-2.0
language:
- sv
- da
- 'no'
- is
- en
tags:
- merge
pipeline_tag: text-generation
base_model:
- timpal0l/Llama-3-8B-flashback-v1
- cognitivecomputations/dolphin-2.9-llama3-8b
---
## How to use:
```python
from transformers import pipeline
pipe = pipeline(
task="text-generation",
model="dolphin-2.9-llama3-8b-flashback",
device_map="auto"
)
text = "Vad är meningen med livet?"
prompt = f"""
<|im_start|>system
Du är en smart AI assistant som svarar på frågor.<|im_end|>
<|im_start|>user
{text}<|im_end|>
<|im_start|>assistant
"""
pipe(prompt, max_length=512, do_sample=False)
```
```python
>>> "Meningen med livet är subjektiv och varierar från person till person.
Vissa ser det som att uppnå sina mål,
medan andra fokuserar på att hjälpa andra och göra världen ett bättre ställe.
Det är viktigt att hitta en mening som passar just dig och ditt liv"
```
## config.yaml
```yaml
models:
- model: timpal0l/Llama-3-8B-flashback-v1
# No parameters necessary for base model
- model: cognitivecomputations/dolphin-2.9-llama3-8b
parameters:
density: 0.53
weight: 0.6
merge_method: dare_ties
base_model: timpal0l/Llama-3-8B-flashback-v1
parameters:
int8_mask: true
dtype: bfloat16
``` |