|
--- |
|
license: apache-2.0 |
|
language: |
|
- sv |
|
- da |
|
- 'no' |
|
- is |
|
- en |
|
tags: |
|
- merge |
|
pipeline_tag: text-generation |
|
base_model: |
|
- timpal0l/Llama-3-8B-flashback-v1 |
|
- cognitivecomputations/dolphin-2.9-llama3-8b |
|
--- |
|
![](https://huggingface.co/timpal0l/dolphin-2.9-llama3-8b-flashback/resolve/main/water_cat.png?download=true) |
|
## How to use: |
|
```python |
|
from transformers import pipeline |
|
|
|
pipe = pipeline( |
|
task="text-generation", |
|
model="dolphin-2.9-llama3-8b-flashback", |
|
device_map="auto" |
|
) |
|
|
|
text = "Vad är meningen med livet?" |
|
|
|
prompt = f""" |
|
<|im_start|>system |
|
Du är en smart AI assistant som svarar på frågor.<|im_end|> |
|
<|im_start|>user |
|
{text}<|im_end|> |
|
<|im_start|>assistant |
|
""" |
|
|
|
pipe(prompt, max_length=512, do_sample=False) |
|
``` |
|
```python |
|
>>> "Meningen med livet är subjektiv och varierar från person till person. |
|
Vissa ser det som att uppnå sina mål, |
|
medan andra fokuserar på att hjälpa andra och göra världen ett bättre ställe. |
|
Det är viktigt att hitta en mening som passar just dig och ditt liv" |
|
``` |
|
|
|
## config.yaml |
|
```yaml |
|
models: |
|
- model: timpal0l/Llama-3-8B-flashback-v1 |
|
# No parameters necessary for base model |
|
- model: cognitivecomputations/dolphin-2.9-llama3-8b |
|
parameters: |
|
density: 0.53 |
|
weight: 0.6 |
|
merge_method: dare_ties |
|
base_model: timpal0l/Llama-3-8B-flashback-v1 |
|
parameters: |
|
int8_mask: true |
|
dtype: bfloat16 |
|
``` |