timpal0l
/

Mistral-7B-v0.1-flashback-v2

@@ -2,6 +2,8 @@
 language:
 - sv
 - en
 license: mit
 tags:
 - pretrained
@@ -15,10 +17,10 @@ widget:
 ![](https://huggingface.co/timpal0l/Mistral-7B-v0.1-flashback-v2/resolve/main/flashcat.png?download=true)
-*Mistral-7B-v0.1-flashback-v2* is a continuation of the pretraining process for the base Mistral-7B-v0.1 model, utilizing 2 251 233 forum threads from the Swedish website https://www.flashback.org/. Which is rougly 40GB of text.
 It is a full finetune for one epoch. It was finetuned using [Axolotl](https://github.com/OpenAccess-AI-Collective/axolotl) on 6X Nvidia A100 for about two weeks.
-## How to use
 ```python
 import torch
 from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
@@ -45,12 +47,9 @@ generated_token_ids = model.generate(
 generated_text = tokenizer.decode(generated_token_ids)
 generated_text
 ```
 ```
 <s> Idag är det den bästa dagen i hela veckan, för nu tar det slut!\n\n>! Gnällfesten!\n\nJag sitter här, oerhört förvirrad, och försöker förstå varför vi ens måste fortsätta att existera efter döden. Jag menar, jag förstår ju egentligen att det aldrig kan ta slut, eller inte "ta slut" i den bemärkelsen att materian försvinner, men det är inte det jag pratar om.\n\nDöden, det faktum att man dör och aldrig kan uppleva livet igen. Det som är liv och ger livet en mening, det försvinner i döden. Och sen börjas det om, om och om igen. Varför behöver vi så många liv? Vi är ju inte ens medvetna av att vi någonsin har levt, så varför ska vi komma hit och bli medvetna hela tiden?\n\nDet här är en sådan fråga som jag aldrig kan få
 ```
 #### Random training sample:
 ```html
 # Tips om aktiviter och sevärdheter i Stockholm för någon med funktionsnedsättning
@@ -159,8 +158,8 @@ Tack och lov för apparna som jag kunde leda oss efter. Att åka kollektivt hade
 Tack ska ni ha för tipsen, igen. Tack till Stockholm för att ni tog emot oss med respekt han var så nöjd med resan.
 Hej så länge, vi kommer åter i framtiden! 😁
 ```
-## Data Format
-To mimic the data format used in training it has the following structure:
 ```html
 # Thread_Title
@@ -174,3 +173,4 @@ username_user_2:
 > username_user_1: This is a response to the thread, without qouting anything.
 I am now quoting username_user_1...

 language:
 - sv
 - en
+- 'no'
+- da
 license: mit
 tags:
 - pretrained
 ![](https://huggingface.co/timpal0l/Mistral-7B-v0.1-flashback-v2/resolve/main/flashcat.png?download=true)
+Mistral-7B-v0.1-flashback-v2 is a continuation of the pretraining process for the base Mistral-7B-v0.1 model, utilizing 2 251 233 forum threads from the Swedish website https://www.flashback.org/. Which is rougly 40GB of text.
 It is a full finetune for one epoch. It was finetuned using [Axolotl](https://github.com/OpenAccess-AI-Collective/axolotl) on 6X Nvidia A100 for about two weeks.
+## How to use:
 ```python
 import torch
 from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
 generated_text = tokenizer.decode(generated_token_ids)
 generated_text
 ```
 ```
 <s> Idag är det den bästa dagen i hela veckan, för nu tar det slut!\n\n>! Gnällfesten!\n\nJag sitter här, oerhört förvirrad, och försöker förstå varför vi ens måste fortsätta att existera efter döden. Jag menar, jag förstår ju egentligen att det aldrig kan ta slut, eller inte "ta slut" i den bemärkelsen att materian försvinner, men det är inte det jag pratar om.\n\nDöden, det faktum att man dör och aldrig kan uppleva livet igen. Det som är liv och ger livet en mening, det försvinner i döden. Och sen börjas det om, om och om igen. Varför behöver vi så många liv? Vi är ju inte ens medvetna av att vi någonsin har levt, så varför ska vi komma hit och bli medvetna hela tiden?\n\nDet här är en sådan fråga som jag aldrig kan få
 ```
 #### Random training sample:
 ```html
 # Tips om aktiviter och sevärdheter i Stockholm för någon med funktionsnedsättning
 Tack ska ni ha för tipsen, igen. Tack till Stockholm för att ni tog emot oss med respekt han var så nöjd med resan.
 Hej så länge, vi kommer åter i framtiden! 😁
 ```
+## Data Format:
+To mimic the data format used in pre-training it has the following structure:
 ```html
 # Thread_Title
 > username_user_1: This is a response to the thread, without qouting anything.
 I am now quoting username_user_1...
+```