Update README.md

README.md

@@ -25,7 +25,7 @@ datasets:
 
 <img align="center" src="https://huggingface.co/ltg/norbert3-base/resolve/main/norbert.png" width=12.5%>
 
-This is a model instruction-tuned on open datasets released under the most permissive apache-2.0 licence — thus we can release this model under the same license and make it openly available for commercial applications.
+This is a model instruction-tuned on open datasets released under the most permissive apache-2.0 licence — thus we can release this model under the same license and make it openly available for commercial applications. The model has been finetuned on 4096 context length, twice as many tokens as the base model.
 
 The released weights are still a work in progress and they might change in the future. This is the first iteration of instruction-tuning our NorMistral models and it currently uses only the SFT phase without any preference optimization. Please let us know your feedback to improve the model in future releases.
 
@@ -39,7 +39,9 @@ The corpus was compiled by this process:
 4. Since most of that dataset contains only a single dialogue turn, we generated more turns using [Mixtral-8x7B](https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1).
 5. Finally, we translated the resulting dataset into Bokmål and Nynorsk using [NorMistral-7b-warm](https://huggingface.co/norallm/normistral-7b-warm).
 
-## Prompt format
+## How to run the model?
+
+### 1. Prompt format
 
 NorMistral uses ChatML-like format for structuring the (multi-turn) conversations. An example of a prompt in this format looks like the following (notice the special `<|im_start|>` and `<|im_end|>` tokens).
 
@@ -58,19 +60,42 @@ This prompt-format is available as a [chat template](https://huggingface.co/docs
 `tokenizer.apply_chat_template()` method:
 
 ```python
+from transformers import AutoTokenizer
+tokenizer = AutoTokenizer.from_pretrained("norallm/normistral-7b-warm-instruct")
+
 messages = [
     {"role": "user", "content": "Hva er hovedstaden i Norge?"},
-    {"role": "assistant", "content": "Hovedstaden i Norge er Oslo. Denne byen ligger i den sørøstlige delen av landet, ved Oslofjorden. Oslo er en av de raskest voksende byene i Europa, og den er kjent for sin rike historie, kultur og moderne arkitektur. Noen populære turistattraksjoner i Oslo inkluderer Vigelandsparken, som viser mer enn 200 skulpturer laget av den berømte norske skulptøren Gustav Vigeland, og det kongelige slott, som er den offisielle residensen til Norges kongefamilie. Oslo er også hjemsted for mange museer, gallerier og teatre, samt mange restauranter og barer som tilbyr et bredt utvalg av kulinariske og kulturelle opplevelser."}
+    {"role": "assistant", "content": "Hovedstaden i Norge er Oslo. Denne byen ligger i den sørøstlige delen av landet, ved Oslofjorden. Oslo er en av de raskest voksende byene i Europa, og den er kjent for sin rike historie, kultur og moderne arkitektur. Noen populære turistattraksjoner i Oslo inkluderer Vigelandsparken, som viser mer enn 200 skulpturer laget av den berømte norske skulptøren Gustav Vigeland, og det kongelige slott, som er den offisielle residensen til Norges kongefamilie. Oslo er også hjemsted for mange museer, gallerier og teatre, samt mange restauranter og barer som tilbyr et bredt utvalg av kulinariske og kulturelle opplevelser."},
     {"role": "user", "content": "Gi meg en liste over de beste stedene å besøke i hovedstaden"}
 ]
 gen_input = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
-model.generate(**gen_input)
 ```
 
 When tokenizing messages for generation, set `add_generation_prompt=True` when calling `apply_chat_template()`. This will append `<|im_start|>assistant\n` to your prompt, to ensure
 that the model continues with an assistant response.
 
 
+### 2. Generation parameters
+
+The model is quite sensitive to generation parameters, it's important to set them correctly. We give an example of a reasonable generation setting below. Note that other libraries have different defaults and that it's important to check them.
+
+```python
+from transformers import AutoModelForCausalLM
+model = AutoModelForCausalLM.from_pretrained("norallm/normistral-7b-warm-instruct", torch_dtype=torch.bfloat16)
+
+model.generate(
+    gen_input,
+    max_new_tokens=1024,
+    top_k=64,  # top-k sampling
+    top_p=0.9,  # nucleus sampling
+    temperature=0.3,  # a low temparature to make the outputs less chaotic
+    repetition_penalty=1.0,  # turn the repetition penalty off, having it on can lead to 
+    do_sample=True,  # randomly sample the outputs
+    use_cache=True  # speed-up generation
+)
+```
+
+
 ## About the base model
 
 NorMistral-7b-warm is a large Norwegian language model initialized from [Mistral-7b-v0.1](https://huggingface.co/mistralai/Mistral-7B-v0.1) and