Update README.md
Browse files
README.md
CHANGED
|
@@ -11,6 +11,7 @@ base_model:
|
|
| 11 |
---
|
| 12 |
|
| 13 |
Модель mistralai/Mistral-7B-v0.1, обучение всех слоев с ~4млрд токенов из датасета.
|
|
|
|
| 14 |
130 часов 2xTesla H100.
|
| 15 |
|
| 16 |
```
|
|
@@ -30,4 +31,5 @@ gradient_accumulation_steps: 5
|
|
| 30 |
loss: 2.03
|
| 31 |
|
| 32 |
По https://github.com/NLP-Core-Team/mmlu_ru
|
|
|
|
| 33 |
Квантизация в 4b: accuracy_total=41.86218134391028
|
|
|
|
| 11 |
---
|
| 12 |
|
| 13 |
Модель mistralai/Mistral-7B-v0.1, обучение всех слоев с ~4млрд токенов из датасета.
|
| 14 |
+
|
| 15 |
130 часов 2xTesla H100.
|
| 16 |
|
| 17 |
```
|
|
|
|
| 31 |
loss: 2.03
|
| 32 |
|
| 33 |
По https://github.com/NLP-Core-Team/mmlu_ru
|
| 34 |
+
|
| 35 |
Квантизация в 4b: accuracy_total=41.86218134391028
|