MU-NLPC
/

CzeGPT-2_headline_generator

+{
+ "cells": [
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "# Generating headlines with CzeGPT-2 headline generator\n",
+    "\n",
+    "The generating codes in `utils.py` are based on <a href=\"https://github.com/SKRohit/Generating_Text_Summary_With_GPT2/blob/master/utils.py\">this</a> repository and heavily improved.\n",
+    "\n",
+    "Download all the files from the <a href=\"https://huggingface.co/MU-NLPC/CzeGPT-2_headline_generator/tree/main\">Hugging Face repository</a> and place `vocab.json` and `merges.txt` into one folder and `pytorch_model.bin` and `config.json` into another. \n",
+    "\n",
+    "Provide the paths to these folders later in the code."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 1,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "from transformers import GPT2LMHeadModel\n",
+    "from utils import add_special_tokens, generate_one_summary_fast"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 2,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "# load model\n",
+    "model_path = \"path/to/folder/with/model/and/config/files\"\n",
+    "\n",
+    "model = GPT2LMHeadModel.from_pretrained(model_path)\n",
+    "\n",
+    "# put model into eval mode and on device\n",
+    "model.eval()\n",
+    "device = 'cuda' # 'cpu' alternatively\n",
+    "model.to(device)\n",
+    "\n",
+    "# load and set tokenizer\n",
+    "tokenizer_path = \"path/to/folder/with/vocab/and/merges/files\"\n",
+    "tokenizer = add_special_tokens(tokenizer_path)\n",
+    "tokenizer.model_max_length = 1024"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "### Playing with summaries generation\n",
+    "\n",
+    "Here we can explore the generation with different inputs and hyperparameters. The crucial parameter for **headline generation** is `eos_stopping=True` (derived from end-of-text token). This tells the generator to stop when it hits eos token and not care about punctuation."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 6,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "input_seq = 'Vohradský v rámci výběrového řízení na nejvyšší post ve státním podniku dostal od výběrové komise nejvíce bodů ze všech uchazečů. Ministryně obrany Jana Černochová (ODS), pod jejíž resort lesy spadají, podle informací Novinek z dobře informovaného zdroje na doporučení komise dala. „Jsem ráda, že komise vybrala velice zkušeného člověka, který má bohaté zkušenosti nejen s lesnictvím, ale zná i Vojenské lesy a statky a je zárukou jejich dalšího rozvoje,“ uvedla ministryně obrany Jana Černochová. „Chci podnik udržet v černých číslech, důležitá je obnova lesních porostů po kůrovci a zabezpečení chodu podniku v souladu s potřebami resortu obrany,“ nastínil své priority Roman Vohradský. Vohradský se v lesnictví pohybuje dlouhá léta. Ve vojenských lesích pracoval už v letech 2002 až 2009. V témže roce pak přešel do jednoho z největších státních podniků, a to do Lesů ČR, které obhospodařují šestinu plochy Česka a zhruba polovinu všech lesů v zemi. Od roku 2015 pak opět pracuje ve VLS jako ředitel divize Mimoň. Do nejužšího výběru s Vohradským podle již dříve publikovaných informací redakce postoupili také bývalý ředitel VLS Jiří Janota, který v současnosti například zastává pozici předsedy Českomoravské myslivecké jednoty, a někdejší správní náměstek vojenských lesů Jiří Špelina. Celkem se do soutěže přihlásilo devět uchazečů. Vojenské lesy a statky ČR, které spravují zhruba 126 tisíc hektarů lesní půdy v zemi, hledají nového generálního ředitele poté, co na konci prosince ministryně obrany Jana Černochová (ODS) odvolala kvůli manažerským pochybením někdejšího ředitele podniku Petra Krále.'"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 10,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "input_text\n",
+      "\n",
+      "Vohradský v rámci výběrového řízení na nejvyšší post ve státním podniku dostal od výběrové komise nejvíce bodů ze všech uchazečů. Ministryně obrany Jana Černochová (ODS), pod jejíž resort lesy spadají, podle informací Novinek z dobře informovaného zdroje na doporučení komise dala. „Jsem ráda, že komise vybrala velice zkušeného člověka, který má bohaté zkušenosti nejen s lesnictvím, ale zná i Vojenské lesy a statky a je zárukou jejich dalšího rozvoje,“ uvedla ministryně obrany Jana Černochová. „Chci podnik udržet v černých číslech, důležitá je obnova lesních porostů po kůrovci a zabezpečení chodu podniku v souladu s potřebami resortu obrany,“ nastínil své priority Roman Vohradský. Vohradský se v lesnictví pohybuje dlouhá léta. Ve vojenských lesích pracoval už v letech 2002 až 2009. V témže roce pak přešel do jednoho z největších státních podniků, a to do Lesů ČR, které obhospodařují šestinu plochy Česka a zhruba polovinu všech lesů v zemi. Od roku 2015 pak opět pracuje ve VLS jako ředitel divize Mimoň. Do nejužšího výběru s Vohradským podle již dříve publikovaných informací redakce postoupili také bývalý ředitel VLS Jiří Janota, který v současnosti například zastává pozici předsedy Českomoravské myslivecké jednoty, a někdejší správní náměstek vojenských lesů Jiří Špelina. Celkem se do soutěže přihlásilo devět uchazečů. Vojenské lesy a statky ČR, které spravují zhruba 126 tisíc hektarů lesní půdy v zemi, hledají nového generálního ředitele poté, co na konci prosince ministryně obrany Jana Černochová (ODS) odvolala kvůli manažerským pochybením někdejšího ředitele podniku Petra Krále.<|sep|>\n",
+      "\n",
+      "generated_summary\n",
+      "\n",
+      "Vojenské lesy a statky ČR povede Roman Vohradský\n",
+      "\n",
+      "golden_summary\n",
+      "\n",
+      "Not Given\n",
+      "\n",
+      "CPU times: user 199 ms, sys: 33.7 ms, total: 233 ms\n",
+      "Wall time: 230 ms\n"
+     ]
+    }
+   ],
+   "source": [
+    "%%time\n",
+    "generate_one_summary_fast(input_seq, tokenizer, model, top_k=50, top_p=0.5, device=device, eos_stopping=True)\n",
+    "\n",
+    "None"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "Python 3",
+   "language": "python",
+   "name": "python3"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.8.5"
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 4
+}