# スマートスピーカー用日本語学習機能の開発

加藤大輔 宾戸真
東京電機大学大学院 情報環境学研究科
$\{20$ jkm08\}@ms. dendai.ac. jp, \{shishido\}@mail.dendai. ac.jp

## 概要

学校の授業内でデジタル教材を紙教材と併用することができる法令が実施され, デジタ ル教材の需要が拡大されている.デバイスが いくつかある中で, スマートスピーカーを使用した学習教材の実例はまだ少ない状況に ある.スマートスピーカーは AI アシスタン 卜機能を搭載しており，その操作方法は音声 によるものである。この人間対機械で対話を するという行為を利用し，語学学習を日常に 身近なものしたいと考えた. そこで本研究で はスマートスピーカー内の機能として日本語を母語としない日本語学習者のための日本語学習機能を開発し, 使用感を確認するた めの実験を行った。

## 1 はじめに

令和 2 年度から新学習指導要領を踏まえた 授業の改善や特別な手助けが必要となる生徒のための補助を目的として，これまでの紙 の教科書に加えて学習者用のデジタル教材 を併用することができる法令が実施され, デ ジタル教材の需要が拡大されている。[1]し かしその中で，スマートスピーカーを使用し た学習教材の実例はまだ少ない状況にある。現在スマートスピーカーの普及は急速に進 んでおり,今後より生活に身近なものになる と考えられている。[2]

そのようなスマートスピーカーの特徴であ る，話しかけるだけで操作ができる点やAI アシスタント機能が搭載されている点から 紙教材での学習方法に比べて, 日常生活で何 かをしながら，必要以上に頑張らなくても，学習を面白いと魅力に感じながら, できるこ とを増やせるような学習方法の可能性を検証したいと考えた. そこで本研究では, スマ 一トスピーカーの現状についての調査, スマ 一トスピーカー用の学習機能の開発,スマー トスピーカーでの学習の可能性について調査する。

## 2 先行研究 $\cdot$ 類似教材

スマートスピーカーを利用した日本語学習機能に関する研究としては, 熊本大学の甲斐晶子 (2018.9) [3] があげられる.また,スマ 一トスピーカーを利用した学習教材の例と しては，「ベストティーチャーから生まれた 英語リスニングドリル 100 選」（株式会社べ ストティーチャー)(2017.10)[4]や「九九ゼ ミ」（株式会社八雲ソフトウェ ア)(2018.12) [5]などがある.

## 3 Amazon Echo と Alexa

スマートスピーカーとは音声で操作するこ とができる対話型の AI 機能を持つスピーカ 一であり，ユーザが話しかけることで，天気， ニュース, 時間, 音楽, 家電を操作することが できる.日本で主に流通しているものは Am azon Echo (Amazon), Google Home(Google), Home Pod(Apple)などがある. 本研究で使用 するスマートスピーカーは, 世界で一番普及 している点, デバイスに画面があり画面の必要性を比較できる点, そして個人の開発者に よってAI アシスタントの機能を拡張できる 開発環境が日本語にも対応している点から Amazon の AlexaというAIアシスタント(ク ラウドベースの音声サービス)を搭載した A mazon Echoを選択した。

## 4 Alexa スキルの仕組み

Amazon Echoには普段周りの音を聞いてい る状態であるマイクが内蔵されており，ユー ザーが発話した「アレクサ」というウェイク ワードに反応して要求を録音し, 音声データ としてインターネットを通じてAlexaに転送 する.その転送されたデータを Alexa の自動音声認識(ASR) と自然言語理解 (NLU)で処理 し，プログラムを実行するサーバーにリクエ ストデータとして転送する.サーバーが処理後転送したレスポンスをAlexa の音声合成 (TTS)を通じてユーザの耳に届ける．６］

## 5 学習機能の作成

Amazon Echo に搭載されているAlexaを用 いて日本語学習者を対象とした日本語を学習することができる Alexa スキルを作成す る.Alexa スキルを作成する方法は多く存在 するが, 本研究では Alexa スキルをノンコー ディングで作成することができるサービス であるVoiceflowを使用した。[7]

## 5.1 Voiceflow とは

はじめに Alexa と対話するには「Alexa,○○を 開いて」のようなフレーズを発話する必要がある. この○○に入る名称をここでは呼び出し名と言い，最初に設定する.また,Voiceflow は Alexa が発話 する Speak ブロックとユーザの発話内容を判別し 分岐させる Choice ブロックを使用することで,会話 をフローチャートのように作成することができ,実際 の会話の動きを視覚化することができる.

## 6 予備実験

## 6.1 実験内容

Zoom のビデオ通話を通して Amazon Echo の画面を見ながら 3 種類の問題を操作し, 教材の評価をする。

## 6.2 実験被験者

東京電機大学在学の留学生 5 名と東京電機大学日本語教師 1 名を対象として実験を行っ た. 留学生の日本語学習歴は 3 年以上であっ
た.

## 6.3 予備実験で使用する Alexa スキ ル

予備実験で使用するために Voiceflow で作成した Alexaスキルは画面表示の有無での使用度を比較するために, 画面表示がなく, 音声のみを聞いて解答する問題である” 反対 の言葉”，画面表示を見て解答をする問題”漢字の読み方”, 画面表示はあるが見なくて も解答ができる問題” 言葉の言い換え”の 3 種類の問題である. 問題の内容は, 日本語能力試験の問題を引用した. [8] 日本語能力試験の問題の引用に関しては, 著作権者の国際交流基金及び日本国際教育支援協会の著作物利用方法に従い, 作成した Alexa スキルの 一般公開はせず, 本研究における実験時及び 本論文のみの使用に限る.

## 6.3.1 反対の言葉

“反対の言葉” は問題で読まれた単語に対 して反対の意味の単語を答えるものである。画面表示はないため音声のみを聞いて解答 する必要がある.

## 6.3.2 漢字の読み方

“漢字の読み方”は画面に表示されている 問題文の中の下線部の漢字の正しい読み方 を 4 つの選択肢から選ぶものである. 問題文 は読まれないため画面を見て解答する必要 がある。

## 6.3.3 言葉の言い換え

“言葉の言い換え”は画面に表示されてい る問題文の中の下線部の言葉に意味が最も 近いものを 4 つの選択肢から選ぶものである。問題文と選択肢が読まれるため画面表示を 見なくても解答できる。

## 6.4 予備実験結果

スマートスピーカーを使用したことがあっ た被験者は半数であった, 問題操作の容易さ には全員から肯定的な意見があり, スマート スピーカーを操作し学習する方法は学習者 に受け入れられそうであることが確認でき た.画面表示の有無に関しては意見が分かれ

たが,画面表示有りでは問題の説明や問題文,解説が全てで日本語での表示だけであった ため英語での表示があると日本語に不慣れ な学習者にとってより分かりやすいという 意見が得られた。画面表示無しでは, 普段の 生活で料理が退屈であるため, 音声だけで操作することができれば料理しながら学習す ることができて良いという意見を得ること ができた. 問題の内容については” 反対の言葉”で文脈がないと意味が取れないものがあ り, 単語ではなく文レベルで発話させること によって文法の変形練習もできるのが良い という意見を得ることができた。

## 7 本実験

## 7.1 予備実験結果から作成した Alexa スキル

予備実験の結果から対象となる学習者の日本語能力に合った問題の難易度や構成を改 めて検討し, 対象を東京電機大学大学院の留学生の入学生の基準となっている日本語能力試験 N2 レベルとし, 試験の練習ができる ような Alexa スキルを作成した.作成には日本語能力試験 N2 の練習をするために, 実際 に試験に出題された問題を使用し, 問題の説明や問題文における漢字の振り仮名等を N2 レベルで統一した.また,この試験は言語知識 (文字・語彙・文法), 読解, 聴解, の 3 科目 に分けられ, 18 種の大門で構成されている. この中から,スマートスピーカーの機能で学習するために, 画面に問題文が入りきらない 長文の読解問題等の問題として成り立たな いものを除いた全 9 種の大問の各 2 問ずっで 構成することとした. [8]

問題は選択式方式であり, 学習者は 4 つの選択肢から選び, 解答する. 選択肢は問題の性質上, 言葉で解答するものと, 振られた数字 で解答するものがある.このように解答方法 が変わる問題の前には学習者が戸惑うこと の内容に解答方法が音声で指示される.また,日本語能力試験 N2 で構成されている科目と問題数は以下の表の通りであり赤色の中括弧で括られているものが今回のAlexa スキル で出題される科目である.

そして, 実際にスマートスピーカーの画面 に表示される問題の例は以下の図の通りで あり, 文字・語彙の問題は緑, 文法の問題は黄色, 聴解の問題は水色と分けることとした.

## 7.2 実験内容

紙教材での学習とAlexaスキルでの学習を行 い, 学習中の集中度, リラックス度, 没入度,緊張度, 落ち着き度の測定を行い測定データ の分析を行う. 集中度, リラックス度の測定 には米 NeuroSky 社のへッドセッド型の簡易型脳波測定器 MindWave Mobile2を, 没入度,緊張度, 落ち着き度の測定には JINS 社の眼鏡型ウェアラブル端末 JINSMEMEを使用す る. [9] [10]

## 7.2.1 Mind Wave Mobile2

MindWave Mobile2 ではセンサーアームに搭載された電極から検出した脳波を基に， $\alpha$ 波・ $\beta$ 波などのパワースペクトルや NeuroSky 社独自の脳波解析アルゴリズムから集中度・リ ラックス度のレベル, 及び瞬きの有無のデー 夕を出力する. 本実験では集中度・リラック ス度の測定を行う。

## 7.2.2 JINSMEME

JINSMEME では 6 軸モーションセンサーに よる体の体軸変化の記録や 3 点式眼電位セン サーによるまばたき, 視線移動の記録, 集中力, 活力, 落ち着き等ココロの状態の補足を する. 本実験では没入度・緊張度・落ち着き度 の測定を行う。

## 7.2.3 測定データの定義
- MindWave

Attention: 集中度 $(0 \sim 100$, 集中していない〜集中している)

Meditation：リラックス度 $(0 \sim 100$, リラック スしてない〜リラックスしている)

測定間隔： 1 秒毎

## - JINSMEME

focus Score：没入度 $(0 \sim 100$, 没入度が低い
没入度高い)

tension Score：緊張度 $(0 \sim 100$, 緊張が弱い〜緊張が強い)

calm Score : 落ち着き度 $(0 \sim 100$, 落ち着いて いない〜落ち着いている)

測定間隔: 15 秒毎

## 7.3 実験被験者

東京電機大学在学の留学生 23 名を対象とし て行った。

日本語学習歴は 2 年以上で 5 年以上学習して いる人が 6 割であった.

## 7.4 実験結果

本実験でスマートスピーカーを初めて操作 したという被験者は約 7 割であったが操作に 戸惑うことなくスムーズに問題を解答する ことができた. 正答率は紙教材が $86.4 \%$, Alex a スキルが $82.6 \%$ で紙教材の方が僅かに上回 ったがそれほど差はないと考える.また, Min dWave とJINSMEME で測定したデータは, 各被験者のデータ数, 最高値, 最低値, 平均値, データの值が 70 以上の数と割合, データの值 が 30 以下の数を表にした. 以下は測定した データから一例として紙教材で学習してい る際に MindWave で測定した Attention (集中度）の表.である。

## 7.5 データ分析

本実験で測定した集中度, リラックス度,没入度, 緊張度, 落ち着き度が 70 以上であっ た割合と 30 以下であった割合をそれぞれ紙教材とAlexaスキルで以下のグラフのように 比較する。

また, 全てのデータを比較した結果を次に記 す.

- MindWave

集中度

70 以上：紙教材の方が多く, 集中度が高い, 30 以下: Alexaスキルが多く, 集中度が低い。 リラックス度

70 以上：紙教材の方が多くリラックス度が 高い.

30 以下: Alexa スキルが多く, リラックス度が高い。

## - JINSMEME

没入度

70 以上：紙教材の方が多く, 没入度が高い。 30 以下: Alexaスキルが多く, 没入度が低 い.

## 緊張度

70 以上：Alexaスキルが多く, 緊張度が高 い.

30 以下：紙教材の方が多く, 緊張度が低い。落ち着き度

70 以上: 紙教材の方が多く, 落ち着き度が高 い.

30 以下: Alexa スキルが多く, 落ち着き度が 低い。

## 8 考察

実験前の仮説では, 紙教材の方が集中度, 没入度, 緊張度が高く, Alexa スキルの方がリラ ックス度, 落ち着き度が高いと考えていたが,実験結果は紙教材の方が集中度, 没入度, リ ラックス度, 落ち着き度が高く, Alexa スキル の方が緊張度が高いという結果となった. 教材の操作方法について問題はなかったが, 初 めてスマートスピーカーを操作する被験者 も多く, 被験者がこれまで長い期間学習に使用してきた紙教材と比較すると慣れによる 差も多く出たと考えられる。

## 9 今後の展望

今回の実験は一回限りの学習だったため,今後は実験期間を長くし, 複数回学習するこ とによってスマートスピーカーの操作に慣 れる期間が必要だと考える. また, 実験の結果は仮説通りの結果とはならなかったが, 被験者からスマートスピーカーでの語学学習 について肯定的な意見も多く, 教材の改良に 努める.そして, 本来の目標であったスマー トスピーカーを利用したリラックス状態で のながら学習で学習効果を高められるよう な教材の工夫を目指す.

## 参考文献

[1]文部科学省.デジタル教科書について.” htt ps://www.mext.go.jp/a_menu/shotou/kyouk asho/seido/1407731.htm"

[2] Canalys: Global smart speaker installed bas e to top 200 million by end of 2019 " http s://www.canalys.com/newsroom/canalys-glob al-smart-speaker-installed-base-to-top-200million-by-end-of-2019”,2019.5.15

［3］甲斐晶子ほか 3 名，”受身系転換練習のため のスマートスピーカー (Alexa) 用機能の開発”日本教育工学会 第34回全国大会発表論文集, 2018.9, pp.669-670.

[4]「ベストティーチャーから生まれた英語リスニングド リル100選を Google Home に提供」”https:// www.best-teacher-inc.com/news/google-hom e",2017.10.15

５5］株式会社八雲ソフトウェアホームページ "https: //8clouds.co.jp/smart/”, 2020.4.1 参照

[6] Alexa スキル開発トレーニング ”https://develop er.amazon.com/ja-JP/alexa/alexa-skills-kit/t raining/build-a-skill”, 2020.4.1 参照

[7] Voiceflow "https://www.voiceflow.com/"

[8] 日本語能力試験公式ウェブサイト “https://ww w.jljl.jp/index.html”, 2012

[9] Neurosky “https://www.neurosky.jp”

[10] JINS MEME “https://jinsmeme.com”

## 付録

図 1 “漢字の読み方” のフローチャート

[8]

0

図 2 “言葉の言い換え”のフローチャート

$[8]$

図 3 “表記” の問題画面 [8]

図 4 “文法” の問題画面 [8]

図 5 “聴解” の問題画面 [8]

図 6 MindWave Attention $\sigma$ 比較 (70 以上)

図 7 MindWave Attention の比較 (30 以下)

表 1 MindWave で測定した Attention のデータ

 &  \\


 加藤大輔 宾戸真 東京電機大学大学院 情報環境学研究科 $\{20$ jkm08\}@ms. dendai.ac. jp, \{shishido\}@mail.dendai. ac.jp  