# 文頭・文末予測の組み合わせによる文特定

宇田川拓真金山博吉田一星
日本アイ・ビー・エム株式会社東京基礎研究所
Takuma.Udagawa@ibm.com $\{$ hkana,issei\}@jp.ibm.com

## 概要

文分割とはテキストを連続する文の単位に分割 する前処理を指す. 本稿ではこれを拡張し,テキス ト中の文でないノイズを除去しつつ, 解析対象とす べき文のみを抽出する文特定タスクの定式化を行 う. また, 文頭・文末予測を組み合わせることで文特定を行う新たな手法を提案する. 最後に, Universal Dependencies (UD) のアノテーションに基づく言語横断的なベンチマーク手法を設計し, UD の英語コーパ ス English Web Treebank (EWT) を用いた実験により 提案手法の精度・有用性を検証する。

## 1 はじめに

自然言語処理において文は重要な処理単位の一つ である $[1,2,5]$. 一般的に, テキストはまず文末予測 に基づく文分割という前処理によって連続する文の 単位 (文単位と呼ぶ) に分割される $[4,3,11]$. しかし，実際のテキストデータは必ずしも綺麗な文単位のみ を含むとは限らない. 例えば, ウェブデータはメタ情報・文断片・非言語的記号など文と見なせないノィ ズ（非文単位と呼ぶ）を含み得る. 従来の文分割で は非文単位もいずれかの文単位に属すると仮定され るが,これらのノイズは構文解析など下流の処理や その評価において障害となることがある [12].

そこで本稿では文分割の代替として,テキストを 連続する文単位と非文単位に分割する文特定タスク の定式化を行う. それと同時に, 文頭と文末予測を組 み合わせることで文特定を行う新たな手法を提案す る. 表 1 に示すように, 提案手法では文頭・文末予測 によって文単位を特定しつつ, それ以外を非文単位 と見なして区別・除去することができる.

次に, 文特定タスクにそのまま適用可能なベン チマークが存在しないため, Universal Dependencies (UD) [8] のアノテーションを基に文特定のベンチ マークを設計する. 具体的には, UD が提供する文境界と述語項構造を活用して, 任意のUDコーパスか
ら文特定の正解データを作成する手法を紹介する。文単位・非文単位の分類基準を目的に応じて柔軟に 調整可能であることもこの手法の特長である.

最後に, UD の英語コーパスとして広く使われてい る English Web Treebank (EWT) [10]を用いて実験を 行う.これにより,提案手法は高い精度で文単位を特定できること, また正確な文単位の特定が構文解析等の下流タスクにおいて有用であることを示す.

## 2 タスク設計・手法

本節ではまず, 文分割のタスク設計と手法を再定義する. 次に, 文分割の考えを拡張することで文特定 のタスク設計と手法を導出できることを示す.

## 2.1 文分割

入力テキストを $\boldsymbol{W}=\left(w_{0}, w_{1}, \ldots, w_{N-1}\right)$ とし, 各 $w_{i}$ は単語とする（文字・サブワードでも可）.また, テ キストのスパン $\boldsymbol{W}[i: j]=\left(w_{i}, \ldots, w_{j-1}\right)$ およびその 連結 $\boldsymbol{W}[i: j] \oplus \boldsymbol{W}[j: k]=\boldsymbol{W}[i: k]$ を定義する.

文分割では入力テキストを連続する $M$ 個の文単位に分割する. ${ }^{1)}$ つまり, 文単位の境界のインデック スを $\boldsymbol{B}=\left(b_{0}, b_{1}, \ldots, b_{M}\right) \quad\left(\right.$ ただし $\left.b_{0}=0, b_{M}=N\right)$ と すると, $\bigoplus_{i=1}^{M} \boldsymbol{W}\left[b_{i-1}: b_{i}\right]=\boldsymbol{W}$ となる.ここで, スパ ン $\boldsymbol{W}[i: j]$ が一つの文単位となる確率を $p_{\mathrm{SU}}(\boldsymbol{W}[i: j])$ とおくと, 最適な文分割は以下の解 $\boldsymbol{B}$ を求めるタス クとして定式化できる：

$
\underset{\boldsymbol{B}}{\arg \max } \prod_{i=1}^{M} p_{\mathrm{SU}}\left(\boldsymbol{W}\left[b_{i-1}: b_{i}\right]\right)
$

次に, $w_{i}$ が文末となる確率のモデル $p_{\text {EOS }}\left(w_{i} \mid \boldsymbol{W} ; \theta\right)$ を導入する. ${ }^{2}$ 通常, モデルのパラメーター $\theta$ は文末 （文境界）の正解データを用いて事前学習され [11], このモデルを用いて文単位の確率 $p_{\mathrm{SU}}(\boldsymbol{W}[i: j])$ を以下のように定義できる：

$
p_{\mathrm{SU}}(\boldsymbol{W}[i: j])=p_{\mathrm{EOS}}\left(w_{j-1}\right) \prod_{i \leq k<j-1}\left(1-p_{\mathrm{EOS}}\left(w_{k}\right)\right)
$

1） $M$ は変数であることに注意.

2）以降 $\boldsymbol{W}, \theta$ を省略して $p_{\text {EOS }}\left(w_{i}\right)$ のように表記する.
表 1 文分割と文特定の比較. 文分割では文末予測 (E)によってテキストを連続する文単位 (青いスパン) に分割する. 文特定では文頭予測 (B) と文末予測 (E) の間のスパンを文単位として特定し, それ以外のスパンを非文単位と見なす.入力テキスト Thank you. - TEXT.htm 《 File: TEXT.htm 》 I was thinking of converting it to a hover vehicle. (EWTの例) I might just sell the car and get you to drive me around all winter.

つまり $\boldsymbol{W}[i: j]$ が文単位となる確率は, そこに含ま れる単語のうち最後の単語 $w_{j-1}$ のみが文末となる 確率に等しい. この式 (2)を式 (1)に代入すると,

$
\begin{aligned}
(1) & =\underset{\boldsymbol{B}}{\arg \max } \sum_{i=1}^{M}\left.\{\log p_{\mathrm{EOS}}\left(w_{b_{i}-1}\right)+\sum_{b_{i-1} \leq j<b_{i}-1} \log \left(1-p_{\mathrm{EOS}}\left(w_{j}\right)\right)\right.\} \\
& =\underset{\boldsymbol{B}}{\arg \max } \sum_{i \in \boldsymbol{B}_{\mathrm{EOS}}} \log p_{\mathrm{EOS}}\left(w_{i}\right)+\sum_{i \notin \boldsymbol{B}_{\mathrm{EOS}}} \log \left(1-p_{\mathrm{EOS}}\left(w_{i}\right)\right)
\end{aligned}
$

ここで $\boldsymbol{B}_{\mathrm{EOS}}=\left.\{b_{i}-1 \mid i \in(1,2, \ldots, M)\right.\}$ は $\boldsymbol{B}$ が定義 する文末のインデックスを指す. 式 (3) は自明な最適化問題であり, $\boldsymbol{B}_{\mathrm{EOS}}=\left.\{i \in(0,1, \ldots, N-1) \mid p_{\mathrm{EOS}}\left(w_{i}\right) \geq\right.$ $0.5\}$ となる $\boldsymbol{B}$ が最適解となる.

## 2.2 文特定

文特定では入力テキストを連続する文単位または 非文単位に分割する. そのため, $a_{i}$ を $\boldsymbol{W}\left[b_{i-1}: b_{i}\right]$ が 文単位の場合 1 , 非文単位の場合 0 を取る変数とする と, 最適な文特定は以下の解 $\boldsymbol{A}=\left(a_{1}, a_{2}, \ldots, a_{M}\right)$ およ び $\boldsymbol{B}$ を求めるタスクとして定式化できる：

$\underset{\boldsymbol{B}, \boldsymbol{A}}{\arg \max } \prod_{i=1}^{M} p_{\mathrm{SU}}\left(\boldsymbol{W}\left[b_{i-1}: b_{i}\right]\right)^{a_{i}} p_{\mathrm{NSU}}\left(\boldsymbol{W}\left[b_{i-1}: b_{i}\right]\right)^{1-a_{i}}$

ここで $p_{\mathrm{SU}}(\boldsymbol{W}[i: j]), p_{\mathrm{NSU}}(\boldsymbol{W}[i: j])$ はそれぞれ $\boldsymbol{W}[i: j]$ が一つの文単位, 非文単位となる確率を指す.前項の考えを拡張すると,これらの確率は事前学習 された文頭確率のモデル $p_{\mathrm{BOS}}\left(w_{i}\right)$ と文末確率のモデ ル $p_{\mathrm{EOS}}\left(w_{i}\right)$ を用いて以下のように定義できる：

$
\begin{aligned}
p_{\mathrm{SU}}(\boldsymbol{W}[i: j])= & p_{\mathrm{BOS}}\left(w_{i}\right) \prod_{i<k \leq j-1}\left(1-p_{\mathrm{BOS}}\left(w_{k}\right)\right) \\
& \times p_{\mathrm{EOS}}\left(w_{j-1}\right) \prod_{i \leq k<j-1}\left(1-p_{\mathrm{EOS}}\left(w_{k}\right)\right) \\
p_{\mathrm{NSU}}(\boldsymbol{W}[i: j])= & \prod_{i \leq k \leq j-1}\left(1-p_{\mathrm{BOS}}\left(w_{k}\right)\right) \times \prod_{i \leq k \leq j-1}\left(1-p_{\mathrm{EOS}}\left(w_{k}\right)\right)
\end{aligned}
$

つまり $\boldsymbol{W}[i: j]$ が文単位となる確率は, 最初の単語 $w_{i}$ のみが文頭となり, 最後の単語 $w_{j-1}$ のみが文末と なる確率に等しい. また, $\boldsymbol{W}[i: j]$ が非文単位となる 確率は文頭および文末が一切含まれない確率に等し い.3) これらの式 (5) を式 (4) に代入すると,

(4) $=\underset{\boldsymbol{B}, \boldsymbol{A}}{\arg \max } \sum_{i=1}^{M}\left.\{a_{i} \log p_{\mathrm{sU}}\left(\boldsymbol{W}\left[b_{i-1}: b_{i}\right]\right)\right.$ $\left.+\left(1-a_{i}\right) \log p_{\mathrm{NSU}}\left(\boldsymbol{W}\left[b_{i-1}: b_{i}\right]\right)\right.\}$

$
\begin{aligned}
=\underset{\boldsymbol{B}, \boldsymbol{A}}{\arg \max } & \sum_{i \in \boldsymbol{B}_{\mathrm{BOS}}^{\boldsymbol{A}}} \log p_{\mathrm{BOS}}\left(w_{i}\right)+\sum_{i \notin \boldsymbol{B}_{\mathrm{BOS}}^{\boldsymbol{A}}} \log \left(1-p_{\mathrm{BOS}}\left(w_{i}\right)\right) \\
& +\sum_{i \in \boldsymbol{B}_{\mathrm{EOS}}^{\boldsymbol{A}}} \log p_{\mathrm{EOS}}\left(w_{i}\right)+\sum_{i \notin \boldsymbol{B}_{\mathrm{EOS}}^{\boldsymbol{A}}} \log \left(1-p_{\mathrm{EOS}}\left(w_{i}\right)\right)
\end{aligned}
$

ここで $\boldsymbol{B}_{\mathrm{BOS}}^{\boldsymbol{A}}=\left.\{b_{i-1} \mid i \in(1,2, \ldots, M), a_{i}=1\right.\}$ は文頭 のインデックス, $\boldsymbol{B}_{\mathrm{EOS}}^{\boldsymbol{A}}=\left.\{b_{i}-1 \mid i \in(1,2, \ldots, M), a_{i}=1\right.\}$ は文末のインデックスを指す. 付録 A に示すように，式 (6) の最適解 $\boldsymbol{B}, \boldsymbol{A}$ は動的計画法を用いて厳密かつ 効率的に求めることができる.

## 3 評価

本節では, 任意の言語のUDコーパスから文特定 のベンチマークを構築する手法について説明する.具体的にはUD のアノテーションを基に, まず (1) 文単位・非文単位の境界を決定し，次に (2) 各区分を文単位または非文単位に分類する.

まず手順 (1) では, UDにおける文境界4）を文単位・非文単位の境界として採用する. 手順 (2) において は, 言語学における Lexical Sentence [9] の考え方を採用し, 単語間の依存関係を基に文単位を定義する. 具
[i: j] \oplus \boldsymbol{W}[j: k]=\boldsymbol{W}[i: k]$ に対して $p_{\mathrm{NSU}}(\boldsymbol{W}[i: k])=p_{\mathrm{NSU}}(\boldsymbol{W}[i: j]) \times p_{\mathrm{NSU}}(\boldsymbol{W}[j: k])$ が成立する.つまり,連続する非文単位の区別は行われない.

4）UDにおいて, 文境界における「文」とは表 2 のような非文単位を含む広義の意味で使われている。
}
表 2 English Web Treebank (EWT) に含まれる非文単位の 代表例. 各行は一つの非文単位に対応する.

$* \sim * \sim * \sim * \sim * \sim * \sim * \sim * \sim * \sim *$
$* * * * * * * * * * \mathrm{NOTE} * * * * * * * * * * *$
By video conference from
Excerpt:
02/13/2001 08:02 PM
5:00 PT ** 6:00 MT ** 7:00 CT ** 8:00 ET
Time: 11:30am / 1:30pm Central / 2:30pm Eastern
Sunshine Coast, British Columbia, Canada
- UnleadedStocks.pdf
t r t h o u t - Perspective
( Answered, 2 Comments )
The federal sites of Washington, DC.

体的には, 節を文単位を構成する重要な要素と考え,節を成す述語とそれに係る依存関係 (core argument または non-core dependent）が少なくとも一つ含まれ る区分を文単位として分類する.5)

本稿では実験のため, English Web Treebank (EWT) [10] を用いて実際にベンチマークを構築する. EWT

の様々なジャンルのテキストデータから成り立ち,解析対象とすべき文単位（表 6）だけでなく多様な 非文単位（表 2）が含まれる. なお, 本稿の基準では 独立した名詞句等も非文単位に分類されるが, 目的 に応じてこの基準は柔軟に調整可能である.

また, EWT ベンチマークの統計値を表 3 に示す.本稿の基準では, 約 17 28\% と多くの区分が非文単位として分類されることが分かる. 一方で, 文単位を 単語レベルの BIO ラベル6)を用いてアノテーション した場合, 約 4 8\%の単語のみが $\mathrm{O}$ ラベルを付与さ れる.これは表 2 に示すように, 非文単位が比較的少 ない単語数で構成されることに起因する。

## 4 実験

最後に, EWT ベンチマークを用いた実験により文特定の精度と有用性を検証する。

5）UD の依存関係の詳細については以下を参照されたい： https://universaldependencies.org/u/dep/.

6） $\mathrm{B}$ は文単位の先頭, $\mathrm{I}$ は文単位の途中, $\mathrm{O}$ は文単位の外（つま り非文単位）であることを示す.

## 4.1 実験設定

2 節で述べたように, 文特定を行うには事前学習 された文頭確率と文末確率のモデルが必要である. そのため, 本稿では RoBERTa [6] をべースに文頭と 文末を予測する分類モデルを構築する.

モデルの訓練・検証時には, 入力テキストとして 連続する $L$ 個の文単位・非文単位を連結する。ここ で $L$ は成功確率 $p_{C C}=0.5$ の幾何分布からサンプリ ングする.7) ただし, 入力長が RoBERTa の上限を超 える場合，上限を超えない最大の $L^{\prime}<L$ を代用する. この手順により, 様々な長さの入力テキストに対応 するモデルが構築できると期待される.

テスト時には, より多様な入力テキストを考慮し て以下の設定を考える. 第一に, 訓練・検証時と同様 に連続する文単位・非文単位を連結する方法が考え られる. 本稿では $p_{C C}=0.5$ と, 可能な限り長い入力 を想定した $p_{C C}=0$ を用いて評価を行う.

第二に, 文分割の結果の後処理として文特定を行 う設定を考える. 具体的には, 高性能な文分割モデル [11]を用いて EWT の生データを分割し，その結果に 対して文特定を行う. なお, 文分割の段階で文単位が 誤って分割されてしまった場合は, 分割された部分 を非文単位と見なして正解を修正する。

最後に, 文特定の精度を文単位の抽出タスクとし て評価する. 具体的には, 文単位の単語レベルの BIO ラベル (3 節参照)の $\mathrm{F} 1$ スコアと, スパンレベルの 完全一致の F1 スコアを用いる. また, ベースライン として文末確率のモデルのみを用いた文分割手法 （2.1 項）との比較を行う. 文末確率のモデルは文特定と同様に訓練し, 入力の最後の単語を強制的に文末とする場合・しない場合の両方で評価する.8)

## 4.2 実験結果

表 4 に文単位の抽出タスクの実験結果を示す.

第一に, 提案手法（文特定）は全ての評価指標 において文分割を大きく上回ることが確認でき る. 特にスパンレベルの完全一致でも, 提案手法は 84 89\% と高い精度を達成している. また, 長い入力 $（ p_{C C}=0 ）$ に対しては文分割では大きな性能劣化が
7) $p_{C C} \in(0,1]$ の時, 幾何分布の確率質量関数は $l \in \mathbb{N}$ におい $\tau p(L=l)=\left(1-p_{C C}\right)^{l-1} p_{C C}$ となり, $p_{C C}$ が小さくなるほど $L$ は大きくなりやすい. $p_{C C}=0$ の時, $p(L=\infty)=1$ とみなす.

8）最後の単語を強制的に文末とする場合, 非文単位は一切予測 されない.これを強制しない場合, 予測された最後の文末以降 のスパンを（存在すれば）非文単位と見なす。

表 5 下流タスク (単語区切り/Words・品詞タグ付け/UPOS・依存構造解析/LAS) の評価結果.

見られる9)一方で, 文特定の手法ではこれらに対し ても高い性能を維持していることが分かる.

以上の結果より, 非文単位を除いて文単位を特定 するには文末の予測のみ（=文分割）では不十分で あり, 文頭・文末の予測を組み合わせること（=文特定）が重要であると言える.

## 4.3 下流タスクの評価

最後に, 文特定の下流タスクにおける有用性につ いて, 単語区切り・品詞タグ付け・依存構造解析の 3 つに焦点を当てて検証する.

まず背景として, EWT は非文単位のようなノイズ を含むため, 解析器の訓練・評価の両面で支障があ ることが知られている [12]. そこで本稿では, 理想的 な文単位・非文単位の区分10)に基づいて解析器を訓練・評価することの利点について調査する.

下流タスクの解析器には Trankit [7] を用いる. 手順としては UD-EWT v2.6の全体 (文単位と非文単位) を用いて単語区切りを訓練し ${ }^{11)}$, 続いて UD-EWT v2.10の全体・文単位のみ・非文単位のみのそれぞ れで品詞タグ付けと依存構造解析を訓練する. 最後 に, UD-EWT v2.10の全体・文単位のみ・非文単位の みのそれぞれで各解析器を評価する。

表 5 に下流タスクの評価結果を示す.まずEWT 全体で解析器を訓練した場合, 全ての下流タスクにお いて文単位のみで評価したスコアが高く, 非文単位

9）文分割では予測できる非文単位 (O ラベル) の割合が入力が 長くなるほど小さくなり, 結果的に性能が大幅に劣化する.

10）つまり 3 節で示した基準で分類した正解の区分を用いる.現実的には文特定の予測の段階で誤りが生じる可能性がある が, その点まで考慮した分析は今後の課題とする.

11）複数語トークンによるエラーを回避するため, それを持た ない旧バージョンで訓練した単語区切りモデルで固定した。
のみで評価したスコアが顕著に低くなっている.こ のことから, 文単位は予測に適した綺麗なデータが 多く, 逆に非文単位は予測しづらいイレギュラーな データが多いことが分かる.これらを同一視せずに 区別して評価を行うことは, 解析器の特徵を正しく 理解するために重要と考えられる.

また, 文単位のみで解析器を訓練した場合, 学習 データは少なくなるにもかかわらず, 全体で訓練し た場合と近い性能が出ることが分かる. ${ }^{12)}$ 例えば文単位に対する品詞タグ付けでは, 全体で訓練した場合と同等の性能が出ている. 逆に非文単位のみで訓練した場合の性能は全体的に低く, 訓練データとし ても有用でないノイズが多いと考えられる.13) 今後 の応用として, 例えば文単位・非文単位の分類基準 （3 節）を調整することで訓練に最適なデータのフィ ルタリングを行えると考えられる。

以上の結果より, 正確な文特定は解析器の訓練・評価の両面で有用であると考えられる.

## 5 まとめ

本稿では文分割の考え方を拡張し, 非文単位を除 きつつ文単位を特定する文特定のタスクと手法を提案した.また, EWT を用いた実験により文特定の精度と有用性を確認した. 今後の課題として, 文特定の さらなる精度向上, 異なる言語・ドメインにおける 有効性の検証, 実際の（誤りを含む）予測に基づく 下流タスクの評価・分析などが挙げられる。

12）ただし非文単位のみで評価した結果は異なる傾向を持ち, やはりイレギュラーなデータを多く含むことを示唆している.

13）フェアな比較のためには訓練に使うデータ量を揃える必要 があるが, 付録 C に示すようにこの設定でも同様の傾向が確認された。

## 参考文献

[1] Timothy Dozat and Christopher D Manning. Deep biaffine attention for neural dependency parsing. In Proc. of ICLR, 2017.

[2] Timothy Dozat and Christopher D. Manning. Simpler but more accurate semantic dependency parsing. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 484-490, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[3] Dan Gillick. Sentence boundary detection and the problem with the U.S. In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, Companion Volume: Short Papers, pp. 241-244, Boulder, Colorado, June 2009. Association for Computational Linguistics.

[4] Tibor Kiss and Jan Strunk. Unsupervised multilingual sentence boundary detection. Computational Linguistics, Vol. 32, No. 4, pp. 485-525, 2006.

[5] Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke Zettlemoyer. Multilingual denoising pretraining for neural machine translation. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 726-742, 2020.

[6] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized BERT pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[7] Minh Van Nguyen, Viet Dac Lai, Amir Pouran Ben Veyseh, and Thien Huu Nguyen. Trankit: A light-weight transformer-based toolkit for multilingual natural language processing. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: System Demonstrations, pp. 80-90, Online, April 2021. Association for Computational Linguistics.

[8] Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Jan Hajič, Christopher D. Manning, Sampo Pyysalo, Sebastian Schuster, Francis Tyers, and
Daniel Zeman. Universal Dependencies v2: An evergrowing multilingual treebank collection. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020), pp. 4034-4043, Marseille, France, May 2020. European Language Resources Association.

[9] Geoffrey Nunberg. The linguistics of punctuation. No. 18. Center for the Study of Language (CSLI), 1990.

[10] Natalia Silveira, Timothy Dozat, Marie-Catherine de Marneffe, Samuel Bowman, Miriam Connor, John Bauer, and Chris Manning. A gold standard dependency corpus for English. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 2897-2904, Reykjavik, Iceland, May 2014. European Language Resources Association (ELRA).

[11] Rachel Wicks and Matt Post. A unified approach to sentence segmentation of punctuated text in many languages. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 3995-4007, Online, August 2021. Association for Computational Linguistics.

[12] 金山博, 大湖卓也. UD_English-EWT との付き 合い方. 言語処理学会第 28 回年次大会予稿集, March 2022.
表 6 English Web Treebank (EWT) に含まれる文単位の代表例. 各行は一つの文単位に対応する.

President Bush on Tuesday nominated two individuals to replace retiring jurists on federal courts in the Washington area.

Unfortunately, Mr. Lay will be in San Jose, CA participating in a conference, where he is a speaker, on June 14.

"In 1972, there was an enormous glut of pilots," Campenni says.

PS - There is a happy hour tonight at Scudeiros on Dallas Street (just west of the Met Garage) beginning around 5:00.

2) Your vet would not prescribe them if they didn't think it would be helpful.

BUT EVERYONE HAS THERE OWN WAY!!!!!!

The motel is very well maintained, and the managers are so accomodating, it's kind of like visiting family each year! ;-) where can I find the best tours to the Mekong Delta at reasonable prices?

表 7 訓練データ量を揃えた場合の下流タスク (単語区切り・品詞タグ付け・依存構造解析) の評価結果.

## A 動的計画法

2.2 項の式 (6) の最適解は動的計画法を用いて求め ることができる. 具体的には, 任意の $k \leq N-1$ に対 して $\boldsymbol{W}^{\leq k}=\left(w_{0}, \ldots, w_{k}\right)$ までの最適な文頭・文末予測を考える。つまり, 式 (6) における $\boldsymbol{W}$ を $\boldsymbol{W} \leq k$ に置 き換えた最適化問題・目的関数を考える.

$\boldsymbol{W} \leq k$ までの予測は不完全であるため, 文単位の途中で終わる（=最後の予測が文頭である）場合と,文単位の外で終わる (=最後の予測が文頭でない)場合の 2 通りが考えられる. $\log p_{\text {IS }}(k+1)$ を前者の 場合の目的関数の最大值, $\log p_{\mathrm{OS}}(k+1)$ を後者の場合の目的関数の最大值と置く. すると, 予測は必ず 文単位の外から始まるので $\log p_{\text {IS }}(0)=\log 0=-\infty$, $\log p_{\text {os }}(0)=\log 1=0$ と初期化でき,これらの值を以下のように更新して求めることができる.

$
\begin{array}{r}
\log p_{\mathrm{IS}}^{\prime}(i)=\max \left.\{\log p_{\mathrm{IS}}(i)+\log \left(1-p_{\mathrm{BOS}}\left(w_{i}\right)\right),\right. \\
\left.\log p_{\mathrm{OS}}(i)+\log p_{\mathrm{BOS}}\left(w_{i}\right)\right.\}
\end{array}
$

$\log p_{\mathrm{OS}}^{\prime}(i)=\log p_{\mathrm{OS}}(i)+\log \left(1-p_{\mathrm{BOS}}\left(w_{i}\right)\right)$

$\log p_{\mathrm{IS}}(i+1)=\log p_{\mathrm{IS}}^{\prime}(i)+\log \left(1-p_{\text {EOS }}\left(w_{i}\right)\right)$

$\log p_{\text {OS }}(i+1)=\max \left.\{\log p_{\text {IS }}^{\prime}(i)+\log p_{\text {EOS }}\left(w_{i}\right)\right.$,

$
\left.\log p_{\mathrm{OS}}^{\prime}(i)+\log \left(1-p_{\mathrm{EOS}}\left(w_{i}\right)\right)\right.\}
$

この更新式ではまず, 文頭確率 $p_{\text {BOS }}\left(w_{i}\right)$ に基づい て $p_{\mathrm{IS}}(i) \rightarrow p_{\mathrm{IS}}^{\prime}(i), p_{\mathrm{oS}}(i) \rightarrow p_{\mathrm{OS}}^{\prime}(i)$ の更新を行う. 次 に, 文末確率 $p_{\text {EOS }}\left(w_{i}\right)$ に基づいて $p_{\text {IS }}^{\prime}(i) \rightarrow p_{\text {IS }}(i+1)$, $p_{\text {oS }}^{\prime}(i) \rightarrow p_{\text {os }}(i+1)$ の更新を行う.

最終的に予測は文単位の外で終わる必要があるた
め, $\log p_{\mathrm{OS}}(N)$ が式 (6) の目的関数の最大值となる.式 (6) の最適解 $B, A$ は, 更新式 (7) をバックトラック することで簡単に求めることができる.

## B 文単位の例

表 6 にWTに含まれる文単位の代表例を示す.こ れらの例に示されるように, 本稿の基準では節を成 す述語項構造を持つ区分のみが解析対象とすべき文単位として判定される.

## C 下流タスク評価の追加結果

表 7 に訓練データ量を揃えた場合の下流タスクの 評価結果を示す. 手順としては, 非文単位のデータ量 が最も少ないため, 訓練データに含まれる単語数を 非文単位におおよそ合わせて訓練を行った. ${ }^{14)}$

この結果から, やはり文単位のみで解析器を訓練 した場合, 全体で訓練した場合と同等の性能が出る ことが分かる. また, データ量を揃えた場合でも非文単位のみで訓練した場合の性能は全体として低いこ とが分かる.このことから,下流タスクの学習には文単位が最も有用であり,非文単位の貢献は非常に小 さいことが分かる.ただし非文単位のみで評価した 場合の結果は異なる傾向を示しており, 非文単位に 含まれるデータは（アノテーションが一貫していな いなど）イレギュラーであることが示唆される.

14）訓練データの単語数をおおよそ合わせるために, 全体で訓練する場合はランダムに 622 例, 文単位のみで訓練する場合は ランダムに 518 例, 非文単位のみで訓練する場合は 2,187 例 （全ての例）を使用した。
 宇田川拓真金山博吉田一星 日本アイ・ビー・エム株式会社東京基礎研究所 Takuma.Udagawa@ibm.com $\{$ hkana,issei\}@jp.ibm.com  