実用化が始まる文章生成AI　第1回：文章読解（BERT以降）と文章生成技術

Googleが2018年に発表したBERTはディープラーニングを活用した文章読解技術の一つで、事前学習を効果的に利用し、文章の意味を理解するタスク^※1で特に高い性能を示した。BERTにおける事前学習は特定のタスクに特化したデータは用いず一般的な文章データを用いて行われる。その結果できたAIモデルは複数のタスクに対して有効性が確認されている。つまり、別種のタスクに対して同じモデルが有効であり、BERTは言語に対する一般的な知識を学習しているように見える。こうしたBERTの登場が近年の自然言語処理の急速な発展のきっかけとなり、主として米中の企業・大学がその改良を重ね、一部のタスクでは人間を超える性能を達成している。

自然言語処理技術を開発する多くの企業がベンチマークとして用いるタスクにGLUE^※2とSuperGLUE^※3がある（詳細は参考資料に記載）。GLUE、SuperGLUEともに文章読み取り能力を測るように設計され、数年前の基準であれば難しいタスクが並ぶ。例えば「The sun was covered by a thick cloud all morning, but luckily, by the time the picnic started, it was out.」の it は「The sun」であるが、「The sun was covered by a thick cloud all morning, but luckily, by the time the picnic started, it was gone.」の it は「The sun」ではない（「The cloud」である）という判定をしなければならない^※4。
SuperGLUEはBERTなどによりGLUEのスコアが向上したために開発されたものであり、より難しいタスクが選ばれている。

GLUEが発表されたのは2018年4月で、その著者らが構築したAIのスコアは70.0点、人間のスコアは87.1点であった。その後、AIが人間のスコアを超えたのは2019年6月である。AIの進歩を踏まえ、より難しく設計されたSuperGLUEが2019年5月に発表された。その著者らが構築したAIのスコアは71.5点、人間のスコアは89.8点であった。2020年1月時点のAIの最高点数は89.3点であり人間に迫っている。
1カ月単位で大きな成果が出ていることからもわかる通り、文章読解技術は極めて速いスピードで発展している^{※5 ※6}。

2020年1月時点で人間のGLUEスコアを超えているAIモデルはGoogleのT5、BaiduのENRIE、MicrosoftのMT-DNN-SMARTなど8モデル存在する。SuperGLUEに対し総合得点で人間のスコアを超えたモデルは存在していないが、T5は一部のタスクで人間のスコアを超えている。AIが人間並みの文章読解能力を有する時代は迫っていると考えてよいだろう。

当社でもAIによる読解技術を開発しており、「インターネットの検索結果から欲しい情報を自動的に抽出するAI機能を開発」したことはその成果の1つである。

このように自然言語処理技術、特に文章読解分野は急速に発展している。しかしながら、文章生成は生成した文章の評価の難しさもあり依然困難なタスクである。以降、当社が扱う文章生成の典型的なタスク「数表からその説明を行う文章を生成する」（図1）を例に文章生成の手法を説明したい。

文章以外のデータから文章を生成する技術には「テンプレート方式」と「言語モデル方式」の2つの方法がある。

テンプレート方式では穴埋めを行うためのテンプレートを事前に用意しておき、その穴埋めを行うことで文章を生成する方法である。文章のパターンが多い場合は、適切なテンプレートを選ぶモデルを構築することもある。文章生成を行う場合、最初に検討される標準的な方法といってよい。

現時点で実運用されている文章生成技術の多くはテンプレート方式で実現されており、データ分析結果にコメントを付与する、決算短信からニュース速報を作成するなど「定型的だが、大量の文章を書く」仕事に使用されている。

言語モデル方式はテンプレートが不要なため、より幅広い場所での応用が期待できる。また、良い文章を何らかの方法で評価できれば、評価が高くなる文章を生成するよう学習させることも可能である。自然言語生成技術と売上データを併用することで、より売れるキャッチコピーを生成し、顧客の属性を考慮し興味に沿った説明文章を生成するなど、テンプレート方式では実現の難しいタスクを解ける可能性もある。

現状では、技術面や評価面の難しさなどさまざまな理由から、言語モデル方式の実運用に至っている例は希少であろう。以降のコラムでは言語モデル方式の実務適用を目指し、当社が取り組んだ事例を紹介する。