自然言語処理とは何ですか、そしてそれはどのように機能しますか？

自然言語処理により、コンピューターは私たちが言っていることを実行可能なコマンドに処理することができます。 それがどのように機能するかの基本、そしてそれが私たちの生活を改善するためにどのように使用されているかをご覧ください。

自然言語処理とは何ですか？

Alexa、Siri、Googleアシスタント、Bixby、Cortanaのいずれであっても、最近ではスマートフォンやスマートスピーカーを持っている人なら誰でも音声起動のアシスタントを利用できます。 毎年、これらの音声アシスタントは、私たちが指示したことを認識して実行するのが上手になっているようです。 しかし、これらのアシスタントが私たちが言っていることをどのように処理するのか疑問に思ったことはありますか？ 彼らは自然言語処理（NLP）のおかげでこれをなんとか行うことができます。

歴史的に、ほとんどのソフトウェアは特定のコマンドの固定セットにしか応答できませんでした。 [開く]をクリックしたためにファイルが開くか、スプレッドシートが特定の記号と数式名に基づいて数式を計算します。 プログラムは、コード化されたプログラミング言語を使用して通信するため、認識できる入力が与えられると出力を生成します。 この文脈では、言葉は常に望ましい出力を提供する一連の異なる機械的レバーのようなものです。

これは、複雑で構造化されておらず、文の構造、トーン、アクセント、タイミング、句読点、およびコンテキストに基づいて多数の意味を持つ人間の言語とは対照的です。 自然言語処理は、機械が入力として認識するものと人間の言語との間のギャップを埋めようとする人工知能の分野です。 これは、私たちが自然に話したりタイプしたりするときに、マシンが私たちが言ったことに沿った出力を生成するようにするためです。

これは、実際の単語の意味に加えて、人間の言語のさまざまな要素から意味を引き出すために膨大な量のデータポイントを取得することによって行われます。 このプロセスは、機械学習と呼ばれる概念と密接に関連しています。これにより、コンピューターは、より多くのデータポイントを取得するにつれて、より多くのことを学習できます。 これが、私たちが頻繁に使用する自然言語処理マシンのほとんどが時間の経過とともに改善されているように見える理由です。

概念をよりよく理解するために、言語と情報を処理するためにNLPで使用される最もトップレベルの2つの手法を見てみましょう。

関連： AIの問題：機械は物事を学習しているが、それらを理解できない

トークン化

トークン化とは、音声を単語または文に分割することを意味します。 各テキストはトークンであり、これらのトークンは、スピーチが処理されるときに表示されるものです。 単純に聞こえますが、実際には、注意が必要なプロセスです。

友人にメッセージを送信するために、Googleキーボードなどのテキスト読み上げソフトウェアを使用しているとします。 「公園で会いましょう」とメッセージを送りたいと思います。 お使いの携帯電話がその録音を取得し、Googleのテキスト読み上げアルゴリズムを介して処理する場合、Googleはあなたが今言ったことをトークンに分割する必要があります。 これらのトークンは、「meet」、「me」、「at」、「the」、および「park」になります。

単語間の一時停止の長さは人によって異なります。他の言語では、単語間の一時停止がほとんど聞こえない場合があります。 トークン化プロセスは、言語と方言によって大幅に異なります。

ステミングとレマタイゼーション

ステミングとレンマ化はどちらも、マシンが認識できるルートワードへの追加またはバリエーションを削除するプロセスを伴います。 これは、すべてが本質的に同じことを意味するさまざまな単語間で音声の解釈を一貫させるために行われ、NLP処理が高速になります。

ステミングは、語根の前後に付けられた単語への追加である接辞を語根から削除することを含む、大雑把な高速プロセスです。 これにより、文字を削除するだけで、単語が最も単純な基本形に変わります。 例えば：

• 「歩く」が「歩く」に変わる
• 「速い」が「速い」に変わる
• 「重大度」は「重大度」に変わります

ご覧のとおり、ステミングは単語の意味を完全に変えるという悪影響を与える可能性があります。 「重大度」と「重大度」は同じ意味ではありませんが、接尾辞「ity」はステミングの過程で削除されました。

一方、見出語は、見出語と呼ばれる、単語をベースに還元することを含む、より洗練されたプロセスです。 これは、単語の文脈とそれが文でどのように使用されているかを考慮に入れています。 また、単語とそれぞれの補題のデータベースで用語を検索することも含まれます。 例えば：

• 「are」は「be」に変わります
• 「操作」は「操作」に変わります
• 「重大度」は「重大度」に変わります

この例では、見出語によって「重大度」という用語が「重大」に変わりました。これは、その見出語の形式と語根です。

NLPのユースケースと将来

前の例は、自然言語処理とは何かの表面をかじり始めただけです。 それは、私たちが日常生活で使用する多くの実践と使用シナリオを網羅しています。 これらは、NLPが現在使用されている場所のいくつかの例です。

• 予測テキスト：スマートフォンでメッセージを入力すると、その文に一致する単語や以前に使用した単語が自動的に提案されます。
• 機械翻訳： Google翻訳など、広く使用されている消費者向け翻訳サービス。高レベルのNLPを組み込んで、言語を処理して翻訳します。
• チャットボット： NLPは、インテリジェントなチャットボットの基盤であり、特にカスタマーサービスでは、顧客が実際の人と向き合う前に顧客を支援し、要求を処理できます。

まだまだあります。 NLPの用途は現在、ニュースメディア、医療技術、職場管理、金融などの分野で開発および展開されています。 将来的には、ロボットと本格的に洗練された会話ができる可能性があります。

NLPについて詳しく知りたい場合は、Towards DataScienceブログまたはStandfordNational Langauge ProcessingGroupにたくさんの素晴らしいリソースがあります。