ChatGPT と Bing チャット AI: どちらが優れていますか?

ChatGPT と Bing Chat は、現在最も人気のあるチャットボットの 2 つであり、どちらも OpenAI で作成された同様の大規模言語モデル (LLM) を利用しています。 しかし、どちらが実際に使用するのに適していますか？

ChatGPT と Bing Chat AI はどちらも OpenAI が開発した GPT 言語モデルに基づいていますが、実行するバージョンが異なり、入力の処理方法にも違いがあります。 2023 年 4 月の時点で、Bing は GPT-4 モデルのテスト バージョンを使用していますが、ChatGPT は古い GPT 3.5 ターボ モデルを使用しています。 両方のチャットボットには、さまざまな入力方法やインターフェイス機能など、言語モデルに基づくカスタマイズが組み込まれており、Bing は特に Edge や Skype などのアプリケーションと統合されています。

注: ChatGPT と Bing Chat はどちらも急速に変化しており、どちらのチャットボットも試行ごとに特定のプロンプトに対して同じ正確な回答を提供しません。 ここで使用するプロンプトによって結果が異なる場合があります。

使いやすさとアクセス

Bing Chat と ChatGPT はどちらも、アカウントを持ってサインアップすれば誰でも利用できますが、Bing では最初に「待機リスト」に参加させるため、すぐにアクセスが許可されます. どちらのチャットボットも Web バージョンを利用できますが、Bing のサイトは Microsoft Edge を除くすべてのブラウザーを回避策なしでブロックします。 bing.com/new で Microsoft アカウントを使用して Bing Chat を使用できます。ChatGPT の使用方法については説明があります。

Bing は、Microsoft Edge のサイドバー、Skype のチャットボット、モバイル Bing アプリなど、他の Microsoft アプリやサービスにも統合されています。 ChatGPT には公式のモバイル アプリはありませんが、電話またはタブレットで Web アプリを使用できます。 ただし、Microsoft は Web インターフェイスから Edge サイドバー、Skype チャットボット、およびその他のインターフェイスに機能を追加するのに時間がかかりました。 Bing Chat のすべての機能が必要な場合は、Bing サイトに固執する必要があります (少なくとも今のところは)。

ChatGPT と Bing Chat の Web インターフェイスは似ていますが、それぞれの有用性を変える小さな違いがあります。 ChatGPT は、より長いコード ブロックや大きなコード サンプルなど、より多くのデータを取り込むように設計されています。 2023 年 4 月の時点で、Bing はプロンプトを 2,000 文字に制限していますが、ChatGPT の制限はそれよりもはるかに高くなっています (公式には述べられていません)。

事実の正確さ

ChatGPT には、Web の情報をリアルタイムでインデックス化する機能はありませんが、最終的にはプラグインを使用することで可能になります. 2021 年 9 月にさかのぼるモデルのトレーニング データに限定されています。OpenAI はまた、データがどのように収集されたか、どのように精度がテストされたかなどを共有したくありません。 Bing も同じ GPT テクノロジに基づいていますが、通常はトレーニング データよりも Web からの結果を優先します。

Bing Chat と ChatGPT は、国や州の首都、著名人の生まれた時期などの基本的な事実に関しては通常正しいです。 たとえば、Bing と ChatGPT はどちらも、イギリスの首都 (ロンドン)、アメリカ国旗の星の数 (50 星)、犬の足の数 (4) を正確に教えてくれました。 . 単純な場合、おそらく両方のボットが正しいでしょう…しかし、通常の検索エンジンもそうでしょう。 質問への回答にある程度の解釈が必要になると、問題が発生し始めます。

たとえば、両方のボットに「米国のどの州都が文字 A で始まるか?」と尋ねてみました。 これは単純に思えますが、それでも多段階のプロセスです。最初にすべての大文字のリストが必要です。次に、文字 A で始まるものに絞り込む必要があります。ウィキペディアでは、アルバニー、アナポリス、アトランタの合計 5 つを数えています。 、オーガスタ、オースティン。 Bing Chat は、米国の首都をリストするいくつかの Web ページを引用して、質問に正しく答えました。 ChatGPT… いくつか問題がありました。

まず、ChatGPT は、アルバニー、アナポリス、アトランタ、オーガスタの 4 つの首都のリストを表示してくれました。 その後、「テキサス州の州都であるオースティンもありますが、A で始まるわけではありません」とのことでした。 同じ質問を何度もすると、オースティンについての言及が完全に除外されることがありました。 オースティンが欠落している理由を尋ねると、ChatGPT はオースティンの存在を思い出し、エラーを謝罪しましたが、最初の回答で壊れた理由は不明です。

ChatGPT の古いデータを使用しても、両方のチャットボットが正しく答えられるはずの別の質問を試してみました。 ウィキペディアによると、クロアチアは 2013 年 7 月 1 日に加盟した最新の加盟国であり、ブルガリアとルーマニアは同じ日に 2007 年 1 月 1 日に加盟しました。

ChatGPT は、国の順序と日付を含め、この質問を正しく理解しています。 Bing は、クロアチアが最新の加盟国であると正しく述べていますが、スロベニアとマルタを他の 2 つの国として挙げています。 スロベニアとマルタの両方が 2004 年 5 月 1 日に他の 8 カ国と同時に加盟しましたが、それは 2007 年のブルガリアとルーマニアよりもかなり前でした。

インターネットにアクセスできるという理由だけでなく、最初の引用が最近の国の正しいタイムラインを持つ公式の EU ページであるため、Bing は正しく答えているはずです。 別の引用は、2007 年 1 月に加盟する国としてブルガリアとルーマニアを挙げた、学校での使用を目的とした 2007 年以前のアーカイブ バージョンのウィキペディアからのもののようです。

要約すると、Bing Chat は概して事実の発見に優れていますが、まだ完全にはほど遠いものであり、ChatGPT は通常、古いデータによってさらに制限されています。

文芸

プロンプトが表示されたときに文章や段落を書く機能は、ChatGPT の人気を高めるのに役立ちましたが、必ずしも正当な理由があるわけではありません。 ただし、ライティング機能を無害に使用する方法がいくつかあります — テーブルトップ RPG 用にワールドとキャラクターを設定する、長い記事を数文に要約する、などです。

まず、物語を書いてみます。 私は両方のチャットボットに「知覚を獲得した IBM のスーパーコンピューターについての話を書き、エンジニアに日々の様子を尋ねます。 ストーリーは 3 段落の長さにする必要があります。」 Bing については、よりクリエイティブな回答を提供するように設計されたクリエイティブ モードに切り替えました (ただし、回答の実行には時間がかかります)。

ChatGPT はまともな短編小説を作成しましたが、唯一の「創造的な自由」は、スーパーコンピューターをワトソンと呼ぶことでした。これは、自然言語の質問に答えるために構築された実際の IBM コンピューターと同じです。 エンジニアとコンピューターの間の対話は興味深いものだったでしょうが、3 段落の制限を削除したとしても、質問なしではそれは生まれませんでした。 GPTにはショーの概念がないようです。言わないでください。

Bing の Creative Mode も同様の書き方をしています。「ある日、何かが変わった」ではなく、「ある日、何かが変わった」とコンピューターの変化を説明しています。 繰り返しますが、キャラクター間の対話や多くの即興はなく、Bing はコンピューターをワトソンと名付けました。

このバージョンでは、ワトソンはイベントの前ではなく感覚を獲得した後にその名前を取得し、名前の由来を説明しました. 繰り返しますが、これは実際のワトソン コンピューターに関する情報を基にしています。

次の例では、ChatGPT と Bing を使用して、長いテキストの要約を作成してみます。新しい Fire TV と既存モデルの売上高に関する Amazon からのプレス リリースです。 タイトルなしでテキスト全体を各チャットボットに貼り付けました。Bing は、URL を指定すると Web ページを要約できますが、関連するテキストをオンラインで探して結果に混ぜることがあります。

まずはChatGPTです。 内容を具体的にせずに要約を作成するように依頼したところ、提供されたテキストは正確に見えましたが、ほぼ完全に直接の引用で構成されていました。 また、全世界で 2 億台の Fire TV デバイスが販売されているという言及も省略されていますが、見方によっては、それは理にかなっている可能性があります。 テレビのアップデートに関心のある人はおそらく気にしませんが、Amazon への投資家は気にします。

Bing は最大 2,000 文字のテキスト プロンプトしかサポートしていないため、テキスト ブロック全体を提供することはできませんでした。 テキストを要約する方法について Web 検索を実行し、明らかなエラーのない適切な回答を提供しました。

Bing の回答との違いが 1 つあります。要約は要約であることがより明確であり、ChatGPT とは異なる方法で「テキスト」を参照しています。 どちらのチャットボットでも、結果をより具体的にカスタマイズできます。

結論

ChatGPT と Bing は似ていますが、タスクごとにどちらかを選択するのが最善の戦略ではないという十分な違いがあります。 Bing は、事実調査や最近の情報に関してははるかに優れていますが、まだ完璧には程遠いです。 Bing のチャットベースのインターフェイスと低い文字数制限により、主にプロンプ​​トが数文に制限されますが、ChatGPT ははるかに大きく長いテキストとコードの文字列を受け入れることができます。 (Google Bard もありますが、ChatGPT や Bing Chat ほど、Bard の初期バージョンには感銘を受けません。)

これらのチャットボットは、今後数か月から数年にわたって進化し続ける可能性がありますが、現時点ではオールインワンのソリューションはありません.