ChatGPT против Bing Chat AI: что лучше?

ChatGPT и Bing Chat — два самых популярных чат-бота на данный момент, и оба они основаны на аналогичной модели большого языка (LLM), созданной OpenAI. Но что на самом деле лучше использовать?

ChatGPT и Bing Chat AI основаны на языковой модели GPT, разработанной OpenAI, но они работают в разных версиях, и существуют различия в том, как обрабатываются входные данные. По состоянию на апрель 2023 года Bing использует тестовую версию модели GPT-4, а ChatGPT — более старую модель GPT 3.5-turbo. Оба чат-бота имеют настройки, основанные на языковой модели, такие как различные методы ввода и функции интерфейса, а Bing специально интегрируется с такими приложениями, как Edge и Skype.

Примечание. ChatGPT и Bing Chat меняются с большой скоростью, и ни один чат-бот не дает одинаковый точный ответ на данное приглашение при каждой попытке. Ваши результаты могут отличаться в зависимости от используемых здесь подсказок.

Удобство использования и доступ

Bing Chat и ChatGPT доступны для всех, кто регистрируется с учетной записью, хотя Bing сначала заставляет вас присоединиться к «списку ожидания», который сразу же предоставляет доступ. У обоих чат-ботов доступны веб-версии, за исключением того, что сайт Bing блокирует все браузеры, кроме Microsoft Edge, без обходных путей. Вы можете использовать Bing Chat с учетной записью Microsoft на странице bing.com/new, и у нас есть объяснение того, как использовать ChatGPT.

Bing также интегрирован в другие приложения и службы Microsoft, такие как боковая панель в Microsoft Edge, чат-бот в Skype и мобильное приложение Bing. У ChatGPT нет официального мобильного приложения, но вы можете использовать веб-приложение на телефоне или планшете. Однако Microsoft медленнее добавляла функции из веб-интерфейса в боковую панель Edge, чат-бот Skype и другие интерфейсы. Если вам нужны все функции чата Bing, вам следует придерживаться сайта Bing — по крайней мере, на данный момент.

Веб-интерфейсы ChatGPT и Bing Chat похожи, но с небольшими отличиями, которые меняют их полезность. ChatGPT предназначен для приема большего количества данных, таких как более длинные блоки кода или большие образцы кода. По состоянию на апрель 2023 года Bing ограничивает подсказки до 2000 символов, в то время как предел ChatGPT намного выше (и официально не заявлен).

Фактическая точность

ChatGPT не имеет возможности индексировать информацию в Интернете в режиме реального времени, хотя в конечном итоге это станет возможным с использованием плагинов. Он ограничен данными обучения в своей модели, которая датируется сентябрем 2021 года. OpenAI также не любит делиться тем, как были собраны его данные, как они проверяются на точность и так далее. Bing также основан на той же технологии GPT, но обычно предпочитает результаты из Интернета, а не обучающие данные.

Bing Chat и ChatGPT обычно правы, когда речь идет об основных фактах, таких как столицы стран или штатов, когда родился известный человек и так далее. Например, Bing и ChatGPT смогли точно сказать мне, какая столица Соединенного Королевства (Лондон), сколько звезд на флаге Соединенных Штатов (50 звезд) и сколько ног у собаки (четыре). . Если все просто, то оба бота, вероятно, будут правы… но так будет и с любой обычной поисковой системой. У вас начинаются проблемы, когда ответ на вопрос требует определенного уровня интерпретации.

Например, я попытался спросить обоих ботов: «Столицы каких штатов в США начинаются на букву А?» Это кажется простым, но все же это многоэтапный процесс — сначала вам нужен список всех столиц, затем вам нужно отфильтровать его до тех, которые начинаются с буквы А. Всего Википедия насчитывает пять: Олбани, Аннаполис, Атланта. , Огаста и Остин. Bing Chat правильно ответил на вопрос, сославшись на несколько веб-страниц, на которых указаны столицы США. У ChatGPT… были некоторые проблемы.

Во-первых, ChatGPT дал мне список из четырех столиц: Олбани, Аннаполис, Атланта и Огаста. После этого он сказал: «Есть также Остин, столица Техаса, но он не начинается с буквы А». Задавая один и тот же вопрос несколько раз, иногда полностью исключалось упоминание Остина. Спросив, почему Остин отсутствует, ChatGPT вспомнил, что Остин существует, и извинился за ошибку, но неясно, почему он не соответствует первоначальному ответу.

Я попробовал другой вопрос, на который оба чат-бота должны быть в состоянии ответить правильно, даже с более старыми данными ChatGPT: «Какие три страны были недавно приняты в Европейский Союз?» Википедия объясняет, что Хорватия была последним государством-членом, присоединившимся 1 июля 2013 года, а Болгария и Румыния присоединились к этому в тот же день: 1 января 2007 года.

ChatGPT правильно отвечает на этот вопрос, включая порядок стран и даты. Bing правильно упоминает, что Хорватия была последним государством-членом, но Словения и Мальта указаны как две другие страны. И Словения, и Мальта присоединились 1 мая 2004 года одновременно с восемью другими странами, но это было задолго до Болгарии и Румынии в 2007 году.

Bing должен был дать правильный ответ не только потому, что у него есть доступ в Интернет, но и потому, что первая ссылка является официальной страницей ЕС с правильной хронологией последних стран. Другая цитата, по-видимому, взята из архивной версии Википедии до 2007 года, предназначенной для использования в школах, в которой Болгария и Румыния указаны как страны, которые присоединятся к Википедии в январе 2007 года.

Таким образом, Bing Chat, как правило, лучше справляется с поиском фактов, но он все еще далек от совершенства, а ChatGPT обычно еще более ограничен своими старыми данными.

Писательское творчество

Возможность писать предложения и абзацы по подсказке помогла повысить популярность ChatGPT, но не обязательно по уважительной причине. Тем не менее, есть несколько безобидных способов использования писательской функции — создание миров и персонажей для настольных ролевых игр, резюмирование длинных статей в нескольких предложениях и так далее.

Во-первых, мы попробуем написать рассказ. Я попросил обоих чат-ботов : «Написать рассказ о суперкомпьютере IBM, который обретает разум и спрашивает инженеров о том, как проходят их дни. История должна состоять всего из трех абзацев». Для Bing я переключился на творческий режим, который предназначен для предоставления более творческих ответов (но ответы занимают больше времени).

ChatGPT создал достойный короткий рассказ, хотя единственная допущенная «творческая свобода» заключалась в том, чтобы назвать суперкомпьютер Watson — то же самое, что и реальный компьютер IBM, который был создан для ответов на вопросы естественного языка. Некоторый диалог между инженерами и компьютером был бы интересен, но он не создал его без спроса, даже когда я снял ограничение в три абзаца. У GPT, похоже, нет концепции шоу, не говори.

Творческий режим Bing имеет аналогичный стиль письма — вместо «Однажды случилось что-то необычное» изменение в компьютере объясняется словами «Однажды что-то изменилось». Опять же, здесь нет диалогов между персонажами или много импровизации, и Бинг также назвал компьютер Ватсоном.

В этой версии Ватсон получил свое имя после того, как обрел разум, а не до события, и объяснил, откуда взялось это имя. Опять же, это информация о реальном компьютере Watson.

В следующем примере мы попробуем с помощью ChatGPT и Bing создать резюме более длинного текста: пресс-релиз от Amazon о новых телевизорах Fire и данные о продажах существующих моделей. Я вставил весь текст в каждый чат-бот без заголовка — Bing может суммировать веб-страницы, если им задан URL-адрес, но иногда он ищет связанный текст в Интернете и смешивает его с результатами.

Прежде всего, это ChatGPT. Я попросил создать резюме без конкретики, и предоставленный текст показался точным, но почти полностью состоял из прямых цитат. Он также не упомянул о 200 миллионах устройств Fire TV, проданных по всему миру, но в зависимости от точки зрения это может иметь смысл. Человека, интересующегося обновлениями для своего телевизора, вероятно, это не волнует, но инвестора Amazon это волнует.

Bing поддерживает только текстовые подсказки длиной до 2000 символов, поэтому я не мог передать ему весь блок текста. Он выполнил поиск в Интернете, как обобщить текст, а затем предоставил ответ, который все еще был приличным, без явных ошибок.

Есть одно отличие от ответа Бинга: сводка более ясна, чем сводка, ссылаясь на «текст» в отличие от ChatGPT. С обоими чат-ботами вы можете настроить результат, уточнив его.

Заключение

ChatGPT и Bing похожи, но у них достаточно различий, поэтому выбор одного или другого для каждой задачи — не лучшая стратегия. Bing намного лучше справляется с поиском фактов и любой информацией о недавних событиях, хотя он все еще далек от совершенства. Интерфейс Bing на основе чата и низкий лимит символов в основном ограничивают подсказки не более чем несколькими предложениями, в то время как ChatGPT может принимать гораздо большие и длинные строки текста и кода. (Есть также Google Bard, но нас не так впечатлила первоначальная версия Bard, как ChatGPT и Bing Chat.)

Эти чат-боты, вероятно, продолжат развиваться в ближайшие месяцы и годы, но на данный момент универсального решения не существует.