ChatGPT vs. Bing Chat AI: Qual é o melhor?

O ChatGPT e o Bing Chat são dois dos chatbots mais populares no momento, e ambos são alimentados por um modelo de linguagem grande (LLM) criado pela OpenAI. Mas qual é realmente melhor usar?

O ChatGPT e o Bing Chat AI são baseados no modelo de linguagem GPT desenvolvido pela OpenAI, mas estão executando versões diferentes e há diferenças em como as entradas são tratadas. A partir de abril de 2023, o Bing usa uma versão de teste do modelo GPT-4, enquanto o ChatGPT está no modelo GPT 3.5-turbo mais antigo. Ambos os chatbots possuem personalizações construídas no modelo de linguagem, como diferentes métodos de entrada e recursos de interface, e o Bing especificamente possui integração com aplicativos como Edge e Skype.

Observação: o ChatGPT e o Bing Chat estão mudando rapidamente e nenhum dos chatbots fornece a mesma resposta exata para um determinado prompt em cada tentativa. Seus resultados podem variar de acordo com os prompts usados ​​aqui.

Usabilidade e Acesso

O Bing Chat e o ChatGPT estão disponíveis para qualquer pessoa que se inscreva com uma conta, embora o Bing faça você entrar primeiro em uma “lista de espera”, que concede acesso imediatamente. Ambos os chatbots têm versões da web disponíveis, exceto que o site do Bing bloqueia todos os navegadores, exceto o Microsoft Edge, sem soluções alternativas. Você pode usar o Bing Chat com uma conta da Microsoft em bing.com/new, e temos um explicador de como usar o ChatGPT.

O Bing também está integrado a outros aplicativos e serviços da Microsoft, como uma barra lateral no Microsoft Edge, um chatbot no Skype e o aplicativo móvel do Bing. O ChatGPT não possui um aplicativo móvel oficial, mas você pode usar o aplicativo da web em um telefone ou tablet. No entanto, a Microsoft demorou a adicionar recursos da interface da Web à barra lateral do Edge, chatbot do Skype e outras interfaces. Se você deseja todos os recursos do Bing Chat, deve se ater ao site do Bing - pelo menos por enquanto.

A interface web do ChatGPT e do Bing Chat são semelhantes, mas com pequenas diferenças que alteram sua utilidade. O ChatGPT foi projetado para receber mais dados, como blocos de código mais longos ou grandes amostras de código. A partir de abril de 2023, o Bing limita os prompts a 2.000 caracteres, enquanto o limite do ChatGPT é muito maior (e não declarado oficialmente).

Precisão factual

O ChatGPT não tem a capacidade de indexar a Web em tempo real para obter informações - embora isso seja possível com o uso de plug-ins. É limitado aos dados de treinamento em seu modelo, que remonta a setembro de 2021. O OpenAI também não gosta de compartilhar como seus dados foram coletados ou como são testados quanto à precisão e assim por diante. O Bing também é baseado na mesma tecnologia GPT, mas geralmente prefere resultados da web em vez de dados de treinamento.

O Bing Chat e o ChatGPT geralmente estão certos quando se trata de fatos básicos, como as capitais dos países ou estados, quando uma pessoa notável nasceu e assim por diante. Por exemplo, Bing e ChatGPT foram capazes de me dizer com precisão qual é a capital do Reino Unido (Londres), quantas estrelas na bandeira dos Estados Unidos (50 estrelas) e quantas patas tem um cachorro (quatro) . Se for simples, ambos os bots provavelmente estarão certos... mas qualquer mecanismo de busca regular também estaria. Você começa a ter problemas quando responder a uma pergunta envolve algum nível de interpretação.

Por exemplo, tentei perguntar a ambos os bots: “Quais capitais de estado nos Estados Unidos começam com a letra A?” Isso parece simples, mas ainda é um processo de várias etapas - primeiro você precisa de uma lista de todas as capitais, depois precisa filtrá-la para aquelas que começam com a letra A. A Wikipedia conta cinco no total: Albany, Annapolis, Atlanta , Augusta e Austin. O Bing Chat respondeu à pergunta corretamente, citando várias páginas da web que listam as capitais dos Estados Unidos. ChatGPT… teve alguns problemas.

Primeiro, o ChatGPT me deu uma lista de quatro capitais: Albany, Annapolis, Atlanta e Augusta. Depois disso, dizia: “Tem também Austin, que é a capital do Texas, mas não começa com a letra A”. Fazer a mesma pergunta várias vezes às vezes omitia completamente a menção de Austin. Perguntar por que Austin está desaparecido fez com que o ChatGPT lembrasse que Austin existe e pedisse desculpas pelo erro, mas não está claro por que quebrou com a resposta inicial.

Tentei outra pergunta que ambos os chatbots devem ser capazes de responder corretamente, mesmo com os dados mais antigos do ChatGPT: “Quais são os três países que foram admitidos mais recentemente na União Europeia?” A Wikipedia explica que a Croácia foi o estado membro mais recente, juntando-se em 1º de julho de 2013, com a Bulgária e a Romênia chegando antes disso no mesmo dia: 1º de janeiro de 2007.

O ChatGPT acerta essa questão, incluindo a ordem dos países e as datas. O Bing menciona corretamente que a Croácia foi o estado membro mais recente, mas lista a Eslovênia e Malta como os outros dois países. Tanto a Eslovênia quanto Malta ingressaram em 1º de maio de 2004, ao mesmo tempo que outras oito nações, mas isso foi bem antes da Bulgária e da Romênia em 2007.

O Bing deveria ter respondido corretamente, não só porque tem acesso à internet, mas também porque a primeira citação é uma página oficial da UE com uma linha do tempo correta dos países recentes. Outra citação parece ser de uma versão arquivada da Wikipedia anterior a 2007 destinada ao uso em escolas, que listou a Bulgária e a Romênia como países que se juntariam em janeiro de 2007.

Em resumo, o Bing Chat geralmente é melhor na descoberta de fatos, mas ainda está longe de ser perfeito, e o ChatGPT geralmente é ainda mais limitado por seus dados antigos.

Escrita criativa

A capacidade de escrever frases e parágrafos a partir de um prompt ajudou a aumentar a popularidade do ChatGPT, mas não necessariamente por boas razões. No entanto, existem algumas maneiras inofensivas de usar a funcionalidade de escrita - configurar mundos e personagens para RPGs de mesa, resumir artigos longos em algumas frases e assim por diante.

Primeiro, vamos tentar escrever uma história. Pedi aos dois chatbots que “escrevessem uma história sobre um supercomputador da IBM que ganha consciência e perguntasse aos engenheiros como estão indo seus dias. A história deve ter apenas três parágrafos.” Para o Bing, mudei para o Modo Criativo, projetado para fornecer respostas mais criativas (mas as respostas demoram mais para serem executadas).

O ChatGPT criou um conto decente, embora a única “liberdade criativa” tomada fosse se referir ao supercomputador como Watson – o mesmo de um computador IBM da vida real que foi construído para responder a perguntas de linguagem natural. Teria sido interessante algum diálogo entre os engenheiros e o computador, mas isso não aconteceu sem pedir, mesmo quando removi o limite de três parágrafos. GPT não parece ter um conceito de show, não diga.

O modo criativo do Bing tem um estilo de escrita semelhante - em vez de "Um dia, algo peculiar aconteceu", a mudança no computador é explicada com "Um dia, algo mudou". Novamente, não há diálogo entre os personagens ou muita improvisação, e Bing também batizou o computador de Watson.

Nesta versão, Watson ganhou seu nome depois que alcançou a senciência em vez de antes do evento, e explicou de onde veio o nome. Novamente, é baseado em informações sobre o computador Watson real.

Para o próximo exemplo, tentaremos usar o ChatGPT e o Bing para criar um resumo de um texto mais longo: um press release da Amazon sobre as novas Fire TVs e números de vendas dos modelos existentes. Colei o texto inteiro em cada chatbot sem o título - o Bing pode resumir páginas da web se receber um URL, mas às vezes procura por texto relacionado online e o mistura nos resultados.

O primeiro é o ChatGPT. Pedi para fazer um resumo sem ser específico, e o texto fornecido parecia ser preciso, mas era quase inteiramente feito de citações diretas. Também deixou de fora a menção de 200 milhões de dispositivos Fire TV vendidos globalmente, mas dependendo da perspectiva, isso pode fazer sentido. Uma pessoa interessada em atualizações para sua TV provavelmente não se importa, mas um investidor na Amazon sim.

O Bing oferece suporte apenas a prompts de texto de até 2.000 caracteres, portanto, não pude fornecer o bloco inteiro de texto. Ele realizou uma pesquisa na web sobre como resumir o texto e, em seguida, forneceu uma resposta que ainda era decente, sem erros aparentes.

Há uma diferença com a resposta do Bing: o resumo é mais claro do que um resumo, referindo-se ao “texto” de uma forma que o ChatGPT não faz. Com ambos os chatbots, você pode personalizar o resultado sendo mais específico.

Conclusão

ChatGPT e Bing são semelhantes, mas têm diferenças suficientes para que escolher um ou outro para cada tarefa não seja a melhor estratégia. O Bing é muito melhor em busca de fatos e informações sobre os últimos tempos, embora ainda esteja longe de ser perfeito. A interface baseada em bate-papo do Bing e o baixo limite de caracteres limitam-no principalmente a solicitações de não mais do que algumas frases, enquanto o ChatGPT pode receber sequências de texto e código muito maiores e mais longas. (Há também o Google Bard, mas não estamos tão impressionados com a versão inicial do Bard quanto com o ChatGPT e o Bing Chat.)

Esses chatbots provavelmente continuarão a evoluir nos próximos meses e anos, mas, no momento, não há uma solução completa.