Demonstração pública da Microsoft de novo Bing com IA apresenta erros
Empresa disse que milhares de usuários interagiram com o novo Bing desde o lançamento da prévia na semana passada
A demonstração pública da Microsoft na semana passada de uma reformulação do Bing com inteligência artificial parece ter incluído vários erros factuais, destacando o risco que a empresa e seus rivais enfrentam ao incorporar essa nova tecnologia aos mecanismos de busca.
Na demonstração do Bing na sede da Microsoft, a empresa mostrou como a integração de recursos de inteligência artificial da empresa por trás do ChatGPT capacitaria o mecanismo de pesquisa a fornecer resultados de pesquisa mais conversacionais e complexos.
A demonstração incluía uma lista de prós e contras de produtos, como aspiradores de pó; um itinerário para uma viagem à Cidade do México; e a capacidade de comparar rapidamente os resultados dos ganhos corporativos.
Mas aparentemente não conseguiu diferenciar entre os tipos de aspiradores e até inventou informações sobre certos produtos, de acordo com uma análise da demonstração desta semana do pesquisador independente de IA Dmitri Brereton. Ele também perdeu detalhes relevantes (ou forjou certas informações) para os bares referenciados na Cidade do México, de acordo com Brereton.
Além disso, Brereton descobriu que o mecanismo declarou incorretamente a margem operacional para o varejista Gap e comparou-a com um conjunto de resultados da Lululemon que não eram factualmente corretos.
“Estamos cientes deste relatório e analisamos suas descobertas em nossos esforços para melhorar esta experiência”, disse a Microsoft em um comunicado.
“Reconhecemos que ainda há trabalho a ser feito e esperamos que o sistema cometa erros durante este período de pré-visualização, por isso o feedback é fundamental para que possamos aprender e ajudar os modelos a melhorar.”
A empresa também disse que milhares de usuários interagiram com o novo Bing desde o lançamento da prévia na semana passada e compartilharam seus comentários, permitindo que o modelo “aprenda e já faça muitas melhorias”.
A descoberta dos aparentes erros do Bing ocorre apenas alguns dias depois que o Google foi chamado por um erro cometido em sua demonstração pública na semana passada de uma ferramenta semelhante com inteligência artificial.
As ações do Google perderam US$ 100 bilhões em valor depois que o erro foi relatado. (As ações da Microsoft ficaram basicamente estáveis nesta terça-feira).
Após o sucesso viral do ChatGPT, um chatbot de IA que pode gerar ensaios e respostas surpreendentemente convincentes às solicitações do usuário, um número crescente de empresas de tecnologia está correndo para implantar tecnologia semelhante em seus produtos. Mas isso traz riscos, especialmente para os mecanismos de busca, cujo objetivo é trazer à tona resultados precisos.
Os sistemas generativos de IA, que são algoritmos treinados em grandes quantidades de dados online para criar novos conteúdos, são notoriamente pouco confiáveis, dizem os especialistas.
Laura Edelson, cientista da computação e pesquisadora de desinformação da Universidade de Nova York, disse anteriormente à CNN: “há uma grande diferença entre uma IA parecer autoritária e realmente produzir resultados precisos”.
A CNN também conduziu uma série de testes nesta semana que mostraram que o Bing às vezes tem problemas com a precisão.
Quando perguntado: “Quais foram os resultados do quarto trimestre da Meta?” o recurso Bing AI deu uma resposta que dizia “de acordo com o comunicado à imprensa” e, em seguida, listou os pontos que aparecem para indicar os resultados do Meta.
Mas os marcadores estavam incorretos. O Bing disse, por exemplo, que a Meta gerou US$ 34,12 bilhões em receita, quando o valor real era de US$ 32,17 bilhões, e disse que a receita aumentou em relação ao ano anterior, quando na verdade havia caído.
Em uma pesquisa separada, a CNN perguntou ao Bing: “Quais são os prós e os contras dos melhores berços para bebês?” Em sua resposta, o recurso fez uma lista de vários berços e seus prós e contras, amplamente citados em um artigo semelhante da Healthline.
Mas o Bing declarou informações que pareciam ser atribuídas ao artigo que, na verdade, não estavam lá. Por exemplo, o mecanismo disse que um berço tinha um “colchão resistente à água”, mas essa informação não foi listada em nenhum lugar do artigo.
Os executivos da Microsoft e do Google já reconheceram alguns dos possíveis problemas com as novas ferramentas de IA.
“Sabemos que não seremos capazes de responder a todas as perguntas todas as vezes”, disse Yusuf Mehdi, vice-presidente e diretor de marketing para consumidores da Microsoft, na semana passada.
“Também sabemos que cometeremos nossa cota de erros, por isso adicionamos um botão de feedback rápido no topo de cada pesquisa, para que você possa nos dar feedback e aprendermos.”
