Empresas de IA publicam relatórios detalhados sobre como as pessoas usam seus produtos. Esses relatórios são cuidadosamente construídos, metodologicamente coerentes e, segundo pesquisadores independentes, sistematicamente incompletos. Uma nova iniciativa de pesquisa chamada AI Observatory está tentando preencher essa lacuna, e o que ela descobriu desafia algumas das premissas mais repetidas sobre como a IA generativa está realmente sendo usada.
Os Dados Que Ficam de Fora
O Anthropic Economic Index é uma das fontes de informação mais citadas sobre padrões de uso de IA. Como o nome indica, ele foca no trabalho e na produtividade. Conversas não relacionadas a essas categorias são filtradas antes que a análise comece.
Quando pesquisadores do AI Observatory aplicaram a própria metodologia de filtragem da Anthropic ao seu conjunto de dados independente, quase metade de todas as conversas, especificamente 48%, teria sido excluída da análise. Essas conversas excluídas não eram neutras. Elas tinham muito mais probabilidade de envolver tópicos de saúde e relacionamentos, conteúdo adulto ou ilícito, assédio e discurso de ódio, e conteúdo sexual. A lacuna entre o que aparece nos relatórios filtrados da Anthropic e o que os dados não filtrados mostram não é marginal. Ela é estrutural.
Isso não é exclusivo da Anthropic. O relatório de 2025 da OpenAI sobre o uso do ChatGPT descobriu que apenas 30% das interações dos consumidores eram relacionadas ao trabalho. A maior parte de como as pessoas realmente usam essas ferramentas fica fora do enquadramento que os relatórios das empresas tendem a construir.
Anka Reuel, doutoranda em ciência da computação no Trustworthy AI Research Lab de Stanford e co-líder do AI Observatory, resume o problema claramente: não existe fonte independente para corroborar o que as empresas de IA relatam. O AI Observatory foi criado para ser essa fonte.
Um Quadro Diferente Entre Models e Ao Longo do Tempo
O AI Observatory agregou 24.521 conversas em 85.633 turnos de conversação, extraídas de sete conjuntos de dados do mundo real coletados com o consentimento dos usuários. Essas conversas envolveram 5.000 usuários interagindo com 52 models diferentes, incluindo ChatGPT, Gemini, Claude e Grok, entre 2023 e 2025.
O que os dados revelam é que o uso de IA não é nem uniforme nem estático. Plataformas diferentes atraem comportamentos diferentes. Os usuários recorreram ao Grok e ao Gemini com mais frequência para recuperação de informações. O Grok, em particular, foi muito usado para notícias e política, e também foi onde a desinformação tende a se concentrar. O Claude, da Anthropic, foi mais comumente usado para programação. O Gemini atraiu mais interações sociais e de encenação. O ChatGPT foi frequentemente usado para assistência com lição de casa.
Diferenças apareceram até mesmo dentro do mesmo model entre versões. Conversas com o ChatGPT alimentado por GPT-3.5 tendiam a ser mais curtas. Aquelas com o GPT-4o eram mais longas e iterativas, um padrão consistente com a associação dessa versão a um engajamento mais profundo do usuário.
Com o tempo, as conversas em um dos maiores conjuntos de dados incluídos no estudo cresceram e se tornaram mais elaboradas. A conversa fiada aumentou. A tendência dos assistentes de IA de se identificarem como chatbots diminuiu. Casos de uso sensíveis, definidos como trocas envolvendo conteúdo potencialmente nocivo ou restrito, caíram, o que pode refletir salvaguardas de plataforma mais eficazes sendo implantadas ao longo do tempo.
Nenhuma dessas dinâmicas aparece nos relatórios das empresas com qualquer consistência. Como observa Shayne Longpre, recém-formado em doutorado pelo MIT Media Lab e co-líder da pesquisa, nenhum relatório de empresa isolado conta a história toda.
Por Que o Ponto Cego Importa Além da Pesquisa
Isso é o que a maior cobertura de dados de uso de IA deixa passar: a questão não é apenas acadêmica. Formuladores de políticas, reguladores e instituições estão tomando decisões consequentes sobre os riscos e benefícios da IA baseados em grande parte em dados que as empresas escolhem divulgar, enquadrados em torno das perguntas que as empresas escolhem fazer.
David Widder, professor assistente na School of Information da UT-Austin que pesquisa a interação humano-IA, enquadra o problema diretamente. Ao tentar avaliar se um sistema de IA de propósito geral é usado principalmente para fins benéficos ou nocivos, atualmente não há maneira independente de responder a essa pergunta. A informação relevante é proprietária.
O conjunto de dados do AI Observatory é pequeno em comparação com o que os principais laboratórios possuem. O Economic Index da Anthropic extraiu dados de 1 milhão de conversas do Claude. O relatório de uso da OpenAI analisou 1,5 milhão de conversas do ChatGPT. As 24.521 conversas do Observatory são uma fração disso. Os pesquisadores também reconhecem que seus dados fornecidos voluntariamente provavelmente subrepresentam o uso sensível, já que os usuários podem estar menos inclinados a compartilhar essas interações.
Mas a escala não é o único problema. O problema mais profundo é que, quando os dados disponíveis vêm apenas de partes com interesse direto em como esses dados refletem sobre elas, o quadro que surge é inevitavelmente parcial. Empresas de IA, como observam pesquisadores independentes, tendem a publicar descobertas que apresentam suas plataformas de forma favorável. Isso não é uma conspiração. É uma estrutura de incentivos.
Os dados do AI Observatory serão disponibilizados para a comunidade de pesquisa mais ampla, e a equipe pretende expandir seus conjuntos de dados ao longo do tempo. Reuel afirmou que, idealmente, as empresas de IA compartilhariam seus dados com pesquisadores independentes de maneiras que preservem a privacidade. Até que isso aconteça, qualquer pessoa que confie apenas em relatórios de empresas para entender como a IA generativa está sendo usada está, como Reuel coloca, operando no ambiente selvagem e tomando decisões consequentes sem saber o que está realmente acontecendo além dessas narrativas corporativas.
Em Resumo
Os relatórios de uso de IA das principais empresas são reais, mas seletivos. Eles tendem a enfatizar o trabalho e a produtividade enquanto filtram grandes partes do comportamento real do usuário, incluindo interações sensíveis, pessoais e potencialmente nocivas. Pesquisas independentes como o AI Observatory estão começando a trazer à tona um quadro mais completo, um que mostra diferenças significativas entre models, ao longo do tempo e em toda a gama de comportamento humano. Entender o papel real da IA na sociedade exige dados que nenhuma empresa sozinha tem incentivo para divulgar totalmente.
Com base em reportagem de MIT Technology Review.