Uma pesquisa sobre assistência por inteligência artificial no atendimento encontrou resultados diferentes conforme a experiência dos profissionais. O caso permite discutir como avaliar uma ferramenta além da demonstração inicial.
Pesquisa: Generative AI at Work.
Autores: Erik Brynjolfsson, Danielle Li e Lindsey Raymond.
Referência: working paper do NBER de 2023, versão utilizada para os números deste caso.
O que foi observado
A pesquisa acompanhou a introdução gradual de um assistente em uma operação com 5.179 agentes de suporte. A versão de 2023 reportou aumento médio de 14% em questões resolvidas por hora, com ganhos maiores entre trabalhadores menos experientes e menores entre os mais experientes.
O indicador descreve a operação estudada e a versão indicada do trabalho. Não representa ganho esperado para qualquer função, sistema ou modelo de IA. Uma ferramenta de apoio também não elimina a necessidade de verificar a qualidade das respostas.
Leitura editorial: avalie a tarefa antes da ferramenta
Uma equipe pode começar identificando onde há consulta repetida, informação fragmentada e necessidade de orientação. Depois, defina o que uma resposta correta precisa conter e quando o caso deve ser encaminhado a uma pessoa responsável.
Essa proposta não presume que automatizar seja a melhor solução. Às vezes, revisar a documentação e o treinamento resolve uma parte importante do problema. O custo de manter a base atualizada também precisa entrar na avaliação.
Roteiro de teste proposto pelo Wizeky
Separe exemplos autorizados ou fictícios e defina critérios de qualidade. Observe respostas corretas, omissões, informações inventadas e tempo de revisão. Não envie dados pessoais ou informações internas a um serviço sem verificar as condições de uso e as regras da organização.
Compare o trabalho completo, incluindo conferência e correção. Se o rascunho é rápido, mas exige revisão extensa, apenas medir tempo de geração fornece uma visão incompleta. Registre também os casos em que a ferramenta não deve ser utilizada.
Antes de ampliar o uso
Marque os passos que você já realizou. As marcações ficam apenas nesta página.
O que o estudo não demonstra
O resultado não prova substituição de todos os profissionais nem dispensa de formação. O papel da ferramenta, o contexto e a experiência de quem usa continuam relevantes. O aprendizado do caso é estruturar a avaliação e identificar para quem o apoio funciona.
Fontes e leituras de referência
As referências sustentam os conceitos e informações identificados no texto. Exemplos e roteiros do Wizeky são ilustrativos, sem promessa de contratação, promoção ou resultado.
