FCastell Auto Analyser: boost de produtividade para analistas de dados
Programação é um hobby há muitos anos. Tornei público hoje o código de um programa que uso regularmente para fazer análise exploratória de dados. É um tremendo "boost" na produtividade para quem utiliza dados no dia a dia. O código é aberto e totalmente gratuito. A ideia é que a comunidade contribua com melhorias.
Basicamente, a partir de uma tabela de dados estruturados em formato csv ou xls, o algoritmo separa campos texto e campos numéricos. Para os tipo texto analisa numero de registros, nulos/missing e duplicados. Identifica categorias e informa as 10 principais com a frequência absoluta, relativa e relativa acumulada. Para os campos numéricos apresenta toda a estatística descritiva (total, média, desvio, mínimo, máximo, amplitude, quartis), considerando todos os registros válidos e todos os registros excluindo zeros, numa estatística separada. Faz isto para cada campo, e gera também uma imagem com um histograma. Tudo isto de forma automática e em poucos segundos. Está disponível em github.com/fabianocastello/fca2 e tem exemplos.
Abraços, Fabiano.