Overview do Tratamento de Dados
Ao carregar a base do nosso sistema avaliamos primeiramente os tipos que o Power Query identificou para cada coluna e realizamos os ajustes necessários. O tipo de dados é de suma importância para que o trabalho flua conforme o esperado.
Aproveitamos também para obter um overview do comportamento das colunas. Como temos conhecimento do business, aqui já podemos encontrar algumas oportunidades na base de dados. Um exemplo é o tipo de frete. A análise demonstra termos 3 tipos distintos e sabemos que só trabalhamos com apenas dois tipos de modalidade, Dedicada e Spot.
Podemos também ter uma rápida análise estatística de cada coluna, onde podemos conhecer o perfil de cada dado e conferir a existência de outliers.
Podemos também ter uma rápida análise estatística de cada coluna, onde podemos conhecer o perfil de cada dado e conferir a existência de outliers.
Por exemplo, em uma de nossas colunas tivemos um valor máximo muito distante da média então foi necessário entender sua natureza antes de prosseguirmos para qualquer análise.
A priori eliminamos as linhas em branco que nos trás uma série de vantagens como melhorar o desempenho, garantir a precisão nos resultados e principalmente melhora a qualidade dos nossos dados. Em seguida procedemos nossa análise verificando as inconsistências na base.
Identificamos que há linhas em branco que apenas possuem o valor de índice na primeira coluna (provenientes da base original). Para tratarmos poderíamos filtrá-las a partir de alguma coluna (com null) e eliminá-las. Porém sempre devemos pensar em algum tratamento que o Power Query seja capaz de realizar de forma global, pois nesse caso ficaríamos reféns dessa coluna que usamos como base para o filtro. A alternativa aqui foi eliminarmos a coluna de índices assim tendo linhas integralmente nulas e as eliminamos. Em seguida usamos o recurso de adicionar uma coluna de índices para manter a sequência e posteriormente avaliar sua necessidade.
Um dos campos de nossa base de dados é preenchido manualmente pela operação, o que ocasionalmente pode ocorrer erros de digitação ou nomes fora do padrão, com alguns exemplos na imagem ao lado. Para tratarmos isso, nesse caso vamos criar uma tabela de mapeamento que pode ser mais fácil pro Power Query trabalhar e facilita a atualização quando for necessário sem a necessidade de modificar a linguagem M (caso fizéssemos pelo método de substituir valores pelo Power Query)
Neste momento optamos por criar esse mapeamento diretamente no Power Query. Se jugássemos necessário que essas substituições tivessem de ser feitas de uma forma mais acessível, poderíamos criar uma tabela no Excel na mesma estrutura e trazermos posteriormente ao Power Query.
Para otimizar nosso tratamento usamos o recurso “Fuzzy Matching” do Power Query que caso apareça novos valores a serem tratados esse recurso consegue inferir qual seria o valor corrigido avaliando a similaridade do dado com os demais,
Tratamos alguns erros existentes em algumas colunas provenientes de falhas principalmente na geração de dados do sistema e eliminamos o máximo de colunas possíveis para otimizar a performance o nosso relatório.
Também criamos uma tabela dimensão Calendário para que nossas análises e visuais temporais performem de forma adequada. Nesse caso optamos por criar em Linguagem M por não ter muita diferença em performance quando comparado a DAX.