UNIDADE 2

É importante que você considere alguns fatores-chave para a seleção do melhor algoritmo:

Confira o vídeo da etapa 2:

O crescimento das redes sociais reflete diretamente no consumo e na geração de conteúdo. Isso significa que existe uma grande fonte de conhecimento que pode ser coletada, organizada e explorada por ferramentas analíticas.

Os resultados obtidos a partir das análises de rede podem ajudar empresas a traçar estratégias para envolver o público com a marca, analisar o sentimento do público com relação a um novo produto lançado, prever tendências com base no comportamento social ou individual dos clientes, entre outras possibilidades.

No Artigo Análise de Redes Sociais, Da teoria à ação, Robson Oliveira explica as principais métricas para analisar as redes sociais.

Além das redes sociais, existem outros dados não estruturados que são a maioria na atualidade. Analisar dados não estruturados em tempos de Big Data parece ser um desafio. Por essa razão, diversas pesquisas têm sido realizadas para construção de novos métodos, técnicas ou algoritmos para analisar dados textuais de grande volume.

Em atividades de análise textual é preciso converter dados não estruturados para um formato estruturado para que assim análises sejam aplicadas. Diante dessa situação, o Processamento de Linguagem Natural (PLN) surge como uma alternativa do campo linguístico, que permite estudar relações entre palavras e sentenças em um texto.

O mecanismo de busca e o tradutor do Google, bem como os corretores de texto, são alguns dos inúmeros exemplos de aplicações do PLN.

No vídeo: Mineração de textos, Parte 1 Jones Granatyr apresenta uma introdução à área de mineração de texto. Já no vídeo Mineração de Textos – Parte 2, Jones Granatyr apresenta tarefas e aplicações práticas da mineração de textos.

O último assunto que abordaremos neste tópico é o Digital Analytics, ou Análise Digital. Mas o que é Digital Analytics?

É um conjunto de atividades técnicas e de negócios que definem, criam, coletam, verificam ou transformam dados digitais em relatórios, pesquisas, análises, recomendações, otimização, predições, que criam valor para os negócios auxiliando empresas a criar valor, aumentando a receita ou reduzindo custos. Os dados digitais podem ser dados comportamentais sobre como as pessoas usam e interagem com experiências digitais, dados ou metadados relacionados a eventos, cliques e interações, é utilizada para responder perguntas de negócio e fornecer base para decisões baseadas em fatos (PHILLIPS, 2014, p. 3-4).

Vamos verificar algumas métricas importantes que são utilizadas para monitorar sites ou lojas virtuais?

Existem outras métricas digitais incorporadas em ferramentas voltadas para as análises digitais. O próprio Google Analytics (ferramenta gratuita do Google) possui numerosas métricas e indicadores para auxiliar as empresas a obterem ganho competitivo no mundo digital. No site de ajuda ao Google Analytics você pode ter uma visão ampla da ferramenta.

1 CONTEXTUALIZAÇÃO

No capítulo anterior, vimos que o massivo crescimento no volume de dados exigiu novas demandas para análise de dados. A pergunta que surge é: como criar uma alternativa para lidar com toda essa dinâmica e entregar respostas rápidas tendo em vista o suporte à tomada de decisão? Mais do que isso, como podemos tornar esse processo menos custoso nas empresas? É importante pensar nesses questionamentos a fim de fornecer soluções apropriadas para o negócio para garantir um bom custo-benefício.

Nos últimos anos, novas tecnologias (ou fontes de dados) têm surgido e são capazes de criar conteúdo ou produzir dados em um menor intervalo de tempo. Por exemplo, drones são responsáveis por criar conteúdo relacionado a imagens, que podem ser úteis para mapear áreas de risco na agricultura, medir grau de poluição nos rios e monitorar áreas de preservação ambiental para combater o desmatamento. Sensores dos mais diversos tipos e tamanhos representam uma outra rica fonte de dados que podem ser utilizados também para fins de monitoramento, como: eficiência de máquinas na produção de peças automotivas, sensores de imagens para detecção de materiais e peças, ou sensores magnéticos para abertura e fechamento de portas ou portões.

Como estamos imersos em tecnologias inovadoras, sem nos dar conta disso, não precisamos ir muito longe para ratificar. Se você pegar seu smartphone, constatará que existem algumas funcionalidades que incorporam o uso de sensores. Quando você programa o controle de brilho na sua tela de forma automática, o sensor fará uma leitura da luminosidade do ambiente e a adequará a sua tela. Sensores de acelerômetro conseguem medir informações de orientação do aparelho e também determinar altitude por meio de giroscópios. São muitos exemplos práticos em que a tecnologia está onipresente. Nesse universo tecnológico são muitos dados sendo produzidos e estamos diante de uma realidade na qual ferramentas tradicionais de análise de dados não fornecem o devido suporte, o Big Data emergiu a partir disso.

Nessa atual conjuntura, vimos que o Big Data pode ser definido, mesmo que de forma mais simplista, em função do volume e variedade dos dados que são extraídos e analisados no tempo certo, ou seja, em uma velocidade ideal de acordo com a demanda dos negócios. Os gestores de negócios, por sua vez, necessitam de respostas cada vez mais rápidas e o processo de análise precisa ser pensado e remodelado para dar conta dessa exigência. Por isso, quando pensamos em construir uma arquitetura de Big Data que possa resistir a essa dinâmica, precisamos criar mecanismos que otimizem todas as camadas de análise. Desde o momento que coletamos os dados até o instante em que apresentamos as visualizações ao usuário final. Vale frisar que esse processo não termina quando você implanta um modelo ou apresenta visualizações. Ao contrário, todo o processo de Big Data é iterativo, precisando sempre ser monitorado e, quando necessário, readaptado sob demanda. Por essa razão, a arquitetura precisa ser muito bem pensada, a fim de ser menos sensível a eventuais modificações. Portanto, é vital que os objetivos de negócio (definido na etapa de requisitos) tenham um escopo bem definido para que os analistas possam direcionar seus estudos em função das reais necessidades da empresa.

Neste capítulo serão explorados conceitos, técnicas, ferramentas e aplicações no mundo Big Data. Você conhecerá algoritmos e técnicas baseadas em cluster, assim como compreenderá a importância da análise de dados em redes sociais. Serão abordadas técnicas para analisar dados não estruturados e, por fim, o capítulo será encerrado com um estudo sobre o Digital Analytics, conceitos e implicações no mundo dos negócios. Faça bom proveito e bons estudos!

2 CLUSTER: CONCEITOS E ALGORITMOS BASEADOS EM BIG DATA

Nós já comentamos sobre cluster no final do capítulo anterior, mas o cluster que abordaremos nesta seção não se refere a um cluster físico ou hardware, embora grande parte do conhecimento obtido possa ser reaproveitado, mas, sim, diz respeito ao clustering (agrupamento) em nível de dados, que exploraremos a seguir.

2.1 CLUSTERING: CONCEITOS, TÉCNICAS E ALGORITMOS

Em uma análise de dados tradicional, a clusterização (ou clustering) é um método que visa classificar um conjunto de pontos de dados semelhantes em um mesmo grupo, ou seja, são pontos que apresentam um elevado grau de similaridade entre si. Enquanto que, por outro lado, pontos de dados que estão fora da margem desse grupo podem formar outros clusters que possuem elevado grau de dissimilaridade entre eles.

A clusterização é uma técnica importante para classificar pontos de dados que não são rotulados previamente e parte do pressuposto que, uma vez que pertençam a um mesmo grupo - de acordo com alguma métrica de distância definida previamente -, os pontos de dados são homogêneos entre si e assim podem ser rotulados. De acordo com a Figura 1, os pontos de dados foram classificados em três grandes grupos (A, B e C) considerando alguma métrica de distância. A linha que divide o grupo de dados representa a fronteira de decisão que segmenta os grupos. É possível utilizar algumas métricas de distância que se adéquam a determinados tipos de dados, tais como distância Euclidiana, de Minkowski, de Manhattan, correlação, entre outras.

Quanto ao grau de dissimilaridade (ou divergência), ele é importante para garantir que os pontos de dados que foram classificados fora da região (ou margem) de um grupo realmente não fazem parte daquele determinado grupo. Isso oferece uma alternativa adicional para verificar o erro de classificação dos objetos. Assim, podemos afirmar que o grau de dissimilaridade dos objetos em um cluster é dado por:

Dissimilaridade = 1 – Similaridade, onde:

Dissimilaridade ͼ [0,n]

FIGURA 1 – ANÁLISE DE DADOS BASEADA EM CLUSTER IDEAL PARA CLASSIFICAR PONTOS DE DADOS NÃO ROTULADOS PREVIAMENTE (APRENDIZAGEM NÃO SUPERVISIONADA), EM GRANDES GRUPOS

Os métodos tradicionais baseados em cluster são muito utilizados em mineração de dados com diferentes finalidades e podem ser divididos em:

• Métodos de particionamento: é um método que inicialmente cria uma partição inicial definindo um número fixo para o parâmetro K. Ao longo do processo iterativo, busca otimizar o particionamento utilizando como parâmetro alguma medida de distância (ou similaridade) que possa ser implementada através de algoritmos como K-means (ou c-means), CLARANS, PAN etc.

Nas próximas seções, exploraremos técnicas de Single-Machine Clustering e, em seguida, abordaremos as técnicas de Multi-Machine Clustering.

2.1.1 Técnicas de Clusterização em uma Única Máquina (Single-Machine Clustering)

Muitos dos algoritmos voltados para a análise em cluster são computacionalmente custosos e estão contidos em classes de problemas NP-difícil, como é o caso do K-means - um dos algoritmos de particionamento mais populares. Assim, uma das primeiras maneiras de enfrentar problemas dessa natureza foi através da criação de técnicas e algoritmos voltados para Single-Machine Clustering com o intuito de atender e dar suporte à alta demanda no volume de dados na era Big Data. Dessa forma, conforme mostrado por Chen, Ludwig e Li (2017), podemos dividir as técnicas de Single-Machine clustering de duas formas: as que são baseadas em amostragem e aquelas voltadas para a redução de dimensionalidade:

• Técnicas baseadas em amostragem: tem como objetivo generalizar o conhecimento dos dados a partir de uma pequena amostra (sample) retirada de todo o conjunto de dados. Assim, em vez de manipular todo o volume de dados disponível, os algoritmos trabalham apenas com uma pequena parcela do conjunto, isso significa um menor número de pontos de dados. Em razão disso, obtem-se um ganho de desempenho e os efeitos da complexidade computacional são minimizados. A maioria das técnicas baseadas em amostragem fazem parte da classe de algoritmos de particionamento. Em geral, os algoritmos são: BIRCH, CLARANS, PAM e assim por diante.

• Técnicas de redução de dimensionalidade: o tamanho dos dados (dimensão) diz respeito ao número total de atributos (variáveis) em relação ao número total de instâncias em um conjunto de dados. Caso você estiver diante de um conjunto de dados com dimensão (2000000, 500) saiba que seria algo muito mais custoso que trabalhar com conjuntos de dimensões (4000, 200). É em função dessa problemática que as técnicas de redução de dimensionalidade foram pensadas, isto é, reduzir a dimensionalidade do conjunto de dados para tornar o ambiente de execução mais ágil. Desta forma, uma alternativa para resolver esse problema seria reduzir a dimensão do conjunto de dados aplicando tarefas de pré-processamento antes mesmo de aplicar os algoritmos de análise em cluster. O PCA (Principal Component Analysis) é um dos métodos mais populares que você pode utilizar para a redução de dimensionalidade, ao remover atributos desnecessários e redundantes para a análise. Métodos de projeção locais e globais também podem ser utilizados para este fim. Essas técnicas são muito utilizadas também para extração e seleção de features para fins de otimização quando construímos modelos de Machine Learning.

2.1.2 Técnicas de Clusterização em Múltiplas Máquinas (Multi-Machine Clustering)

Uma maneira aperfeiçoada para processar os dados em uma análise em cluster é segmentar conjuntos de dados em partições reduzidas e carregá-los em máquinas diferentes com o objetivo de tirar vantagem do processamento individual dessas máquinas para ganhar em escalabilidade e tempo de processamento. Em suma, é dessa maneira que as técnicas de Multi-Machine clustering foram projetadas. Como já vimos na Figura 2, podemos dividir essas técnicas em duas grandes categorias: clusterização paralela e clusterização baseada em MapReduce. Em ambos os casos, os dados são particionados e distribuídos em máquinas diferentes que executam iterativamente suas operações de cluster localmente e entregam os resultados a um cluster final que agrega os resultados locais e gera o resultado final.

Clusterização paralela: os dados são distribuídos em diferentes máquinas e precisam ser gerenciados pelo desenvolvedor. É evidente que este é um processo que demanda mais esforço na implementação, porém, uma vez executado, os resultados apresentam melhor desempenho em relação a abordagens tradicionais de processamento. Pode-se citar alguns algoritmos, como ParMETIS, G-DBSCAN, K-Means, PBIRCH e DBDC. Grande parte desses algoritmos foram reformulados para suportar a computação paralela.

• ParMETIS: é um algoritmo de particionamento paralelo, derivado do METIS, que foi otimizado com a finalidade de encontrar um bom cluster de vértices em um grafo.

• G-DBSCAN: você recorda da versão DBSCAN que citamos em métodos baseados em densidade? Foi construído uma versão otimizada do DBSCAN, baseada em GPU, para incrementar o poder de processamento, bem como a velocidade do algoritmo.

• K-Means: também foi remodelado para atender às exigências do paralelismo. Existem diversos trabalhos que fornecem métodos de paralelização utilizando este algoritmo.

• PBIRCH: uma versão derivada do algoritmo BIRCH dos métodos hierárquicos.

• DBDC: consiste em um algoritmo paralelo que constrói clusters utilizando como parâmetro a densidade dos pontos.

• Clusterização baseada em MapReduce: é verdade que a clusterização paralela trouxe melhorias significativas em termos de desempenho no que se refere a dados de grande volume. Entretanto, como já foi abordado, na clusterização paralela existe uma complexidade maior de gerenciamento por parte do desenvolvedor, que precisa se preocupar com detalhes inerentes à paralelização, por exemplo, definir como os dados serão distribuídos ou como criar mecanismos que forneçam suporte de tolerância a falhas. O MapReduce é um modelo de programação simples que permite que o desenvolvedor se preocupe apenas com a estratégia que será adotada, tornando as tarefas de mais baixo nível transparentes enquanto os dados são processados. Podemos afirmar que essa é uma das principais diferenças entre esses dois tipos de clusterização. Da mesma forma que na clusterização paralela, o K-means também foi adaptado à abordagem MapReduce, conforme mostra a Figura 3. Algoritmos como MR-DBSCAN e DBCURE-MR, MR-CPSO, EM e BIRCH também foram aperfeiçoados com o emprego do MapReduce. Além disso, algumas abordagens propõem o uso de GPU (GPMR) para processar algoritmos para este fim. Dentre elas, destacam-se:

• MR-DBSCAN: a união de um método baseado em densidade e um modelo de programação MapReduce permitiu a construção desse algoritmo.

• DBCURE-MR: consiste em um modelo baseado em densidade combinado com o MapReduce, aprimorado para encontrar eficientemente diversos clusters de forma independente, considerando as densidades que compõem os clusters.

• GPMR: é uma maneira ainda mais otimizada de conduzir a forma de processamento baseado em CPU para GPU utilizando o MapReduce. Permite um desempenho e uma escalabilidade ainda maior.

FIGURA 3 – UMA PROPOSTA DE APLICAÇÃO DO MAPREDUCE AO ALGORITMO K-MEANS CLUSTERING

Tendo em mente as técnicas e os algoritmos baseados em cluster que foram apresentados até o presente momento, pode ser que você se pergunte: “Qual desses algoritmos é o mais indicado?”. A resposta é simples: depende. De fato, tudo dependerá do domínio do problema que você está trabalhando. Por exemplo, se você estiver diante de um cenário onde o volume e a variedade dos dados estejam sujeitos a poucas alterações, talvez o mais indicado seja empregar métodos tradicionais de cluster, como particionamento ou hierárquico, ou mesmo, de densidade. Por outro lado, se os requisitos de negócio exigirem que você trabalhe com uma ampla variedade e volume de dados, seria bom pensar em técnicas voltadas para o processamento em múltiplas máquinas, paralelizando o conjunto de dados para compensar a possibilidade de altas taxas de latência devido ao processamento de dados de grande volume. Tenha sempre em mente que, se o problema é simples, resolva-o da forma mais simplificada possível. Não agregue complexidade ao utilizar algoritmos de múltiplas máquinas em cenários de implementação de baixa complexidade. Portanto, direcione suas análises e decisão de escolha dos algoritmos sempre de acordo com o domínio (ou problema) que está sendo explorado. De qualquer modo, é importante que você considere alguns fatores-chave para a seleção do melhor algoritmo:

• Volume dos dados: como já estudamos, grande parte dos algoritmos de clusterização apresenta alta complexidade computacional, por esse motivo, métodos e técnicas tradicionais somente devem ser empregados em conjuntos de dados pequenos.

• Variedade dos dados: algoritmos de clusterização não são projetados para lidarem com tipos de dados diferentes. Ao contrário, em geral, ou funcionam bem em dados numéricos ou em dados categóricos. A etapa de transformação também pode se tornar custosa para lidar com a variedade dos dados obtidos da fonte. Conhecer o tipo de dado aceito pelos algoritmos que pretendemos utilizar é uma tarefa importante.

• Total de parâmetros: quanto maior a dimensão vertical (colunas) dos dados mais difícil se torna a tarefa de clusterização. Por isso, métodos de redução de dimensionalidades podem ser úteis para minimizar os efeitos que o excesso de parâmetros possa causar.

• Dimensionalidade: está relacionado ao número de linhas e colunas que podemos exigir consideravelmente dos algoritmos de clusterização. Remover dimensões irrelevantes é uma etapa fundamental para melhorar o desempenho da análise.

2.2 CLUSTERING: APLICAÇÕES

Uma enquete realizada em 2017 pelo KDnuggets mostrou que, entre os métodos voltados para a ciência de dados e aprendizagem de máquina, a clusterização foi o segundo método mais empregado (55%) pelos usuários em cenários reais de aplicação, ficando atrás apenas dos métodos de regressão (60%). Os resultados também apontam bons números de uso dessa técnica na indústria, que ficou em torno de 60%, e na área de pesquisa: 56,8%.

O que retrata tudo isso é a diversidade de aplicações que empregam as análises em cluster, conforme será mostrado a seguir:

• Segmentação de clientes: as empresas inclinam-se a descobrir padrões de consumo de seus clientes dividindo-os em grupos distintos e tomando como base informações contidas em suas bases ou, em alguns casos, fontes externas para agregar conhecimento aos seus negócios e melhorar a experiência de seus produtos.

• Detecção de anomalias: a análise em cluster também é utilizada para dividir grupos entre atividades suspeitas (ou ações fraudulentas) e atividades normais de compras no cartão de crédito com base no histórico de compras e renda dos clientes, por exemplo.

• Mecanismos de pesquisa: visam agrupar um conjunto de documentos com base em suas similaridades. Quando pesquisamos algo em algum buscador, este retorna um conjunto de artigos ou documentos que possuem elevada similaridade com a palavra-chave que digitamos.

• Segmentação de imagens: dados de imagens como pixels também podem ser utilizados para classificar imagens em visão computacional. Evidentemente que a tarefa se torna mais complexa em cenários dessa natureza e, por essa razão, técnicas paralelas de análise de cluster têm sido empregadas nesses casos.

Na próxima seção você aprenderá a respeito de uma análise comumente empregada, especialmente com o advento de um novo meio de interação digital: os relacionamentos digitais. Assim, estudaremos conceitos e componentes de análise de rede, especialmente redes sociais que ampliarão o seu leque de possibilidades de análises mais avançadas.

3 SOCIAL NETWORK: COMPREENDENDO CONCEITOS E APLICAÇÕES PARA A ANÁLISE DE DADOS EM REDES SOCIAIS

Um dos meios que mais retratam essa nova era digital são as redes sociais. Não há dúvidas de que muitos dados têm sido gerados a partir de posts no Facebook, imagens no Instagram, vídeos no Youtube, entre outras redes sociais. Enfim, uma diversidade de conteúdos sendo produzidos por usuários em todo o planeta. Um relatório publicado em 2018 pela We Are Social revelou que o total de usuários de mídias sociais cresceu 13% em relação ao ano anterior, totalizando 3 bilhões e 196 milhões de usuários. O mesmo relatório apontou algo curioso: os brasileiros consomem em média 3 horas e 39 minutos por dia com redes sociais, ocupando a segunda colocação dos países que mais gastam tempo em redes sociais, ficando atrás apenas dos filipinos, que consomem 3 horas e 57 minutos do tempo

Essa realidade evidencia o crescimento das redes sociais, que reflete diretamente no consumo e na geração de conteúdo. Isso significa que existe uma grande fonte de conhecimento que pode ser coletada, organizada e explorada por ferramentas analíticas. Os resultados obtidos a partir disso podem ajudar empresas a traçar estratégias para envolver o público com a sua marca, analisar o sentimento do público com relação a um novo produto lançado, prever tendências com base no comportamento social ou individual dos clientes, entre outras possibilidades. Para que você possa tirar proveito desta seção, atente-se aos conceitos e às técnicas que serão apresentadas.

3.1 ANÁLISE DE REDES SOCIAIS: CONCEITOS IMPORTANTES

Usualmente uma rede pode ser definida em função da teoria dos grafos: um grafo composto por um conjunto de vértices e arestas. No âmbito de redes sociais, os vértices representam os atores sociais (organização, pessoas ou entidades) e as arestas o relacionamento (links) entre eles. Assim, através de uma rede social podemos observar os relacionamentos entre pessoas compreendendo inclusive o grau de relacionamento e interação entre elas. O foco da análise desse tipo de rede está nas relações construídas entre os atores que se constitui em forma de amizade, confiança, interesse, parentesco, entre outros aspectos. A diagramação é normalmente representada por grandes quantidades de vértices (nós) e arestas (laços) e retratam a complexidade deste ambiente.

A análise de redes sociais parte do pressuposto que extrairemos, além da capacidade, meras informações quantitativas, tais como o total de amigos que fazem parte de um círculo social de uma pessoa. A ideia é ir a fundo e estudar aspectos relacionais no que diz respeito à influência comportamental de uma pessoa ou um grupo de pessoas, ou mesmo, o grau de conexão em relação aos outros componentes que estão interconectados. É por isso que esse tipo de análise é interdisciplinar e incorpora, além de análises computacionais e matemáticas, as ciências sociais, a administração, a antropologia, a própria geografia etc. A Figura 4 exemplifica a representação de uma rede com suas interações. Os grupos podem ser divididos por cores e tamanhos. Os relacionamentos entre os vértices podem ser também representados pela espessura das linhas para reforçar o grau de conexão entre estes.

Além da representação por grafos, as redes sociais podem ser definidas por intermédio de matrizes ou lista de dados, que, por sua vez, possuem uma representação mais matemática e podem ser reveladas através de números. O grafo da Figura 4 é considerado direcionado, uma vez que os vértices possuem uma direção predefinida. Em contrapartida, grafos que não possuem orientação e têm como função apenas conectar os elementos (vértices) de um grafo são conhecidos como não direcionados. Os grafos também podem ser ponderados, isto é, as relações entre os vértices podem carregar um peso ou uma força associada. Para determinar o grau de um vértice em um grafo não direcionado, é preciso verificar o número de arestas que incidem sobre ele. Em grafos direcionados, o grau de um vértice é calculado por meio da contagem de arestas que entram (grau de entrada) e saem (grau de saída) de um vértice.

FIGURA 4 – UM EXEMPLO DE UMA ESTRUTURA DE ANÁLISE DE REDE SOCIAL. OS VÉRTICES NORMALMENTE POSSUEM CARACTERÍSTICAS, TAMANHOS E CORES. OS RELACIONAMENTOS SÃO REPRESENTADOS PELOS LAÇOS QUE INDICAM OS VÉRTICES QUE ESTÃO INTERLIGADOS

• Centralidade: em geral quantificam a importância ou a influência de atores ou grupo de atores em uma determinada rede. São subdivididas em:

• Grau de centralidade: o grau de cada vértice diz respeito ao número de relacionamento direto com o vértice em questão. O grau de entrada (+) e de saída (-) pode ser medido em grafos direcionados. Um alto grau de centralidade indica que o ator é ativo dentro da rede e, por meio deste, é possível atingir diretamente um grande número de atores.

• Centralidade de betweenness: para cada vértice soma-se o total de caminhos mais curtos (menores distâncias). Os vértices com maior grau de betweenness possuem maior frequência de caminhos mais curtos em relação a outros vértices e possuem alta influência na rede, pois representam um (forte) elo de comunicação entre outros vértices da rede.

• Centralidade de proximidade: qual o caminho mais rápido que um determinado vértice pode alcançar outros vértices? A centralidade baseada em proximidade é uma medida que visa extrair os caminhos mais rápidos (ou mais curtos) ao sair de um vértice A até chegar a um vértice X. Por exemplo, você pode ter em mãos um mapa e verificar qual o caminho (rota) mais curto para sair da cidade de Ouro Preto e chegar na cidade de Ribeirão Preto, tendo em mente que você possa ter n rotas e deseja minimizar custos com viagem. Assim, podemos afirmar que um vértice com alto grau de proximidade pode acessar outros vértices através de caminhos mais curtos na rede, isso porque este vértice está em uma posição estratégica (em termos de proximidade) dentro da rede.

• Coeficiente de agrupamento ou clusterização: é uma medida que avalia a densidade dos vértices vizinhos de um vértice em relação a ele mesmo. Um coeficiente de clusterização elevado implica dizer que um vértice contém vizinhos conectados entre si formando um clique.

• Clique: se um determinado ator estiver diretamente conectado a todos os outros atores então temos a formação de um grupo em uma rede.

• Coesão: qual o número mínimo de vértices que, uma vez removidos do grupo ao qual pertenciam, desconectariam o grupo? A coesão é uma medida que revela o grau de ligação entre os vértices em um grupo.

É importante você estar ciente de que existem outras métricas que podem ser consideradas quando analisamos redes sociais. Mais que isso, todas as métricas mencionadas podem ser combinadas para fornecer uma compreensão mais ampla do conjunto de dados que estamos manipulando. A seleção da métrica mais apropriada para o seu domínio dependerá da definição-problema e do objetivo da sua análise. É claro que, quanto mais rica forem suas análises, maior será a possibilidade de se obter insights interessantes. No próximo tópico apresentaremos algumas ferramentas que podem ser úteis para você praticar e consolidar os conceitos que foram exibidos nesta seção.

3.3 ANÁLISE DE REDES SOCIAIS E SUAS APLICAÇÕES

A análise de redes sociais objetiva auxiliar as organizações a compreenderem e a responderem perguntas como: “Como podemos classificar os indivíduos mais influentes na organização?”, “Como estão segmentados nossos clientes?”, “Como melhorar a estrutura organizacional para tentar maximizar a produção?”. Com base nisso, por meio das redes, podemos observar o fluxo de informação, detectar falhas ou gargalos no processo organizacional, além de considerar fatores externos para melhorar a compreensão da posição da empresa frente aos seus clientes. As decisões não são tomadas isoladamente, mas considera a posição e o relacionamento de um ator social em função do grupo que o compõe.

Essa realidade não é exclusividade de empresas. Pesquisadores têm investido no campo de aprendizagem colaborativa para potencializar ações de interação entre alunos com intermediação docente (SAGAR et al., 2018). A análise dessa rede pode contribuir para a identificação de padrões de aprendizagem em um dado intervalo de tempo. O interesse na exploração desse campo de estudo tem conduzido a um grande número de ferramentas que podem ser utilizadas para analisar dados obtidos de redes sociais. A seguir apresentaremos algumas ferramentas que podem ser úteis para a análise de redes sociais:

• Sentinel Visualizer: é uma ferramenta desktop que permite fazer uma análise automática de baixa complexidade em termos de uso e sem necessidade de programação. É possível realizar cálculos rapidamente com uma diversidade de métricas para analisar a rede.

• Gephi: é uma poderosa ferramenta open-source para visualizar e analisar grafos de grande complexidade. Por meio da ferramenta é possível explorar, agrupar, manipular e analisar grafos em tempo real.

• NodeXL: se você tem familiaridade em utilizar o Excel, é possível com o modelo NodeXL explorar dados em rede diretamente do ambiente Excel, bem como gerar relatórios, ter acesso a dados de mídias sociais e utilizar métricas para análise textual e de sentimento.

• Pajek: é um software aberto de uso não comercial para análise de redes. O software foi projetado para suportar redes de grande magnitude e fornece poderosas ferramentas de visualização. Possui um conjunto de algoritmos poderosos para lidar com grandes volumes voltados para partições, operações binárias, caminhos ótimos etc.

• NetMiner: consiste em um software para exploração e visualização de grandes conjuntos de dados voltados para as redes sociais. Essa ferramenta possui como ponto forte a riqueza de recursos visuais e a possibilidade de analisar dados da rede extraindo informações estatísticas. Além disso, possui grande capacidade de importação de dados (inclusive dados não estruturados).

• Graphviz: é uma ferramenta open-source projetada para visualização de grafos. Possui diversos recursos para manipulação de diagramas, como personalização de cores, fontes, formas e outros estilos.

• Visone: é uma ferramenta simples para criação gráfica de redes, podendo coletar dados de uma rede, analisá-los e criar uma visualização. Ao final do processo, você pode exportar a rede para um arquivo externo, como uma imagem, PDF, SVG, entre outros.

Muito do que foi explorado nesta seção, reforça o grande poder analítico que analistas têm a seu favor. Na realidade, lidar com dados de natureza baseada em grafos e extrair o máximo de conhecimento útil para organização, requer o conhecimento de técnicas, métricas e ferramentas potencialmente necessárias para resolver o problema. Contudo, em ambientes dessa natureza, o nível de complexidade aumenta quando se manipula dados não estruturados. Na próxima seção, você conhecerá um pouco mais dessa outra possibilidade.

4 TEXT MINING: CONCEITOS E TÉCNICAS DE ANÁLISE DE DADOS NÃO ESTRUTURADOS

No Capítulo 1 vimos os conceitos relacionados a dados não estruturados e você talvez recorde que na atualidade cerca de 80% dos dados digitais gerados não possuem quaisquer estruturas. São dados de vídeos, imagens, sensores, áudios, documentos eletrônicos, blogs, entre outros exemplos. De fato, analisar dados não estruturados em tempos de Big Data parece ser um desafio. Por essa razão, diversas pesquisas têm sido realizadas para construção de novos métodos, técnicas ou algoritmos para analisar dados textuais de grande volume. Basta observar como os tradutores, como o Google Translator, evoluíram com o passar dos anos.

Nesta seção serão abordados conceitos e técnicas relacionados à análise de dados não estruturados do tipo texto, que sem dúvida é um dos campos mais importantes para análises avançadas em Big Data.

4.1 MINERAÇÃO DE TEXTOS: CONCEITOS IMPORTANTES E VISÃO GERAL

A Análise em Mineração de Texto (ou Text Mining) consiste em uma das tarefas mais árduas quando analisamos dados desse formato. Isso porque grande parte das informações não possui uma estrutura definida e, consequentemente, a escrita do texto normalmente não segue um padrão específico ou determinado. Por outro lado, em uma análise de dados estruturada, os dados estão prontos para análise, pois seguem um padrão específico armazenado e organizado em linhas e colunas.

Na verdade, em atividades de análise textual é preciso converter dados não estruturados para um formato estruturado para que assim análises sejam aplicadas. Consegue perceber que neste momento existe mais uma camada de complexidade para as análises? Note que, até então, você extraía os dados de uma ou mais fontes e, em seguida, aplicava um processo de transformação e limpeza e entregava o conjunto de dados pronto para ser analisado, seja para um algoritmo de mineração de dados ou como input para um modelo de aprendizagem de máquina. Agora é necessário lidar com um conjunto de informações - espalhados em um arquivo de texto, em um post em uma rede social, ou até mesmo em um campo (coluna) textual específico de um Banco de Dados relacional como: “observações”, “considerações”, “descrição” e que fora escrito em uma linguagem natural - redigida por um ser humano. Como consequência disso, em um cadastro de informações, inevitavelmente, é comum encontrar erros de ortografia, ambiguidade, vícios de linguagem e assim por diante. Por exemplo, como fazer que a máquina compreenda que a palavra companhia significa ‘uma empresa’ e não ‘vínculo entre pessoas’?

Diante dessa situação, o Processamento de Linguagem Natural (PLN) surge como uma alternativa do campo linguístico, que permite estudar relações entre palavras e sentenças em um texto. Na computação, permite que máquinas compreendam a linguagem humana analisando o contexto no qual foi empregada. Basicamente, isso é feito por intermédio de análises léxicas - (identificar padrões em uma string), sintáticas (observar a ligação entre os elementos textuais que formam uma frase), semânticas (extrair o significado dos termos, frases observando as relações entre elas) etc. O mecanismo de busca e o tradutor do Google, bem como os corretores de texto, são alguns dos inúmeros exemplos de aplicações do PLN.

Tendo em vista a vasta quantidade de informações textuais presentes nas empresas e armazenadas em relatórios, atas, planilhas, arquivos de logs e outros documentos de texto (como pdf e txt), além de fontes ricas externas (redes sociais, páginas web, e-mails etc.), a análise de dados não estruturados pode ser considerada mais útil para criar diferencial competitivo no mundo dos negócios. Ademais, as técnicas baseadas em PLN têm sido aplicadas para minerar textos, como extração de informação, classificação, clustering, entre outros (CHEN; MAO; LIU, 2014).

Tipicamente, um processo para análise de texto pode ser representado conforme a Figura 8. A primeira etapa consiste na obtenção dos textos direto da fonte. Este, por sua vez, pode estar situado em alguma tabela do banco de dados, em um arquivo de texto local, ou em algum ambiente externo (web). Essa coleta pode ser manual ou automática e tudo dependerá das necessidades do seu projeto. A dica é: se você precisa coletar constantemente dados de uma mesma fonte, o ideal é automatizar o processo e criar código em alguma linguagem de programação de sua preferência, ou utilizar uma ferramenta como o Apache Kafka para capturar esses dados. Em seguida, aplica-se o pré-processamento dos dados textuais, que inclui tarefas como:

• Stemming: o processo de Stemming consiste em reduzir uma palavra ou termo ao seu radical. Vamos supor que em um determinado texto você tem uma coleção de documentos (que são instâncias ou registros de uma tabela não normalizada) dos seguintes termos: planejamento, planejei, planejado, planejar. Após a aplicação do processo de Stemming, todos os termos derivados de “planejar”, seriam reduzidos ao seu radical “planej”, isto é, todos os termos citados no exemplo seriam unificados no texto e não gerariam redundância.

• Tokenization (Bag-of-words): processo de quebrar em ‘tokens’, ou seja, ocorre a quebra do texto em termos individuais. Considere a frase: “Eu sou aluno da UNIASSELVI”. O processo observa os espaços em branco dessa sentença e determina os tokens: [“Eu”, “sou”, “aluno”, “da”, “UNIASSELVI”]. É possível definir regras de “tokenização” de acordo com suas necessidades, sem necessariamente estarem atrelados a uma única regra que, no caso desse exemplo, foi determinado pelo espaço em branco.

• Remoção de Stopwords: sabe aqueles termos que aparecem no texto que têm a função meramente de conectar elementos de uma sentença? São Stopwords! Artigos (o, a, os, as, um, umas etc.), preposições (de, para, entre etc.), conjunções (nem, já, mas etc.), crase (à), pronomes (ele, teu, meu etc.) são termos que não são relevantes para análise e por isso são removidos. As Stopwords são armazenadas em uma lista (dicionário) e estão disponíveis em vários idiomas, podendo ser consumidas por linguagens ou ferramentas que desejam executar tarefas de mineração de texto.

• Correção ortográfica: erros ortográficos são muito comuns em textos. Por isso é importante corrigi-los para melhorar a qualidade dos nossos dados. Existem algumas abordagens para tratar esses erros (como correção automática). É claro que a alternativa mais segura é realizar a correção manual, entretanto, o processo se torna mais custoso à medida que o volume de dados aumenta.

• Remoção de números, espaços e caracteres indesejados: números, espaços e caracteres especiais ou símbolos muitas vezes não são relevantes para análise de texto e são removidos: figura solta no texto, relacionar texto à figura.

FIGURA 8 – DE UM MODO GERAL ESTE PIPELINE É COMPOSTO POR: EXTRAÇÃO E PRÉ-PROCESSAMENTO DO TEXTO, APLICAÇÃO DE TÉCNICAS ANALÍTICAS AVANÇADAS (PROCESSAMENTO) E VISUALIZAÇÃO DOS RESULTADOS

Ainda na Figura 8, após a etapa de pré-processamento, assume-se que os dados já possuam uma estrutura mínima para que análises sejam aplicadas - que irão desde uma simples extração dos termos mais frequentes até análises preditivas. Por fim, o processo encerra com a visualização dos resultados alcançados. Na próxima seção, você conhecerá algumas técnicas que certamente o auxiliarão em suas análises textuais.

4.2 TÉCNICAS PARA ANÁLISE DE MINERAÇÃO DE TEXTOS

Uma vez que os dados estejam prontos para análise, você pode aplicar uma ou mais técnicas para tentar extrair informações úteis para o negócio. A seguir, algumas técnicas comuns para a análise de texto.

4.2.1 Recuperação de Informação (IR)

A recuperação de informação pode ser definida como a busca por material (normalmente documentos) de natureza não estruturada (geralmente texto) que satisfaça uma necessidade de informação a partir de grandes coleções (geralmente armazenadas em computadores) (MANNING; RAGHAVAN; SCHÜTZE, 2009).

A partir dessa definição, percebemos que a IR cria mecanismos para extrair informações relevantes de uma grande massa de documentos textuais. O exemplo mais comum são os mecanismos de pesquisa, como Google ou Bing que, frente a um universo de documentos, conseguem selecionar apenas um subconjunto relevante de documentos a partir de palavras-chave (keywords) digitadas no buscador. Faça um teste: abra o Google Acadêmico <https://scholar.google.com.br/> e digite: recuperação de informação e observe o conjunto de documentos Web contendo essas palavras-chave. Experimente agora digitar “recuperação de informação” (com aspas). Notou alguma diferença no retorno dos documentos? Parece que as aspas indicam que você deseja que a busca retorne apenas os documentos que apresentam a sentença digitada como um todo e não Keywords separadas (recuperação/informação).

Como avaliamos a performance de sistemas que implementam IR? Existem algumas medidas que poderemos utilizar, a saber: Recall, Precision, F-Measure, R-Precision, Fall-out e assim por diante. As duas mais populares são:

• Recall (Revocação): é uma medida que qualifica a fração de documentos recuperados que foram relevantes para a consulta.

Recall = número de documentos relevantes que foram recuperados / número total de documentos relevantes na coleção (x 100).

Um Recall com valor 1 ou 100% aponta o melhor caso e, de fato, é o que normalmente acontece em uma consulta, todos os documentos recuperados na coleção são relevantes. Por isso, combinamos Recall com outras medidas para avaliar a performance do IR.

Exemplo: considere um conjunto esperado com 10 documentos D = {1,2, 3, ...,10} e que foram recuperados um total de 6 documentos (vamos supor os documentos {3,4,9,10,12,15}). No entanto, foram recuperados apenas 4 documentos com sucesso {3,4,9,10}. Por isso:

Recall: 4 / 10 = 40%.

• Precision (Precisão): refere-se à fração de documentos recuperados que são relevantes para o usuário.

Precision = número de documentos relevantes que foram recuperados /número total de documentos que foram recuperados (x 100).

Dessa maneira, obtemos uma taxa de documentos não relevantes que foram retornados em uma consulta.

Se utilizarmos o mesmo exemplo citado anteriormente, podemos calcular a precisão:

Precision: 4 / 6 = 66,67% (aprox.).

4.2.2 Extração de Informação (IE)

Diferentemente do processo de Recuperação de Informação, o processo de Extração de Informação (IE) está preocupado em extrair a semântica de documentos textuais. Isso significa que a IE é capaz de coletar informações-chave de forma resumida de um documento. A ideia é pressupor a existência de um conjunto de documentos presentes em um domínio, que descreve uma ou mais entidades ou eventos e que compartilham semelhanças em relação a outros documentos, mas que diferem em seus respectivos detalhes (FREITAG, 2000).

O que torna o processo de IE custoso é o fato de que grande parte dos documentos contém dados não estruturados (textuais). Como vimos, problemas inerentes à linguagem natural precisam ser tratados por softwares que implementem tarefas dessa natureza. Imagine que você crie um software baseado em IE que colete informações de um Call Center. Então, você pode monitorar um conjunto de informações livres em texto e organizá-las em uma estrutura. Por exemplo, pode ser que você queira extrair para cada cliente apenas palavras de baixo calão, armazená-las em uma estrutura e associá-las a um campo chamado “tipo de serviço”. Isso possibilitaria conhecer quais tipos de serviços estão deixando os clientes insatisfeitos.

A Figura 9 exibe outro exemplo que pode ser útil para você compreender melhor como funciona a Extração de Informação de maneira geral. Note que os textos em destaque em Text In foram estruturados em Data Out. Se pegarmos a palavra Brazil do primeiro documento, é possível que o IE “compreenda” o texto de modo a ranquear o país na 5ª posição entre os países mais populosos. O software precisa ser capaz de lidar com variações na ordem do texto. Afinal, escrever que “o Brasil é o 5º país mais populoso do mundo” pode ser escrito de diversas formas.

FIGURA 9 – TEXT IN CONTÉM UM CONJUNTO DE DOCUMENTOS TEXTUAIS E O DATA OUT A SAÍDA CORRESPONDENTE AO PROCESSO DE IE

4.2.3 Análise de Texto Baseada em Cluster

Esta técnica classifica um conjunto de termos (ou documentos) em grupos. Assume-se que os termos que pertencem ou são classificados em um mesmo grupo possuem maior relação entre si. Essa classificação pode ser importante para que você visualize os relacionamentos entre eles. Além disso, é possível que os resultados obtidos por esses clusters possam ser utilizados como input para uma tarefa de mineração de dados, também para realizar análise de sentimento (por exemplo, checar como está a reputação - positiva ou negativa -, de uma empresa no mercado), ou outras análises avançadas.

Talvez você já tenha observado que quando acessa um site de notícias existe um grupo de notícias que está relacionado ao que você pesquisou em destaque em algum local da página. Por exemplo, em uma busca você digitou uma notícia sobre “cura de diabetes”. Os conteúdos em destaque (que serão retornados) serão relacionados à categoria saúde, pois existe um nível maior de proximidade com a notícia pesquisada.

Quando falamos de clusterização baseada em texto, alguns conceitos e medidas são importantes e merecem ser destacados:

• Coleção de documentos: representada por uma matriz termo-documento (TDM) ou documento-termo (DTM), conforme mostra a Tabela 1. Se considerarmos a frequência dos termos (medida) como um peso para medir a importância de um termo no documento, poderíamos afirmar que “Amor” e “Casa” são termos que têm um peso maior no Documento 2, pois são comumente utilizados.

TABELA 1 – EXEMPLO DE UMA MATRIZ TERMO-DOCUMENTO. O ZERO INDICA AUSÊNCIA DO TERMO EM UM DETERMINADO DOCUMENTO

• Frequência do termo: como foi mostrado anteriormente, você pode medir a importância do termo no documento verificando a quantidade de vezes que ele ocorre (contagem bruta). Essa representação de frequência do termo pode ser feita não somente pela contagem bruta que, em determinados casos possui sérias limitações, como também de forma binária - intervalo [0,1] que indicaria meramente a presença ou a ausência do termo no documento, também existe a medida normalizada - que considera o total de termos presentes no documento, log de frequência - estabelece um score usando logaritmos etc.

• Frequência do termo na coleção: termos frequentes não necessariamente são os mais relevantes. Ao contrário, em grande parte dos casos, os termos menos frequentes possuem uma relevância maior em toda coleção. A frequência do termo na coleção permite definir o peso do termo. df_t (Document Frequency) obtém o número de documentos que contém um determinado termo t. idf_t (Inverse Document-Frequency) é calculada pelo logaritmo entre a fração do total de documentos pelo total de documentos que possui o termo. Existem outras variações para cálculo do peso que aprofundam matematicamente.

idf_t = log (N/df_t)

É possível também utilizar algoritmos voltados para a análise de cluster em textos, como o próprio K-Means, que abordamos em seções anteriores. Assim, pode-se determinar similaridades entre clusters utilizando, por exemplo, o método cosseno, e também verificar documentos que compartilham informações em comum e assim por diante.

Na próxima seção você conhecerá um pouco sobre o Digital Analytics e sua devida importância para o mundo dos negócios. Antes disso, não deixe de explorar um demo do IBM Watson para processamento de linguagem natural. Se preferir, você também pode testar essa poderosa ferramenta (Elasticsearch) para pesquisa e análise de dados.

5 DIGITAL ANALYTICS: CONTEXTO, IMPORTÂNCIA E APLICAÇÕES NO MUNDO DOS NEGÓCIOS

Finalizaremos este capítulo explorando o Digital Analytics. Você compreenderá como a análise dos dados do mundo digital impacta diretamente no mundo dos negócios, assim como de que maneira é possível extrair e analisar esses dados em ambientes Big Data. Antes disso, precisamos que você conheça e assimile conceitos e a importância do Digital Analytics, conforme será abordado a seguir.

5.1 DIGITAL ANALYTICS: CONCEITO E IMPORTÂNCIA NAS DECISÕES DE NEGÓCIO

O termo “Web Analytics” (Análise Web) era o nome utilizado antes de se empregar o “Digital Analytics” (Análise Digital), isso significa que houve uma transição ou ampliação do termo “Web” para o “Digital”. Como assim? Quando se falava em Web Analytics, o conceito era restrito à análise de páginas web, isto é, extraíam-se métricas do número de visitas ou número de visualizações das páginas de um website, devido à diversificação do número de canais “plugáveis” à web, como dispositivos móveis, televisores digitais, redes sociais, e-mails, entre outros. A possibilidade de fazer análises aumentou para o mundo digital e passou a englobar todos os canais que envolvem a era digital. A incorporação progressiva da Internet das Coisas (IoT) - que será abordada no próximo capítulo - corroborou para que o termo Digital Analytics fosse consolidado.

O Digital Analytics pode ser definido como:

Um conjunto de atividades técnicas e de negócios que definem, criam, coletam, verificam ou transformam dados digitais em relatórios, pesquisas, análises, recomendações, otimização, predições, que criam valor para os negócios auxiliando empresas a criar valor, aumentando a receita ou reduzindo custos. Os dados digitais podem ser dados comportamentais sobre como as pessoas usam e interagem com experiências digitais, dados ou metadados relacionados a eventos, cliques e interações, é utilizada para responder perguntas de negócio e fornecer base para decisões baseadas em fatos (PHILLIPS, 2014, p. 3-4, grifos nossos).

Observe os termos comportamento e experiências digitais citados por Phillips (2014). De fato, o Digital Analytics incorpora ou avalia o comportamento dos usuários na rede. Dados do Internet World Stats apontam um total de aproximadamente 4,2 bilhões de usuários conectados à web em junho de 2018. No Brasil, foram quase 150 milhões de pessoas conectadas. Em épocas passadas, o Marketing Tradicional intensificava seus esforços em meios de comunicação off-line, como jornais, revistas ou TV. Compreender ou conhecer o comportamento dos usuários para compra de um determinado produto era um desafio. Não obstante, hoje profissionais digitais (como o próprio profissional de Marketing Digital) ganham espaço para lidar com essa nova dinâmica de mercado: o mercado digital.

Como uma empresa pode vender melhor sua marca e/ou produto pela internet? Até que ponto conhecer o comportamento do cliente nos meios digitais é importante para impulsionar seus negócios? A Walmart, apontada pela Fortune (2018) como a empresa que mais faturou em 2018, emprega técnicas de mineração de dados para descoberta de padrões de vendas.

Por isso é recomendado que se cheque quais produtos normalmente são comprados em conjunto ou que a compra de um produto X é seguido pela compra de um produto Y. A partir desses dados, a Walmart conseguiu identificar que seus clientes compravam sete vezes mais tortas de morango antes de um furacão. Todos os seus clientes são rastreados e segmentados de maneira única por intermédio de inúmeros atributos - produtos de compra do cliente, hábitos de compra pela loja (física ou pelo website), o que postam nas redes sociais, como Twitter e assim por diante. Cada evento é capturado, analisado e processado por uma infraestrutura de Big Data que fornece insights personalizados para a companhia (DEZYRE, 2017).

Assim como o Walmart, em menor ou maior escala, as empresas, quando analisam dados digitais, objetivam avaliar o comportamento dos usuários na rede e assim oferecem produtos personalizados. Os famosos cliques no mouse em um produto específico no Mercado Livre (ou outra loja virtual), poderá causar uma grande “perseguição” de propagandas deste ou de produtos relacionados em outros websites ou redes sociais. A captura deste evento (clique do mouse), tempo de duração na página do produto, comentário para sanar alguma dúvida de algum produto, fornece um conjunto de métricas para que as empresas ofereçam aos usuários a recomendação do produto certo no tempo adequado por intermédio de indicadores que fornecerão suporte adequado para a tomada de decisão do algoritmo ou do gestor da empresa.

5.1.1 Análise de Métricas e Indicadores para Melhoria das Decisões de Negócio

As lojas virtuais normalmente possuem alguma ferramenta de Analytics (como o Google Analytics) incorporada a sua página web. Entretanto, quantas realmente fazem uso das informações colhidas por essas ferramentas? As principais redes sociais possuem ferramentas específicas para Analytics: Facebook (https://analytics.facebook.com/), Twitter (https://analytics.twitter.com/),

Pinterest (https://analytics.pinterest.com/) etc. No entanto, para que as empresas realmente possam tirar total proveito do Analytics, é necessário que compreendam as métricas existentes.

Considere as características (features) do Facebook Analytics para as páginas conforme mostra a Figura 10. Os dados apresentados são apenas para efeitos de demonstração e a tela apresentada é uma página inicial contendo um overview de todos os dados referentes a acessos de novos usuários, taxa de crescimento, duração mediana de sessão (tempo que o usuário visita sua página), informações demográficas, taxa de rejeição (porcentagem de sessões em um dia com apenas uma única visualização de página) e total de usuários ativos por hora, estes dois últimos são classificados como métricas de envolvimento, indicando o quão interessados os usuários estão com a sua página. Todas essas informações podem ser observadas em diferentes níveis de granularidade (detalhamento) por mês, ano, dia, hora etc. Observe ainda que o menu disposto à esquerda fornece uma gama de informações coletadas que são potencialmente úteis para as empresas que comercializam pelo Facebook. Os “Funis”, por exemplo, para determinar ou mensurar a taxa de conversão dos clientes na página, rastreando as atividades do usuário como: usuário instala o aplicativo > adiciona um produto ao carrinho > clica em compras. Outro usuário poderia: inicializar o aplicativo > pesquisa por “computador” > posta algum comentário na página, e assim por diante. Note que, por meio de algumas atividades, é possível que você perceba que grande parte dos usuários que interagem com o produto em seguida compram.

FIGURA 10 – PÁGINA INICIAL DOS RECURSOS ANALÍTICOS DE PÁGINAS DO FACEBOOK

Outras métricas são importantes para monitorar um site ou uma loja virtual. Algumas destas são comuns a outras ferramentas de Analytics implementadas, como:

• Número de visitantes: corresponde ao total de usuários que visitaram o website. Se você, João e eu, acessamos uma única vez o site da Amazon para checar a disponibilidade de algum produto, têm-se um total de 3 visitantes (ou visitas únicas). No entanto, se você voltar no mesmo site para ver algum outro produto, o número de visitantes permanece 3, porém, a visita ao site é contabilizada mais uma vez. Ao final, teremos 3 visitantes e 4 visitas.

• Origens de tráfego: é importante muitas vezes que você saiba de onde os usuários estão acessando a sua página. É por meio do acesso direto ao link do seu site? (Tráfego Direto); ou seria através de links de terceiros? (Tráfego de referência); talvez o usuário tenha acessado utilizando algum buscador, como Google ou Bing (Tráfego Orgânico); ou mesmo por meio de mecanismos de anúncios que priorizam a exibição de página, como o Google AdWords (Tráfego por Campanhas).

• Páginas por visita: é uma métrica importante para inferir se o usuário está interessado ou não naquilo que ele está visualizando. Uma média alta de acesso em uma mesma página indica que ele está interessado.

• Dispositivos: é interessante muitas vezes conhecer qual o percentual de acessos por diferentes dispositivos (smartphones, tablets ou desktop). Ao constatar uma massiva presença de dispositivos móveis, talvez seja interessante pensar em reimplementar as páginas do site, tornando-as mais ágeis para os usuários (observando sempre outras métricas, tais como tempo de carregamento de uma página), ou tomar uma ação e direcionar esforços para construção de aplicativos (apps).

Evidentemente que existem outras métricas digitais incorporadas em ferramentas voltadas para as análises digitais. As próprias features do Google Analytics são constituídas de numerosas métricas e indicadores para auxiliar as empresas a obterem ganho competitivo no mundo digital. Em situações nas quais o volume de dados cresce exponencialmente, é mais seguro optar por soluções Big Data que assegurem uma boa escalabilidade e disponibilidade para que o processo de análise transcorra adequadamente. Nesse sentido, o Apache Kafka é uma plataforma para o processamento distribuído, que pode ser uma alternativa viável para capturar métricas digitais do Google Analytics, estabelecendo uma ponte entre a captura e a análise de imensos volumes de dados.

Adicionalmente, você pode trabalhar com Digital Analytics em cima de ferramentas da IBM, como o IBM Analytics, que agrupa diversos mecanismos para otimizar a presença de uma empresa na Web, fazendo comparativos de desempenho em relação à concorrência em diversos canais digitais, agrupando em uma única visualização. A fidelização do cliente é algo importante para as empresas, pensando nisso, a ferramenta organiza e segmenta os visitantes em cada canal, fornecendo métricas em função de probabilidade de conversão do visitante para um cliente. A ferramenta também apresenta algumas features interessantes como: análises avançadas (mobile, redes sociais e web), indicadores (KPIs), dashboards (painéis), visualização intuitiva, entre outros pontos. Além das empresas mencionadas, Teradata, AWS e Avanade também são opções para realizar análises de dados digitais.

O importante é que você compreenda que antes de mergulhar na ferramenta, você precisa compreender os conceitos e os contextos envolvidos. Conhecer os pormenores de tudo que foi apresentado e sanar suas dúvidas é algo que você deve ter em mente. Execute cada passo a passo. Todas as métricas que foram apresentadas fazem parte apenas de um subconjunto de algo amplo e complexo do mundo digital. Não desanime, ao contrário, a mola propulsora do seu conhecimento está em você mesmo.

ALGUMAS CONSIDERAÇÕES

Ao longo desse capítulo, apesar de ter apresentado uma gama de técnicas, ferramentas e métricas, você talvez tenha percebido que há muito para aprender e explorar. De fato, tudo que aqui foi mostrado representa apenas uma parte de um amplo campo de estudo. Possivelmente, você deve ter percebido que existe a possibilidade de fazer a intersecção entre os conhecimentos de cada técnica. Por exemplo, lembra quando falamos sobre clusterização pela primeira vez? Quantas vezes a repetimos em seguida? A base do conhecimento de clusterização, técnicas e algoritmos são úteis para diversas aplicações e podem ser perfeitamente úteis no seu trabalho.

É difícil separar o Digital Analytics do Text Analytics ou das análises em Cluster quando lembramos que todos se constituem e fazem parte do mesmo contexto. Eventualmente, você pode querer fazer uma análise de dados em uma rede social procurando identificar quais são os principais atores (mais influentes ou relevantes) em uma rede analisando a interatividade entre os posts produzidos por estes. Em seguida, você agrupa os atores com base na similaridade entre eles. Note a amplitude de conceitos envolvidos ao lidar com esse tipo de análise - um cenário de Digital Analytics para investigar em uma rede social os atores mais influentes com base em alguma métrica. Por fim, analisar o conteúdo textual presente nos posts, estruturá-los e agrupá-los de acordo com alguma medida de similaridade.

Tendo em mente tudo que foi abordado nesse capítulo, esperamos que você tenha assimilado o conteúdo e esteja preparado para alguns aspectos mais avançados que serão abordados no Capítulo 3.

Na próxima etapa trataremos de alguns conceitos relacionados à integração para análise de Big Data, além de abordarmos a Internet das coisas, prontos?