Resultados

Com base na função de risco que atribui um grau de risco no intervalo \([-1, 22]\) a cada cenário gerado, foi elaborada a Figura abaixo. Cada ponto das Figuras representam uma geração de 100 indivíduos do  passo evolutivo do AG, sendo comparado com um conjunto de 100 cenários correspondentes que utilizam a heurística aleatória na geração dos parâmetros.

Como a métrica de risco é a própria função objetivo utilizada no AG. os diagrama das Figura ao lado evidenciam uma característica da otimização via AG, que é a não monotonicidade da função objetivo. Analisando o resultado do cenário B, é possível observar no intervalo das 10 primeiras gerações uma oscilação do resultado, tendo a quinta, sétima e oitava gerações do AG um ganho positivo em relação aos experimentos aleatórios, com as demais gerações com ganhos negativos. Esse mesmo comportamento é visto no cenário F, com a ligeira diferença que esse comportamento se estendeu até a geração 16.

            Um resultado importante para todos os cenários é que a partir de alguns ciclos de otimização, a busca consistentemente revela ganhos significativos do AG em comparação com a abordagem aleatória. Nesses casos, foi constatado que para todos os cenários, as últimas 10 gerações, em geral, o AG apresenta um resultado superior no que diz respeito ao nível de risco, tendo a grande maioria dos casos significância estatística relevante. Nos cenários A, B, C e D, a convergência ocorre pelo menos até a metade do experimento, enquanto nos cenários E e F, a convergência é mais evidente nas gerações finais. Para essas situações, pode ser indicado a execução de gerações adicionais para validar a hipótese de melhora da convergência. Notavelmente, nos experimentos, a utilização do AG nos cenários A e D apresentam os melhores desempenhos em termos de velocidade de convergência, enquanto que os cenários C e E apresentam maior resistência, possivelmente associado à inicialização dos parâmetros de busca.

Essa métrica visa simplificar a avaliação do nível de risco das simulações, uma vez que, no ambiente de controle desenvolvido, existe uma correlação positiva entre as simulações que ocorrem colisões e aquelas que quase as experimentam. Nesse contexto, a Figura ao lado mostra, para cada geração, a quantidade de colisões observadas. Um padrão notável é que, no caso aleatório, a média de todos os cenários permanece semelhando ao longo de todas as gerações, enquanto nos casos de AG, as gerações iniciais apresentam quantidades de colisões inferiores à média, sendo seguidas por aumentos consideráveis nas gerações finais.

Apesar desse padrão de comportamento dos resultados de cenários via AG, nota-se que não há diferença significativa na quantidade de colisões totais entre os cenários de teste A, D e E Nesse sentido, a Tabela \ref{tab:colisoes_fracoes} foi elaborada para facilitar a análise do efeito evolutivo nos experimentos. Essa tabela fraciona a quantidade de colisões das 30 gerações em apenas três grupos equitativos - primeiro, segundo e último terço do total de gerações. Como a inicialização do AG utiliza a heurística aleatória, a dificuldade de convergência nas primeiras gerações é um resultado aceitável, observável nos cenários A, D, E e F. Entretanto, para todos os cenários, nota-se que os casos gerados pelo AG no último terço de gerações apresentam consistentemente um grau de risco mais elevado, em conformidade com a hipótese proposta.

Vale notar que dependendo do modelo gerado para função objetivo, as colisões podem não exercer um impacto substancial no grau de risco. Os experimentos apresentados têm uma alta correlação, porque, no intervalo do score de risco [-1, 22], a ocorrência de colisão adiciona um valor 10 no nível de risco.

Devido às particularidades da técnica de geração de cenários, existe uma parcela significativa de cenários gerados que não resultam em uma simulação executável. Como uma medida adicional para avaliar a eficiência do AG, também foi construída uma análise que destaca a eficácia da heurística. Para esse trabalho, define-se eficácia como uma taxa de aproveitamento dos cenários testados, ou seja, quanto maior a quantidade de simulações válidas em relação a um número fixo de testes, maior é a eficácia.

Assim como nas análises de colisões, a Figura ao lado resume a quantidade de cenários inválidos por simulação. De maneira análoga, a heurística aleatória apresenta um comportamento próximo tanto de uma distribuição uniforme ao longo das gerações, quanto da média global. Todavia, existe uma tendência dos experimentos que utilizam AG de reduzir significativamente a quantidade de cenários inválidos conforme o avanço das gerações. Vale notar que no cenário de teste F não houve um ganho significativo, sugerindo que, potencialmente, a descrição formal desse cenário é mais restrita em relação ao mapa utilizado para a geração dos experimentos. A confirmação dessa hipótese requer a realização de mais experimentos com a mesma descrição, tanto no mapa utilizado para esse estudo de caso, quanto em outros mapas.