O crescimento exponencial de número de publicações e novas revistas cientificas tem complicado o processo de avaliaçao mesmo para os experts desta área. Entretanto, nos países em desenvolvimento o processo de avaliação é fundamental para distribuição de recursos e produção de recursos humanos qualificados a serviço de sociedade.

Um dos métodos elementares para avaliação das revistas cientificas é o Fator de Impacto (IF) que é divulgado pelo Instituto Thomson Reuters.

Com frequência, observamos que existem revistas que procuram maneiras fraudulentas de aumentar seu fator de impacto, incluindo criação de diversas revistas pelos mesmos administradores e incentivando as referencias cruzadas entre mesmas revistas. Foram adotados alguns mecanismos para impedir tais fraudes, como por exemplo, o critério de MCQ que foi apresentado pelo Mathscinet onde apenas referencias as revistas aceitas pelo Mathscinet eram consideradas. Mesmo assim, diversas revistas de qualidade duvidosa lograram entrar no sistema.

Uma outra ideia foi utilizar sistema de pesos como é usado no ranking das páginas de web usado pelos motores de busca como google, onde não apenas números de referências, e sim, o peso das referencias contribuem na contagem. Obviamente, este método também não é definitivo. Neste modelo as revistam ganham (AI: Article influence) onde calcula fator de impacto usando mais fatores e pesos. Pode ser encontrado em www.eigenfactor.org

Em seguida apenas vou transmitir um estudo estatístico feito pelo 3 colegas matemáticos em IPM (Institute for research in fundamental Science):

Salman Beigi (Phd 2009, MIT)

Meysam Nassiri (Phd 2006, IMPA)

Eaman Eftekhary (Phd 2004, Princeton University)

e acho que vale a pena refletir bem. Gostaria de solicitar não divulgar os diagramas antes de solicitar licença dos autores. Os autores fizeram tal estudo para refletir sobre áreas de pesquisa, financiamento e critérios de promoções no Irã.

Comparação de Fator de Impacto (e sua versão de 5 anos) e AI (article influence usando ranking por pesos de referências)

No diagrama abaixo os fatores de impacto (IF e 5 Year IF) de 100 melhores revistas (usando AI) foram comparadas. Podemos observar uma grande discrepância entre IF e AI.

Primeiramente 100 revistas foram classificadas usando AI(article influence) da base eigenfactor.org e depois essas revistas foram ordenadas usando IF (impact factor) ou 5 years IF.

Dado que AI é "menos sensível" a manipulação dos editores e/ou grupos de pesquisa, as distrorções no diagrama mostram a falta de confiabilidade a fator de impacto "cegamente".

Chance de artigo aparecer em estratas altas (A). (cultura de cada área e politicas de revistas)

Os autores definiram uma fórmula para medir "a probabilidade de um artigo na área X aparecer numa estrata específica". O diagrama abaixo mostr aa probabilidade de um artigo aparecer nas revistas classificadas A e A**. (vide acima : Classificação das revistas)

M:=( Número de artigos em estrata A na área X ): (número de artigos na área X)

N:= (número de artigos no grupo A): (número total de artigos)

Chance de aparecer em categoria A := M:N

Publicação por sub-área de pesquisa

Número de artigos publicados no período 2008-2012