O que define um bom cientista?

Artigo do professor Marco Mello no blog Sobrevivendo na Ciência.

Essa pergunta, no fundo, não é tão difícil de responder: um bom cientista é aquele que produz conhecimento novo, seja investigando novas hipóteses ou destruindo hipóteses antigas que estavam incorretas. E um ótimo cientista é aquele que produz conhecimento tão original, que acaba por mudar substancialmente nossa forma de pensar sobre algum tema, ou que até mesmo inventa um tema inteiramente novo. Contudo, num mundo saturado de cientistas profissionais, tornou-se necessário responder essa pergunta de forma mais fina, criando-se um gradiente de qualidade a ser esmiuçado. Neste artigo conto um pouco sobre as formas de se avaliar cientistas e comento sobre as armadilhas envolvidas na cienciometria individual comparada.

Uma grande precisão cienciométrica nem sempre foi necessária. Até bem pouco tempo atrás, considerando que a ciência é uma cultura milenar, ninguém se preocupava muito em separar com exatidão o joio do trigo, porque o número de pesquisadores não era assim tão grande. Injustiças à parte, quem produzia má ciência era inicialmente ignorado por seus pares, e quem fazia descobertas relevantes era louvado. Isso porque, até meados do século 19, a pesquisa era uma atividade paralela para a maioria, que vivia de outros trabalhos. Poucos eram os profissionais, ou seja, aqueles que se sustentavam através da pesquisa. Dentre esses poucos profissionais, alguns contavam com fortunas de família (era o caso do Darwin, por exemplo) ou recebiam verbas de patrocinadores particulares, como os mecenas das artes. Raros eram os cientistas que contavam com verbas públicas. Contudo, no século 20, o quadro mudou radicalmente. Atualmente, no século 21, a grande maioria dos cientistas básicos se mantém com auxílios governamentais, e quase todos os cientistas aplicados contam com o apoio da indústria e das empresas. Isso fez o número de profissionais crescer exponencialmente nos países desenvolvidos (como a Alemanha) ou em desenvolvimento (como o Brasil), levando à uma produção maciça de conhecimento, mas também à uma saturação do mercado. Com isso criou-se um grande dilema: quem deve ser financiado com o dinheiro que vem dos impostos, ou seja, do meu e do seu bolso?

Essa grande pergunta tem várias facetas; mas ser financiado, na prática, significa duas coisas: (1) receber um salário ou bolsa para se dedicar integralmente à ciência e (2) receber verbas para cobrir os gastos das pesquisas. No caso das pesquisas em si, a situação é relativamente mais simples, mas ainda assim depende de quão caros são o material e a mão de obra necessários. Já em se tratando da subsistência do cientista, a situação fica mais complicada, especialmente para aqueles que fazem pesquisa básica, sem aplicação imediata para o desenvolvimento de tecnologia ou produtos, e portanto raramente financiada pela iniciativa privada. No caso de países em que a maioria dos cientistas básicos vive de salários e bolsas dados pelos governos, hoje em dia a briga por empregos é brutal em universidades e institutos de pesquisa.

Para resolver essa briga e decidir quem ganha qual cargo ou qual auxílio, várias abordagens já foram usadas. Antigamente, quando a competição não era tão forte, muitas vezes as decisões se baseavam em  conhecimento pessoal ou mesmo “herança”: geralmente quem era contratado eram os pupilos ou colaboradores próximos dos colegas já empregados. Os governos simplesmente confiavam no julgamento da comunidade científica e, infelizmente, muitas injustiças eram cometidas. Dos anos 1980 para cá, os órgãos de fomento à ciência começaram a procurar mecanismos de avaliação mais imparciais, mirando-se na ideia da revisão por pares, já usada nas revistas científicas há séculos. Quer dizer, cada candidatura a um cargo ou pedido de verba passou a ser avaliado por colegas, de preferência externos à instituição contratante, que se mantinham no anonimato. Pareceres eram emitidos pelos pares e então analisados por quem tinha o poder de decisão. Isso tornou o sistema mais imparcial, apesar de erros e injustiças continuarem a ser cometidos, mesmo que em menor escala.

Contudo, quando o número de profissionais e aspirantes atingiu um valor gigantesco no fim dos anos 1990, a revisão por pares tornou-se insuficiente em muitos casos. Foi preciso começar a buscar mecanismos baseados em indicadores, que pudessem ser avaliados por técnicos sem conhecimento científico ou até mesmo de forma automatizada. Resumidamente, num primeiro momento, definiu-se que mais era melhor: o melhor cientista era aquele que tinha mais publicações ou mais alunos orientados. Não importavam a qualidade dos artigos e nem dos alunos, apenas sua quantidade. Essa mentalidade ainda perdura até hoje, especialmente nos países em desenvolvimento. Porém, felizmente, isso já começou a mudar em alguns países e a qualidade passou a entrar na equação. O problema é que a única forma de se avaliar decentemente a qualidade de um cientista é conhecer bem sua área de pesquisa, ler seus artigos e saber o quanto eles influenciaram o conhecimento na área. Só assim é possível estimar com mais segurança a chance de que novos projetos de um pesquisador avaliado gerem resultados interessantes. Mas fazer isso para cada proponente é inviável num sistema com milhares competindo por verbas. Por isso, foram criados diferentes índices de qualidade, no caso das publicações; infelizmente os lados orientador e professor do cientista continuam negligenciados.

A Thomson Scientific (antigamente conhecida como Institute for Scientific Information), uma empresa americana, criou uma solução usada mundialmente: ela passou a monitorar a produção de uma amostra das principais revistas científicas mundiais, a fim de registrar quantos artigos elas produzem, quais desses artigos são citados por outras revistas e com que frequência. Daí nasceram a base de dados Web of Science (WoS) e o famigerado “fator de impacto” (IF, na sigla em inglês): um índice que mede a relevância de cada revista com base na frequência com que seus artigos são citados. Quanto maior o IF, melhor teoricamente é a revista. Esse índice dá uma medida relativamente boa de qualidade, porém que não é 100% precisa, já que não leva em conta fatores qualitativos, como o prestígio da revista, sua contribuição histórica, seu rigor na seleção de artigos e sua abertura para novidades que se desviem dos paradigmas vigentes (é muito mais fácil ser citado por concordar do que por discordar). Além disso, o IF só é comparável dentro de uma mesma área específica, já que o perfil de citações difere muito de uma ciência para a outra, ou mesmo entre especialidades de uma mesma ciência. Apesar dessas limitações, tornou-se possível assim avaliar a produção de um cientista tanto pelo número dos seus artigos, quanto pelo IF das revistas onde eles foram publicados.

Só que avaliar um cientista pelo IF médio das revistas onde ele publica tem um problema sério: o IF é uma propriedade da revista, não do cientista. Um artigo ter saído numa revista de alto impacto não significa necessariamente que ele mesmo teve um alto impacto. Ele pode até mesmo nunca ter sido citado. Por causa dessa limitação, começou-se a tentar medir o impacto individual de cada cientista. Assim, o próximo passo lógico nessa evolução foi contar quantas citações ao todo cada cientista já recebeu pelo total de suas publicações. Por essa lógica, quanto mais citado é um cientista, melhor ele deve ser. Porém, esse índice também não é completamente satisfatório, porque não leva em conta a distribuição das citações. Pode ser que 90% das citações de um cientista venham de um único artigo que ele publicou, sendo que seus outros artigos todos quase não tiveram impacto algum. Pode ser também que esse cientista hipotético tenha mais citações do que um outro, apesar de esse outro ter um número maior de artigos bem citados. A saída foi pensar num índice que contemplasse também essa heterogeneidade. Então chegou-se ao índice H. Ele é medido ranqueando-se todos os artigos de um cientista em ordem decrescente de acordo com seu número de citações. Estando todos ranqueados, o H é igual ao número em que o ranking do artigo é igual ao seu número de citações. Por exemplo, um cientista com H = 5 tem cinco publicações que receberam 5 ou mais citações. Agora sim, parecia que tínhamos chegado a uma medida mais precisa e fácil de se usar.

Mas nem tudo são flores… A primeira pegadinha na história do índice H é que ele só pode ser medido dentro de uma mesma base de dados, para que os valores sejam comparáveis entre cientistas. Até poucos anos, só tínhamos a base de dados WoS para fazer esse tipo de avaliação cienciométrica. E ela contém só uma amostra das revistas científicas existentes no mundo. Logo, as citações feitas em revistas não monitoradas são simplesmente ignoradas. Como a Thomson Scientific é uma empresa privada, ela define seus próprios critérios de inclusão de revistas e cobra um preço bem alto pelo acesso aos dados. Daí surgem diversos problemas políticos e práticos. Atualmente há concorrentes, tanto privados como públicos, como o Scopus e o Scielo. Mas o WoS continua sendo a principal base de dados usada por cientistas do mundo todo. Independente da acurácia do H no que diz respeito à citabilidade do cientista, a avaliação da qualidade ainda peca por não ser capaz de considerar aspectos qualitativos. Por exemplo, mesmo que 90% das citações se concentrem em um único trabalho do cientista, quem falaria alguma coisa contra ele, caso esse trabalho fosse a Origem das Espécies ou a Teoria Geral da Relatividade, por exemplo? Porém, como já dito, avaliar decentemente a qualidade fica cada vez mais difícil num sistema saturado.

Há ainda outro problema. A citabilidade, mesmo que medida acuradamente, também tem seu lado mau: trabalhos que realmente inovam, indo radicalmente contra a maré, dificilmente são aceitos para publicação nas melhores revistas e, muito menos, são citados nos primeiros anos. É bom lembrar que esses índices cienciométricos costumam ser medidos apenas para os últimos 3 ou 5 anos. Sujeitos como o Darwin, o Mendel e o Hennig mudaram a Biologia, porém nunca se sairiam bem nas avaliações cienciométricas modernas (não eram cientistas com H maiúsculo, de acordo com esse índice). No caso de muitos países em desenvolvimento, como o Brasil, a arte da cienciometria comparada tem ainda outro problema mais grave. A grande maioria dos cientistas básicos trabalha como professor universitário nesses países. E suas atribuições, obviamente, não envolvem só pesquisa, mas também formação de novos cientistas (orientação), ensino (graduação e pós), administração (cargos de chefia e coordenação de projetos) e extensão (divulgação científica, treinamento e consultoria educacional). Isso, desde o início da carreira. Desta maneira, como podemos ranquear os professores universitários por sua qualidade, tomando como critério apenas índices relacionados ao seu lado cientista, como IF médio, H ou similares?

Na minha opinião, isso é injusto, pois deveríamos considerar, ao menos, duas ou mais de suas facetas profissionais. É comum observarmos que alguns professores fazem ótimas pesquisas, mas dão péssimas aulas. Ou vice-versa. Outros são ótimos para captar recursos para o departamento, mas não produzem boa ciência, nem dão boas aulas. E há aqueles que são bons cientistas e bons professores, mas que não se comunicam bem com o público leigo, contribuindo para o estereótipo da “torre de marfim”. Cada profissional tem essas habilidades combinadas em diferentes medidas. Creio que, para sermos justos e darmos a cada um o que ele realmente merece, poderíamos seguir duas alternativas: (1) criar índices específicos para cada faceta ou (2) criar cargos específicos para cada uma. Eu prefiro a segunda, pois acho que seria ótimo acabarmos com a figura do professor faz-tudo, criando cargos distintos dentro da universidade para professores, pesquisadores, divulgadores e administradores realmente competentes no seu ramo. E, especialmente, cargos intermediários e não-vitalícios, para estágios iniciais da carreira após o doutoramento (tenure track, etc.). Isso é comum nos EUA e na Europa, por exemplo, onde os resultados são ótimos. Nesses países, há apenas um ou dois professores faz-tudo (catedráticos) por departamento, que só chegam ao cargo após terem muita experiência profissional.

Para terminar este artigo curto que acabou ficando longo, gostaria de enfatizar mais uma coisa importante: o respeito aos mais velhos. Por causa da atual atmosfera de competição acirrada e da pressão social dela resultante, tem aumentado também a tensão entre jovens e velhos cientistas. Vejo muitos colegas da minha geração ou mais novos criticando acaloradamente os colegas mais velhos e já estabelecidos. Criticam-se principalmente sua maneira de fazer ciência e sua velocidade de produção, ignorando-se o todo de sua contribuição e a bases que ela criou. Besteira. Cada geração tem seus valores e seu modus operandi. E cada uma contribui para a ciência à sua maneira. Quem hoje chama os mais velhos de cientistas antiquados, deve se lembrar de que provavelmente também será chamado assim daqui a uma ou duas gerações, pois a principal característica da ciência é a constante mudança, inclusive nos costumes.

Related Posts Plugin for WordPress, Blogger...

Deixe uma resposta:

%d blogueiros gostam disto: