Dificuldade de pesquisar em educação

Por que a pesquisa em educação é particularmente problemática? Eu tenho algumas especulações:

1 - Todos nós temos muita experiência em educação e muitas lembranças de situações em que a educação não funcionou bem. Como estudante, muitas vezes ficou claro para mim que as coisas estavam sendo ensinadas de forma errada, e como professor, muitas vezes fiquei desconfortavelmente ciente de como estava fazendo um trabalho ruim. Há muito espaço para melhorias, mesmo que nem sempre o caminho para chegar lá seja tão óbvio. Então, quando as autoridades fazem afirmações contundentes de "melhoria de 50% nas pontuações dos testes", isso não parece impossível, mesmo que devêssemos saber que é melhor não confiar cegamente nelas.

2 - As intervenções educacionais são difíceis e caras de serem testadas formalmente, mas fáceis e baratas de serem testadas informalmente. Um estudo formal requer colaboração de escolas e professores, e se a intervenção for no nível da sala de aula, requer muitas turmas e, portanto, um grande número de alunos. No entanto, informalmente, podemos ter muitas ideias e testá-las em nossas aulas. Coloque isso junto e você terá uma longa lista de ideias esperando por estudos formais.

3 - Não importa o quanto você sistematize o ensino, por meio de testes padronizados, planos de aula preparados, cursos online massivos ou qualquer outra coisa, o processo de aprendizagem ainda ocorre no nível individual, um aluno de cada vez. Isso sugere que os efeitos de quaisquer intervenções dependerão fortemente do contexto, o que por sua vez implica que o efeito médio do tratamento, seja qual for a definição, não será tão relevante para a implementação no mundo real.

4 - Continuando com o último ponto, o grande desafio da educação é a motivação dos alunos. Métodos para ensinar X geralmente podem ser enquadrados como uma mistura de Métodos para motivar os alunos a quererem aprender X e Métodos para manter os alunos motivados a praticar X com consciência. Essas coisas são possíveis, mas são desafiadoras, em parte devido à dificuldade de definir claramente a "motivação".

5 - A educação é um tópico importante, muito dinheiro é gasto nela e está enraizada no processo político.

Juntando tudo isso, temos uma bagunça que não é bem atendida pelo modelo tradicional de apertar um botão, tomar uma pílula e buscar significância estatística no campo das ciências sociais quantitativas. A pesquisa em educação está repleta de pessoas convencidas de que suas ideias são boas, com muita experiência pessoal que parece apoiar suas opiniões, mas com grande dificuldade em obter evidências empíricas sólidas, por razões explicadas nos itens 2 e 3 acima. Portanto, é compreensível como os defensores de políticas podem ficar frustrados e exagerar as evidências a favor de suas posições.

Traduzido, via GPT, daqui. Foto: Aaron Burden

Veja que basicamente temos um problema de isenção (do professor, do político e assim por diante) e da generalização - tomar um caso de sucesso como geral para toda educação. 

Efeito de desastres naturais na aversão ao risco

Usualmente, as pessoas são avessas ao risco em decisões financeiras. Mas quando um grande desastre natural ocorre, será que esse comportamento é afetado? Foi realizada uma pesquisa com sobreviventes do tsunami de 2004 no Oceano Índico. Nesse tipo de pesquisa, opções de escolha de fluxos de caixa imaginários são dadas ao entrevistado e eles devem escolher entre "mais vale um pássaro na mão do que dois voando" (abaixo). Cinco anos após o desastre, as pessoas fizeram sua escolha, e foi comparada com outras pessoas que não estiveram expostas ao desastre natural.

A pesquisa descobriu que um desastre natural afeta a aversão ou propensão ao risco das pessoas. Mas um aspecto interessante é que esse efeito não é permanente. Pelo contrário, ele tem uma duração relativamente curta. Na pesquisa realizada, um ano depois já não existem diferenças na disposição de assumir riscos entre os grupos estudados. Mas logo após o desastre natural ocorreu uma mudança com relação ao risco dos sobreviventes. Algo como uma "síndrome de super-herói" contaminou esse grupo de pessoas, fazendo com que assumissem um risco financeiro maior. No curto prazo, é verdade.

Essa pesquisa talvez seja um contraponto interessante para aqueles que consideram que eventos como desastres naturais terão efeitos de longo prazo sobre as pessoas. Parece não ser verdadeiro, e isso está coerente com pesquisas realizadas, por exemplo, para saber se fatos de elevado impacto na vida das pessoas - como a morte de um parente próximo ou ganhar na loteria esportiva - continuarão tendo influência por muitos anos. Tudo leva a crer que não. Da mesma forma, a atitude das pessoas pode sofrer mudanças no curto prazo, mas isso não irá perdurar. 

JAR e um artigo sob suspeita

Um periódico como o Journal of Accounting Research - um dos melhores da nossa área - publicou um artigo que está sendo objeto de contestação. O artigo lida com fraude na contabilidade, um assunto relevante. Usando machine learning os autores conseguiram aumentar a taxa de detecção em relação a regressão logística. O problema é que um texto no EcoWatchJournal descobriu falhas no processo. Eis o resumo:

This critique examines the results of an article that applies machine learning to the detection of accounting fraud, published in Journal of Accounting Research. Their key finding is that machine learning improved fraud detection by 70 percent above a previously published logistic regression. The authors make their data and Matlab code available at Github. Using their files, I replicate their study. Upon closer inspection, we see that some fraudulent firms were contained in both the training and test samples, which improves the results of their model, but contradicts what was described in the published paper. I asked the authors about this issue and gratefully received a response. The response is quoted in the present critique. Getting a proper assessment of the potential of machine learning is important, as such techniques and models are relied upon by industry practitioners and regulators, including the Securities and Exchange Commission.

Veja que o problema é sério. Os autores usaram as mesmas empresas na amostra de teste e na amostra de treinamento. Isto é um erro, já que melhora os resultados. 

Em agosto de 2022 os autores publicaram uma errata do artigo. Mas a crítica persistiu no próprio Econ Watch Journal:

This paper treats an erratum published in Journal of Accounting Research (JAR) in August 2022. The erratum was prompted by two critical comments authored by me and published in Econ Journal Watch. The erratum mischaracterizes its authors’ previous research related to the preferred test sample period. More importantly, the authors say that I identified an error in their program code. This is false. Rather, I identified a misidentification within the dataset, a misidentification that was disclosed neither in their original JAR article, nor in the program code appended to that article, nor in their Econ Journal Watch reply to my first comment. Finally, the erratum never addresses why the misidentification occurred, nor why they did not acknowledge the misidentification on the two prior opportunities to do so. I have asked for an investigation at the Journal of Accounting Research into academic research misconduct.

A errata tenta confundir a crítica feita, já que não foi um problema no código, mas o uso da base de dados. Veja que no final, Walker, que levantou a polêmica sugere que é um caso para investigação de má conduta científica. 

via aqui

História usando jornais

Este blog já postou vários textos usando os jornais, especialmente brasileiros e digitalizados da hemeroteca da Biblioteca Nacional. Muitos dos textos são reveladores sobre a história da contabilidade. Agora um texto do NBER discute sobre o uso desta base de dados. Apesar da ferramente ser valiosa, o texto reconhece algumas limitações. 

Eis o abstract:

Digitized historical newspaper databases offer a valuable research tool. A rapidly expanding set of studies use these databases to address a wide range of topics. We review this literature and provide a toolkit for researchers interested in working with historical newspaper data. We provide a brief description of the evolution of historical newspapers, focusing on aspects that are likely to have implications for the design of empirical studies. We then review the main databases in use. We also discuss some key challenges in using these data, most importantly the fact that even the most extensive datasets contain only a selected sample of the universe of historical newspaper articles. We offer tools for evaluating the comprehensiveness of available newspaper datasets, show how to assess potential identification concerns, and suggest some solutions.

Há uma grande variedade de fontes citadas no texto como o British Newspaper Archive, entre outros e a quantidade de cada biblioteca encontra-se a seguir:

O fluxo a seguir mostra como o resultado da pesquisa histórica em jornais pode ser enviesado

"Precisamos de mais estudos"

Eis a frase típica das conclusões de um artigo acadêmico. Faz sentido? Vamos para o Ciência Picareta, livro de Ben Goldacre:

um fato pouco conhecido é que essa frase ["há necessidade de mais pesquisas"] foi banida do British Medical Journal por muitos anos, pois não acrescenta nada; você pode dizer qual pesquisa falta ser feita, com quem, como, medindo o que e por que você deseja fazê-la, mas a afirmação superficial e aberta da necessidade de mais pesquisas é inútil e sem significado. 

Foto: Janko Ferlič

Pesquisa em Contábeis durante a pandemia

 

O objetivo deste estudo foi verificar como a pandemia de COVID-19 e o isolamento social afetaram as pesquisas científicas desenvolvidas pelos docentes dos cursos de Ciências Contábeis da Universidade Estadual do Paraná (UNESPAR). Justifica-se a realização deste estudo pela necessidade de compreender o impacto da pandemia de Covid-19 sobre a produção científica dos docentes. A metodologia utilizada tem natureza qualitativa e exploratória, e a obtenção dos dados foram por meio de formulários eletrônicos. Os dados foram compilados em planilhas eletrônicas (Excel) e analisados com a utilização da técnica descritiva. Os resultados apontaram que parte dos docentes perceberam facilidades decorrentes do isolamento social, principalmente, em melhor aproveitar o tempo dedicado às pesquisas. Em contrapartida, para a maioria dos docentes houve implicações negativas, principalmente, aquelas decorrentes das tensões causadas pelo isolamento e da necessidade de conciliar conjuntamente, afazeres domésticos e trabalho. Concluiu-se que não houve diminuição das produções científicas em ciências contábeis, mas sim alguns atrasos e/ou prorrogações, além das adequações metodológicas para que pudessem prosseguir com o desenvolvimento de suas pesquisas. Contudo, algumas pesquisas tiveram que ser interrompidas devido a impossibilidade de pesquisa de campo.

LISBOA, J. A.; SANTOS, E. P. dos; TIERLING, I. M. B. M.; PAVÃO, J. A.. As pesquisas em contabilidade foram afetadas pela pandemia de COVID-19? Percepções dos docentes pesquisadores. CONTABILOMETRIA - Brazilian Journal of Quantitative Methods Applied to Accounting, Monte Carmelo, v. 10, n. 1, p. 97-112, jan.-jun./2023.

A pesquisa está restrita a uma universidade e somente 19 docentes responderam, mas as conclusões parecem válidas. A data do período, de 2023, é esta mesma.

Pesquisa aberta

 

O gráfico mostra a pesquisa na área de economia. Desde 2005 as pesquisas estão mais transparentes, com compartilhamento dos dados e das linhas de código e até mesmo o registro anterior das hipóteses de pesquisa. Isto é bom, pois garante uma maior qualidade. 

Esta é uma prática que alguns pesquisadores/periódicos estão adotando no país na nossa área. 

Pesquisa científica e gênero

Análise realizada no passado constatou que pesquisas onde o primeiro autor é uma mulher tem menos citações que pesquisas com um primeiro autor do gênero masculino. Mas depois de analisar 27 mil publicações da Noruega, duas pesquisadoras chegaram a uma constatação interessante (via aqui):

Pesquisadores do sexo masculino costumam valorizar e se envolver em pesquisas principalmente voltadas para o progresso científico. Eles são mais citados na literatura científica. 

Pesquisadoras do sexo feminino mais frequentemente valorizam e se envolvem em pesquisas que também visam o progresso da sociedade. Eles ganham mais interesse entre os leitores.

Foto: Jack Mackrill

Jargão

Muitas vezes, na discussão em torno da comunicação acadêmica, vemos pedidos para os autores escreverem em linguagem mais clara e minimizarem o uso de jargões. Embora eu entenda a motivação por trás disso, querendo que não especialistas sejam capazes de entender a pesquisa, para mim ela trabalha contra o principal objetivo do trabalho de pesquisa publicado - servir como uma conversa de alto nível entre especialistas. Um trabalho de pesquisa deve assumir algum nível de conhecimento prévio; caso contrário, por exemplo, um biólogo molecular teria que iniciar cada artigo com uma explicação da estrutura do DNA e transformar cada relatório de pesquisa em um livro didático. 

Explicar seus resultados de uma maneira bastante simples que qualquer pessoa que não seja versada em campo é uma coisa muito boa para poder fazer, mas não é uma habilidade fácil de entender (é por isso que valorizamos tanto os comunicadores científicos eficazes como Carl Sagan ou Neil DeGrasse Tyson). E, como na maioria das sugestões sobre como mudar a maneira como a pesquisa é relatada, é melhor pensar em termos de coisas novas serem aditivas, em vez de substituídas. Pode-se adicionar um "resumo do leigo" a um artigo sem denegrir o valor que o documento oferece ao especialista?

Independentemente disso, um amigo enviou recentemente o glorioso vídeo cheio de jargões abaixo. Não tenho ideia do que ele está vendendo, mas parece ótimo!  

 (Fonte: aqui)

Concentração de citações

Uma análise de mais de 26 milhões de estudos científicos publicados por mais de 4 milhões de pesquisadores entre 2000 e 2015 descobriu que, em 2015, os 1% dos autores mais citados representavam 21% de todas as citações. 

  Essa desigualdade de citações tornou-se mais extrema com o tempo, e a participação de cientistas nos Estados Unidos nas citações está caindo. 

 (...) Nielsen e Andersen também encontraram uma diminuição na participação de citações dadas a artigos de autoria dos Estados Unidos e um aumento nas citações de artigos de autoria da Europa Ocidental e Australásia. As maiores concentrações de pesquisadores de 'elite de citações' estavam na Holanda, Reino Unido, Suíça e Bélgica.

Um problema da pesquisa é que os autores só levaram em consideração os pesquisadores que tinham mais de cinco publicações na base de dados. Mas esta limitação é compreensível, já que a qualidade dos dados pode piorar. 

Ciência e Big Tech

Do New York Times um texto sobre os esforços que as grandes empresas de tecnologia estão fazendo para restringir os reguladores europeus. A Europa tem discutido normas contrárias aos interesses destas empresas e a reação foi um grande volume de dinheiro em lobistas. O jornal comenta de um documento com planos detalhados do Google (empresa dona do Blogger, que hospeda este site) contra as normas de publicidade digital. Um ponto de chamou a atenção:

“Aliados acadêmicos” levantariam questões sobre as novas regras. O Google tentaria reduzir o apoio da Comissão Europeia para complicar o processo de formulação de políticas. 

O que seria os aliados acadêmicos? São pesquisadores que conduziriam seus projetos com o patrocínio destas empresas:

Na Europa, as empresas estão gastando mais do que nunca, contratando ex-funcionários do governo, escritórios de advocacia e consultorias bem relacionados. Eles financiaram dezenas de think tanks e associações comerciais, investiram em posições acadêmicas nas principais universidades do continente e ajudaram a publicar pesquisas amigáveis ​​à indústria por outras empresas.

Estas empresas seriam Apple, Amazon, Google e Facebook. 

Em outubro, o Centro Europeu de Economia Política Internacional publicou um relatório que dizia que os novos regulamentos de tecnologia custariam à economia europeia dois milhões de empregos e € 85 bilhões em perda de produto interno bruto. O Centro Europeu de Economia Política Internacional é um dos pelo menos 36 grupos comerciais, associações e grupos de reflexão que o Google financia, de acordo com o Corporate Europe Observatory.

“As pessoas sempre reivindicarão sua independência política, acadêmica ou intelectual - elas rejeitariam que foram influenciadas”, disse Marietje Schaake, ex-membro do Parlamento Europeu que agora leciona na Universidade de Stanford. “Mas a questão então é: por que as empresas estão gastando tanto dinheiro em Bruxelas?”

Outro exemplo:

Paul Hofheinz, um ex-repórter do Wall Street Journal que co-fundou o Lisbon Council, um grupo de pesquisa em Bruxelas que tem enfrentado críticas de grupos de vigilância por aceitar dinheiro do Google, disse que ter parceiros corporativos garantiu que a pesquisa fosse mais completa.

“Nossas opiniões são independentes. Ponto final ”, disse Hofheinz por e-mail. “Não sei por que essas organizações em campanha pensam que somos idiotas que não conseguem raciocinar sozinhos. Há algo muito insultuoso nessa ideia. E muito errado.”

Rir é o melhor remédio

 Afinal, qual a sua pesquisa?

Estudo controverso sobre Covid-19

Já fizemos diversas postagens sobre retratação em pesquisa científica. Recentemente até na área contábil, no prestigioso The Accounting Review. Isto é algo comum na pesquisa científica. Mas o caso da The Lancet parece bastante grave.

Este periódico foi criado há quase duzentos anos (foto ao lado) e tem publicado pesquisas na área médica. Este periódico já fez besteira no passado, sendo que o estudo ligando o autismo com vacina foi talvez seu pior erro.

No dia 22 de maio, o The Lancet publicou um artigo sobre a Hidroxicloroquina e o tratamento do Covid-19. O artigo fez um revisão de quase cem mil pacientes de 671 hospitais, entre final de dezembro e abril. Com base neste artigo, a OMS decidiu interromper os estudos sobre o uso deste medicamento.

Quatro dias depois da publicação, pesquisadores australianos descobriram um erro nas mortes registradas no país. Doi dias depois, 180 pesquisadores de vários países escreveram ao editor sobre o artigo. No dia seguinte, o The Lancet publicou uma revisão com correções, sem alterar os resultados. Ontem, o The Lancet publicou uma “preocupação” sobre o trabalho e afirmou que fará uma auditoria sobre o mesmo. A própria OMS reviu sua posição sobre o tema. O artigo está sendo colocado em dúvida pela comunidade.

Há muitos indícios os dados usados são de baixa qualidade (ou foram inventados). Há problemas de análise estatística dos dados.

(Grato Alexandre Alcântara que chamou a atenção para o tema)

(A contabilidade pode aprender muito com casos como este; afinal, trata-se de uma fraude e isto é de nosso interesse)

Menos pesquisas

O gráfico mostra que o número de pesquisas com mulheres que foram submetidas diminuiu com a pandemia. Culpa da jornada de trabalho em casa?

Pesquisa científica sobre o Covid-19

No domingo encerrou o prazo para submissão de um breve artigo para o Congresso da USP de 2020. O prazo para submissão dos artigos regulares já tinha terminado, mas a organização do congresso resolveu abrir um prazo adicional para submissão, desde que o tema fosse Covid-19 e, naturalmente, a contabilidade.

Creio que diversos pesquisadores submeteram suas pesquisas. E o pequeno círculo com quem conversei, parece que vários deles reclamaram do número de caracteres, reduzido demais para a pesquisa que estava sendo feita.

O interesse pela pesquisa sobre o Covid é comum a toda ciência. Nós postamos aqui que o NBER está publicando muita pesquisa sobre o assunto, um mês depois do Covid ser considerado uma pandemia. E note que esta entidade preocupa com a pesquisa econômica.

Um texto do Nada es Grátis mostra que o efeito contágio do Covid na pesquisa. Usando dados do Scholar, mais de 50 mil artigos sobre o tema foram publicados este ano. Uma base mais restrita, o Web of Science, tem 12 mil artigos. O volume de artigos cresce 21,7% por semana. Ou, a cada 25 dias, o número de artigos é multiplicado por dois.

Boa parte dos artigos possuem como procedência os países que são produtores de ciência nos dias atuais. Mas há um claro destaque para os países que sofreram "na pele" o efeito da doença. No caso dos artigos do Web of Science, a ordem procedência é: Estados Unidos, China, Inglaterra, Itália, Índia, Canadá, Alemanha, Austrália, Irã e Suíça.

Apesar do tema ser tipicamente de saúde, muitas áreas estão pesquisado sobre o assunto. Depois da tecnologia e ciências da vida, as ciências sociais possuem o maior número de pesquisas publicadas. Certamente há controvérsias se ainda é possível publicar boas pesquisas sobre o tema: a amostra certamente é enviesada e os dados ficam defasados rapidamente são duas das dificuldades. Mesmo assim é impressionante saber que 2 mil artigos já foram depositados no SSRN e já temos um periódico sobre o Covid e a Economia.

Este esforço traz dois problemas. O primeiro é a dificuldade de separar os avanços de uma pesquisa das demais. Ninguém consegue ler tanto artigo sobre o tema. E provavelmente muitos deles podem ser "esquecidos", quando representam um avanço, em detrimento de outros, que não seriam pesquisas sérias. Uso de inteligência artificial pode ajudar aqui, mas não resolve o problema.

O segundo aspecto é o custo de oportunidade. O foco da ciência agora é o Covid. Outras frentes de pesquisas relevantes, com malária e câncer, perderam seu status. O Nada es Grátis mostra que o número de publicações no Web of Science sobre malária diminuiu 36%, embora o número de mortos anuais desta doença seja de 405 mil (versus 300 mil do Covid. Ok, esta comparação é inadequada, mas destaca o argumento que não é possível deixar de lado a pesquisa sobre malária). A pesquisa sobre câncer caiu 21%.

Concurso CAF de ensaios universitários: ideias para o futuro

O CAF — banco de desenvolvimento da América Latina — abriu as inscrições para o concurso de ensaios universitários "Ideias para o futuro", que tem como objetivo reunir a visão dos jovens universitários sobre os desafios para o desenvolvimento da América Latina e o Caribe.

O concurso premiará o melhor ensaio em âmbito nacional para, posteriormente, escolher os três melhores ensaios ao nível ibero-americano. Os ganhadores ao nível ibero-americano apresentarão seus ensaios na Conferência CAF, que será realizada na Cidade do México em novembro de 2020, e poderão receber os seguintes prêmios:

Prêmio Guillermo Perry: USD 3.000 (três mil dólares dos Estados Unidos).
Segundo colocado: USD 2.000 (dois mil dólares dos Estados Unidos).
Terceiro colocado: USD 1.000 (mil dólares dos Estados Unidos).

Temática:
A temática dos ensaios deve ser centrada nos desafios de desenvolvimento enfrentados pela América Latina e o Caribe. Seguem algumas perguntas que servem de orientação para elaborar os ensaios:

• Como podemos preparar nossos países para combater e recuperar-se, com maior rapidez, diante de crises sociais, econômicas ou de saúde?
• Como os países da América Latina e do Caribe podem evitar cair na armadilha da renda média?
• Como equilibrar a agenda social com a estabilidade econômica?
• Como estabelecer mecanismos adequados para a expressão do descontentamento social?
• Quais são as áreas mais urgentes para acelerar o desenvolvimento da América Latina?
• Como conseguir que as PME latino-americanas sejam mais competitivas e ofereçam emprego de melhor qualidade?

Critérios para participação:

• Idade entre os 18 e 29 anos (nascidos estritamente entre 31 de dezembro de 1990 e 1º de janeiro de 2002).
• Jovens estudantes universitários de graduação e pós-graduação de qualquer disciplina, inscritos em uma universidade de qualquer dos 19 países da CAF, com comprovante de matrícula (comprovante de aluno regular ou equivalente).
• Não poderão participar desta convocação funcionários, estagiários, consultores, ex-funcionários e ex-consultores, seja da CAF ou dos Bancos Centrais, nem familiares de até segundo grau de consanguinidade dos funcionários da CAF e dos Bancos Centrais.
• Os autores deverão apresentar, no máximo, um ensaio. A participação é estritamente individual.
• Os participantes deverão enviar seus ensaios pela página caf.com/pt, preenchendo todos os campos expressamente declarados obrigatórios.

Fonte: http://ideasparaelfuturo.caf.com/pt, enviado por Jaqueline Sales, a quem agradecemos.

Pedido de desculpas

Depois de analisar um artigo elaborado por pesquisadores de Stanford, Gellman (induzido por Rushton) foi duro:

Eu acho que os autores do artigo acima devem um pedido de desculpas. Perdemos tempo e esforço discutindo este artigo, cujo principal ponto de venda eram alguns números que eram essencialmente o produto de um erro estatístico.

Estou falando sério sobre o pedido de desculpas. Todo mundo comete erros. Eu não acho que os autores precisam se desculpar só porque estragaram tudo. Eu acho que eles precisam se desculpar, porque essas eram bobagens evitáveis . Eles são o tipo de confusão que acontecem se você quiser sair com uma descoberta empolgante e não prestar muita atenção no que pode ter feito de errado. (...)

Os autores deste artigo dedicam muito trabalho porque se preocupam com a saúde pública e desejam contribuir para uma tomada de decisão útil. O estudo obteve atenção e credibilidade em parte por causa da reputação de Stanford. É justo: Stanford é uma ótima instituição. Coisas incríveis são feitas em Stanford. Mas Stanford também pagou um pequeno preço pela divulgação deste trabalho, porque as pessoas vão se lembrar de que "o estudo de Stanford" foi elogiado, mas teve problemas. Portanto, há um custo aqui. O próximo estudo de Stanford terá um pouco menos desse banco de credibilidade para emprestar. Se eu fosse professor de Stanford, ficaria meio irritado. Então, acho que os autores do estudo devem um pedido de desculpas não apenas a nós, mas a Stanford.


Caramba. Foi pesado.

Retratações

O RetractionWatch é um site especializado em monitorar as retratações na pesquisa científica. É um trabalho notável e já usamos algumas das notícias do site aqui no blog (aqui, aqui e aqui). Ao fazer um levantamento de 2019, o site computou mais de mil retratações. Na verdade, mais de 1.433 (até meados de dezembro).

O site também fez uma lista de dez casos interessantes, que foi publicado na The Scientist. Entre eles selecionamos os seguintes:

a) A retratação de Eric Potts-Kant tem um valor específico: 112 milhões de dólares. O pesquisador, quando vinculado a Duke University, usou dados falsos nas suas pesquisas. E estas pesquisas foram usadas para pedir ajuda pública para a escola. O governo não gostou e cobrou da universidade.

b) O periódico Journal of Fundamental and Applied Sciences teve 434 retratações. Em maio, a Clarivante tirou o periódico do Web of Science.

c) O coreano Cho Kuk publicou em 2009 um artigo no Korean Journal of Pathology em co-autoria com sua filha, que era primeira autora.O detalhe que sua filha estava no ensino médio. Tempos depois, a filha de Cho Kuk estudou na Pusan National University, onde foi reprovada por duas vezes nos exames e recebeu 10 mil dólares de auxílio financeiro.  

d) Em 2017 dois indianos publicaram um artigo no CrystalEngComm. O artigo tinha uma grande semelhança com um manuscrito submetido em outro periódico, Dalton Transactions, onde um dos autores tinha sido parecerista.

Quando a amostra pode

Um artigo sobre o uso de denuncia por parte dos reguladores em valores mobiliários mostrou que estas denúncias terminam por gerar uma punição mais elevada para as empresas e funcionários envolvidos, além de prisões mais longas. Além disto, o processo no regulador é mais ágil. Assim, as denúncias são relevantes para a investigação de fraudes financeiras.

Isto foi publicado no Journal of Accounting Research, um dos melhores periódicos contábeis. Este periódico disponibilizou os dados dos autores, como é cada vez mais comum no periódicos de melhor nível.

Usando os dados, outro pesquisador, Kuvvet (2019) fez algo interessante. Como denúncias de fraudes não são eventos normais nas empresas - aparece em 20% da amostra do trabalho original - ele observou que eliminando as 11 principais empresas, ou menos de 1% da amostra, mas com maiores penalidades, o efeito obtido por Call et al no trabalho original desaparecia. Isto é bastante interessante. Kuvvet mandou sua crítica para o JAR que não publicou. Mas o argumento de Kuvvet pode ser encontrado aqui.

O assunto para este blogueiro em um comentário encaminhado à Andrew Gelman, um especialista em estatística.

Custo de Formatação de um artigo - Parte 2

Anteriormente divulgamos uma pesquisa sobre o custo de formatação de um artigo:

Uma pesquisa realizada por cientistas canadenses encontrou o tempo que se gasta para fazer este trabalho. Usando mais de 300 respondentes, o pesquisadores descobriram o tempo por artigo submetido e a quantidade de artigos. Além disto, solicitaram o valor da renda anual. Considerando uma carga de trabalho anual de 1950 horas, a pesquisa obteve que o custo anual de formatação de artigos é de ...1.908 dólares. Por artigo, o custo seria perto de 500 dólares ou 477 dólares.

Outra pesquisa (via aqui) mostra que o custo de reformatação de um artigo é de 1,1 bilhão de US$ por ano. Para isto, os autores usaram 203 autores e multiplicaram o número de horas pelo salário/hora e o número de submissões. Isto inclui alteração dos resumos, das figuras, contagem de palavras, inserção de dados, entre outros. Um outro problema é que a reformatação também atrasa a publicação do artigo - de três meses ou mais, em 1/5 dos artigos e um atraso de um a três meses em mais de 1/3 dos artigos.

E muitos artigos são rejeitados. Assim, a formatação não "agrega valor". E qual o benefício disto? Veja que isto também se aplica aos congressos.