Mostrando postagens com marcador p-valor. Mostrar todas as postagens
Mostrando postagens com marcador p-valor. Mostrar todas as postagens
04 maio 2023
02 abril 2019
Significância estatística
Esta é uma discussão que interessa aos pesquisadores: há um movimento para repensar a questão da significância estatística. Em outras palavras, os famosos 5% de qualquer pesquisa. Um manifesto, com mais de 800 assinaturas chama a atenção para o uso incorreto do assunto:
Pesquisas de centenas de artigos descobriram que os resultados estatisticamente não significativos são interpretados como indicando "nenhuma diferença" ou "nenhum efeito" em cerca de metade (ver "Interpretações erradas" e Informações suplementares). (...) Concordamos e pedimos que todo o conceito de significância estatística seja abandonado. (...)
Em vez disso [proibição dos valores p], e em consonância com muitos outros ao longo das décadas, estamos pedindo uma parada no uso de valores de P de maneira convencional e dicotômica - para decidir se um resultado refuta ou apóia uma hipótese científica
Bogard critica um pouco a abordagem do artigo:
Embora eu concorde com os sentimentos do resto do artigo da Nature, tenho medo de que os ideais expressos pelos autores possam ser abusados por outros, querendo fugir das salvaguardas do rigor científico ou não compreender completamente os princípios da inferência estatística.
Segundo ele, Gellman também teria preocupações semelhantes. Bogard confessa que o assunto não é trivial, mesmo para ele:
É difícil para os Phds que passaram a vida toda fazendo essas coisas. É difícil para os profissionais que fizeram suas carreiras com isso. Isso é difícil para mim.
Uma palavra de alento no final:
O economista Noah Smith discutiu o retrocesso em relação aos valores de p há alguns anos. Ele afirmou corretamente que "se as pessoas estão fazendo ciência corretamente, esses problemas não serão importantes a longo prazo".
Pesquisas de centenas de artigos descobriram que os resultados estatisticamente não significativos são interpretados como indicando "nenhuma diferença" ou "nenhum efeito" em cerca de metade (ver "Interpretações erradas" e Informações suplementares). (...) Concordamos e pedimos que todo o conceito de significância estatística seja abandonado. (...)
Em vez disso [proibição dos valores p], e em consonância com muitos outros ao longo das décadas, estamos pedindo uma parada no uso de valores de P de maneira convencional e dicotômica - para decidir se um resultado refuta ou apóia uma hipótese científica
Bogard critica um pouco a abordagem do artigo:
Embora eu concorde com os sentimentos do resto do artigo da Nature, tenho medo de que os ideais expressos pelos autores possam ser abusados por outros, querendo fugir das salvaguardas do rigor científico ou não compreender completamente os princípios da inferência estatística.
Segundo ele, Gellman também teria preocupações semelhantes. Bogard confessa que o assunto não é trivial, mesmo para ele:
É difícil para os Phds que passaram a vida toda fazendo essas coisas. É difícil para os profissionais que fizeram suas carreiras com isso. Isso é difícil para mim.
Uma palavra de alento no final:
O economista Noah Smith discutiu o retrocesso em relação aos valores de p há alguns anos. Ele afirmou corretamente que "se as pessoas estão fazendo ciência corretamente, esses problemas não serão importantes a longo prazo".
05 novembro 2017
19 outubro 2017
A questão do p-valor na pesquisa científica
Geralmente as pesquisa científicas trabalham com o p-valor. Geralmente trabalhamos com um p-valor de 5%. Entretanto, recentemente, muitas críticas estão sendo dirigidas para esta estatística. Alguns periódicos estão simplesmente proibindo de usar o termo. E muitas pesquisas, quando replicadas, estão apresentando um p-valor acima de 5%, o que "não confirma" a conclusão dos trabalhos publicados.
Muitas sugestões tentam resolver este problema através de testes mais rigorosos e replicação das pesquisas. Outra solução seria mexer no p-valor usado tradicionalmente, de 5%:
Essa inconsistência é típica de muitos estudos científicos. É particularmente comum para p-valor em torno de 0,05 . Isso explica por que uma proporção tão alta de resultados estatisticamente significativos não se replicam.
Em setembro, meus colegas e eu propusemos uma nova idéia: Somente os valores de P inferiores a 0,005 devem ser considerados estatisticamente significativos. Os valores de P entre 0,005 e 0,05 devem ser chamados de sugestivos.
Em nossa proposta, resultados estatisticamente significativos são mais propensos a replicar, mesmo depois de explicar as pequenas probabilidades anteriores que geralmente pertencem a estudos nas ciências sociais, biológicas e médicas.
Além disso, pensamos que a significância estatística não deve servir como um limite de linha brilhante para publicação. Os resultados estatisticamente sugestivos - ou mesmo os resultados que são em grande parte inconclusivos - também podem ser publicados, com base em se eles relataram ou não importantes evidências preliminares sobre a possibilidade de que uma nova teoria possa ser verdadeira.
A base da ideia dos autores é o Teorema de Bayes.
Muitas sugestões tentam resolver este problema através de testes mais rigorosos e replicação das pesquisas. Outra solução seria mexer no p-valor usado tradicionalmente, de 5%:
Essa inconsistência é típica de muitos estudos científicos. É particularmente comum para p-valor em torno de 0,05 . Isso explica por que uma proporção tão alta de resultados estatisticamente significativos não se replicam.
Em setembro, meus colegas e eu propusemos uma nova idéia: Somente os valores de P inferiores a 0,005 devem ser considerados estatisticamente significativos. Os valores de P entre 0,005 e 0,05 devem ser chamados de sugestivos.
Em nossa proposta, resultados estatisticamente significativos são mais propensos a replicar, mesmo depois de explicar as pequenas probabilidades anteriores que geralmente pertencem a estudos nas ciências sociais, biológicas e médicas.
Além disso, pensamos que a significância estatística não deve servir como um limite de linha brilhante para publicação. Os resultados estatisticamente sugestivos - ou mesmo os resultados que são em grande parte inconclusivos - também podem ser publicados, com base em se eles relataram ou não importantes evidências preliminares sobre a possibilidade de que uma nova teoria possa ser verdadeira.
A base da ideia dos autores é o Teorema de Bayes.
Assinar:
Postagens (Atom)