24 julho 2019
Qualis novo
Uma discussão para quem está envolvido em pesquisa (e ensino) foi a mudança no Qualis. O que significa isto? Como isto pode afetar a pesquisa contábil? São perguntas interessantes para serem respondidas.
Tudo começou no início dos anos 2000. Com o crescimento da pós-graduação, o governo entendeu que deveria continuar avaliando os cursos de pós-graduação. Em muitos países, isto é uma tarefa de empresas, mas no Brasil, o governo optou por construir uma avaliação para ajudá-lo na concessão de bolsas de estudos, na destinação de verbas e na autorização de funcionamento dos cursos. Um dos grandes problemas deste processo é como avaliar um curso. Muitas vezes os efeitos da educação só serão notados muitos anos depois. Para resolver isto, a avaliação da pós-graduação utiliza os resultados obtidos pelos cursos. Como geralmente estes resultados são publicados em periódicos ou congressos, esta seria uma escolha natural. A questão era como diferenciar uma pesquisa de boa qualidade de outra de baixa qualidade. Sabendo que as melhores pesquisas são publicadas sob forma de artigos em periódicos de boa fama, o governo estabeleceu que este seria o parâmetro.
No exterior, a qualidade geralmente é medida por uma variável chamada Fator de Impacto. Quando um artigo é muito citado, isto poderia indicar que a pesquisa teve uma influencia e foi importante para a sociedade. Por uma série de razões, há quase vinte anos o governo brasileiro decidiu não usar o Fator de Impacto. Quais eram estas razões? São várias as respostas: muitas áreas não publicavam regularmente, não publicavam em um idioma que fosse relevante em termos de ciência (inglês, geralmente) ou não tinham uma tradição de pesquisa. Para suprir o Fator de Impacto, o governo federal criou uma listagem de periódicos com uma classificação respectiva. No início, um especialista olhava a listagem, consultava alguns colegas e com base no seu conhecimento decidia qual nota dar para cada periódico. O processo era realmente rudimentar, mas com o tempo foi melhorando. Os editores de periódicos passaram a ter uma listagem de tarefas que conduzia uma melhoria na classificação: cadastro em algumas bases, publicação em língua estrangeira, corpo editorial de renome etc.
Existia um grau elevado de subjetividade no processo. Mas dois problemas eram notórios. O primeiro era que cada área da Capes tinha sua análise. Por exemplo, a revista Espacios, originária da Venezuela, era considerada de boa qualidade pela área de Educação e na área de História, recebendo a nota B1, a terceira maior nota de um total de oito. Mas em muitas áreas este periódico tinha nota C, a pior de todas. Além desta incoerência, cada área tinha seu critério de análise. A área de Administração Pública e de Empresas, Ciências Contábeis e Turismo tinha uma regrinha interessante: se alguém publicasse em periódico de outra área, a nota da outra área seria válida, menos um grau. Se um pesquisador de contabilidade publicasse uma pesquisa no Advances in Quantum Chemistry, que possui a classificação B3 na área de Astronomia e Física, o artigo seria considerado como equivalente a um B4, um degrau abaixo do B3. Isto fez com que a área de Administração Pública e de Empresas, Ciências Contábeis e Turismo classificasse um artigo publicado na Science, talvez o periódico de maior prestígio em termos mundiais, como sendo A2. O que é um absurdo.
Além disto, em algumas áreas existia um grande número de periódicos de “alta qualidade” (A1, A2 e B1) e em outras este número era menor. Não tínhamos uma distribuição igualitária. Na área Administração Pública e de Empresas, Ciências Contábeis e Turismo eram 323 periódicos A1, mas 427 na classe B2.
O “novo” Qualis resolveu estes dois problemas. Em primeiro lugar, a avaliação de um periódico será a mesma para qualquer área. Afinal, uma boa ciência é sempre boa independente do assunto tratado. Assim, a publicação na Science será sempre A1 (espera-se). Em segundo lugar, o número de periódicos em cada classe será o mesmo. Aqui temos uma consequência interessante: se um periódico melhorar de qualidade, deve também melhorar sua nota. Mas isto irá fazer com que um periódico melhor classificado seja rebaixado.
Como isto pode afetar a pesquisa contábil? Acredito que o novo Qualis irá fortalecer alguns periódicos, mas penalizar outros. Existe hoje uma tendência de cada IFES, cada programa de pós, ter o "seu" periódico. Isto não faz muito sentido nos dias atuais. Provavelmente os periódicos que possuem o patrocínio de mais de uma entidade sairão fortalecidos.
Tudo começou no início dos anos 2000. Com o crescimento da pós-graduação, o governo entendeu que deveria continuar avaliando os cursos de pós-graduação. Em muitos países, isto é uma tarefa de empresas, mas no Brasil, o governo optou por construir uma avaliação para ajudá-lo na concessão de bolsas de estudos, na destinação de verbas e na autorização de funcionamento dos cursos. Um dos grandes problemas deste processo é como avaliar um curso. Muitas vezes os efeitos da educação só serão notados muitos anos depois. Para resolver isto, a avaliação da pós-graduação utiliza os resultados obtidos pelos cursos. Como geralmente estes resultados são publicados em periódicos ou congressos, esta seria uma escolha natural. A questão era como diferenciar uma pesquisa de boa qualidade de outra de baixa qualidade. Sabendo que as melhores pesquisas são publicadas sob forma de artigos em periódicos de boa fama, o governo estabeleceu que este seria o parâmetro.
No exterior, a qualidade geralmente é medida por uma variável chamada Fator de Impacto. Quando um artigo é muito citado, isto poderia indicar que a pesquisa teve uma influencia e foi importante para a sociedade. Por uma série de razões, há quase vinte anos o governo brasileiro decidiu não usar o Fator de Impacto. Quais eram estas razões? São várias as respostas: muitas áreas não publicavam regularmente, não publicavam em um idioma que fosse relevante em termos de ciência (inglês, geralmente) ou não tinham uma tradição de pesquisa. Para suprir o Fator de Impacto, o governo federal criou uma listagem de periódicos com uma classificação respectiva. No início, um especialista olhava a listagem, consultava alguns colegas e com base no seu conhecimento decidia qual nota dar para cada periódico. O processo era realmente rudimentar, mas com o tempo foi melhorando. Os editores de periódicos passaram a ter uma listagem de tarefas que conduzia uma melhoria na classificação: cadastro em algumas bases, publicação em língua estrangeira, corpo editorial de renome etc.
Existia um grau elevado de subjetividade no processo. Mas dois problemas eram notórios. O primeiro era que cada área da Capes tinha sua análise. Por exemplo, a revista Espacios, originária da Venezuela, era considerada de boa qualidade pela área de Educação e na área de História, recebendo a nota B1, a terceira maior nota de um total de oito. Mas em muitas áreas este periódico tinha nota C, a pior de todas. Além desta incoerência, cada área tinha seu critério de análise. A área de Administração Pública e de Empresas, Ciências Contábeis e Turismo tinha uma regrinha interessante: se alguém publicasse em periódico de outra área, a nota da outra área seria válida, menos um grau. Se um pesquisador de contabilidade publicasse uma pesquisa no Advances in Quantum Chemistry, que possui a classificação B3 na área de Astronomia e Física, o artigo seria considerado como equivalente a um B4, um degrau abaixo do B3. Isto fez com que a área de Administração Pública e de Empresas, Ciências Contábeis e Turismo classificasse um artigo publicado na Science, talvez o periódico de maior prestígio em termos mundiais, como sendo A2. O que é um absurdo.
Além disto, em algumas áreas existia um grande número de periódicos de “alta qualidade” (A1, A2 e B1) e em outras este número era menor. Não tínhamos uma distribuição igualitária. Na área Administração Pública e de Empresas, Ciências Contábeis e Turismo eram 323 periódicos A1, mas 427 na classe B2.
O “novo” Qualis resolveu estes dois problemas. Em primeiro lugar, a avaliação de um periódico será a mesma para qualquer área. Afinal, uma boa ciência é sempre boa independente do assunto tratado. Assim, a publicação na Science será sempre A1 (espera-se). Em segundo lugar, o número de periódicos em cada classe será o mesmo. Aqui temos uma consequência interessante: se um periódico melhorar de qualidade, deve também melhorar sua nota. Mas isto irá fazer com que um periódico melhor classificado seja rebaixado.
Como isto pode afetar a pesquisa contábil? Acredito que o novo Qualis irá fortalecer alguns periódicos, mas penalizar outros. Existe hoje uma tendência de cada IFES, cada programa de pós, ter o "seu" periódico. Isto não faz muito sentido nos dias atuais. Provavelmente os periódicos que possuem o patrocínio de mais de uma entidade sairão fortalecidos.
Erros Comuns na Pesquisa
Eis alguns erros comuns quando se faz uma pesquisa, adaptado daqui:
Efeito cobra - O império Britânico queria reduzir as mortes por cobra na Índia e ofereceram um incentivo financeiro para cada pele de cobra trazida, para motivar a caça à cobra. As pessoas começaram a criar cobra. Neste caso, um incentivo para resolver um problema criou consequências negativas.
P-Hacking (ou Data Dredging) - Testes estatísticos depende da definição prévia da hipótese. Caso contrário, haveria uma "drenagem" dos dados e mudança no que está sendo testado. Para reduzir este efeito, é importante registrar antecipadamente o que está sendo testado.
Gerrymandering - A origem do termo é manipular os distritos políticos para permitir a vitória de um partido. Na figura, na parte de cima, a simples contagem mostra a vitória das pretas; mas ao dividir os "votos" em "distritos", as verdes vencem, mesmo não tendo maioria dos votos. Na análise dos dados, algumas escolhas podem afetar a conclusão, assim como a escala usada.
Reversão à média - Ocorre quando o acaso pode desempenhar um papel importante no resultado. Um jogador de futebol de baixa habilidade que marcou três gols em uma partida poderá voltar ao seu desempenho normal no próximo jogo. Um fundo de investimento que apostou certo, pode reverter a média no próximo ano.
Cherry Picking (Evidência Suprimida) - A tendência das pessoas em destacarem somente os dados que respaldam o que querem provar. Ocorre muito na política e nos debates públicos. Pode ser proposital ou não.
Causalidade Falsa (ou correlação espúria) - No gráfico, enquanto a temperatura na terra aumentou nos últimos anos, o número de piratas diminuiu. Isto não significa dizer que a redução dos piratas aumentou o aquecimento global. A existência de correlação não significa relação de causa-efeito.
Sobre ajuste (overfitting) - Ao analisar os dados é possível obter um modelo que faça a descrição matemática. Mas um modelo muito complexo pode ajustar melhor os dados, mas são mais frágeis, pois funcionam bem com os dados usados para construir o modelo, que pode estar explicando variações aleatórias. Modelos mais simples são mais robustos e melhores para previsão.
Viés da publicação - Geralmente o estudo com resultados significantes é mais interessante de ler e mais provável de ser publicado. Quando um milionário afirma o que ele fez para vencer na vida, "esquecemos" de pessoas que fizeram as mesmas coisas, mas fracassaram.
Viés de amostragem - quando as pessoas que participam de uma pesquisa não representam a população. Na figura, uma pesquisa com uma pessoa que está passeando com um cão pergunta se gosta de cão ou gato. Fazer uma pesquisa pela internet irá excluir as pessoas sem acesso a rede. Pesquisar a opinião de eleitores em um reduto conservador irá trazer um viés no resultado da pesquisa.
Paradoxo de Simpson - Uma tendência que existe em um grupo de dados pode desaparecer ou inverter quando os grupos são combinados. Na década de 70 a Universidade de Berkeley foi acusada de sexismo na seleção dos alunos. Mas ao analisar a questão descobriu que a taxa de aceitação das mulheres era maior; isto ocorreu pela diferença na escolha do curso que homem/mulher fazia.
Viés de sobrevivência - é importante saber quais os dados que não estão disponíveis. O desenho acima é um exemplo clássico que ocorreu na segunda guerra mundial. Foi solicitado aos engenheiros reforçar a fuselagem dos aviões. Olhando os aviões que voltavam das batalhas aéreas a escolha era fácil. Mas o correto é reforçar onde não tinha marca de bala - motor e cockpit - pois os aviões que foram atingidos nestes locais não voltaram.
23 julho 2019
Auditoria no Reino Unido
Segundo o The Guardian, o último relatório do Financial Reporting Council (FRC) chegou e descreve mais do mesmo. Uma em cada quatro auditorias em todo o setor, no Reino Unido, está abaixo do padrão, portanto, o desempenho não chega nem perto da meta de aceitabilidade do regulador de 90%. Nenhuma das empresas alcançou essa pontuação. A PwC substituiu a KMPG como a retardatária das Big Four, com apenas 65% de suas auditorias consideradas aceitáveis. A PwC marcou 90% recentemente, há dois anos.
O pior desempenho foi o da Grant Thornton, onde quatro das oito auditorias inspecionadas não estavam à altura. A qualidade da Grant Thornton é "inaceitável" e "uma questão de profunda preocupação", disse o FRC.
Naturalmente, todos podem divulgar um plano de ação mostrando como mais dinheiro será investido em tecnologia, pessoas e treinamento. Ano após ano, no entanto, o estudo da FRC aponta o mesmo fracasso cultural profundo: a incapacidade dos auditores em empregar o ceticismo profissional e em desafiar as suposições da administração.
A familiaridade, o regulador sugere, é um fator. Um auditor pode vir ver a empresa, e não os investidores, como “o cliente”. Até que essa mentalidade mude, é questionável se algum nível de investimento moverá o indicador de maneira significativa.
O remédio proposto pela Autoridade de Concorrência e Mercados é uma “separação operacional” entre as divisões de auditoria e consultoria das empresas. As duas metades teriam equipes de gerenciamento, contas e bônus pools separados.
Segundo Nils Pratley, editor financeiro do The Guardian, a política representaria um começo. No entanto, essa situação também exige multas que realmente doam.
Em casos particularmente cruéis, o FRC pode se incitar a impor multas de 10 milhões de libras aos auditores. Tal soma pode soar robusta, mas mal conta como pequena mudança nesta indústria. Os lucros da PwC no Reino Unido no ano passado foram de £ 935 milhões, o que permitiu que os 915 sócios ganhassem uma média de £ 712.000 cada, um aumento de 9% no ano. Os números são semelhantes em outras grandes empresas.
Fonte: Aqui, com adaptações.
O pior desempenho foi o da Grant Thornton, onde quatro das oito auditorias inspecionadas não estavam à altura. A qualidade da Grant Thornton é "inaceitável" e "uma questão de profunda preocupação", disse o FRC.
Naturalmente, todos podem divulgar um plano de ação mostrando como mais dinheiro será investido em tecnologia, pessoas e treinamento. Ano após ano, no entanto, o estudo da FRC aponta o mesmo fracasso cultural profundo: a incapacidade dos auditores em empregar o ceticismo profissional e em desafiar as suposições da administração.
A familiaridade, o regulador sugere, é um fator. Um auditor pode vir ver a empresa, e não os investidores, como “o cliente”. Até que essa mentalidade mude, é questionável se algum nível de investimento moverá o indicador de maneira significativa.
O remédio proposto pela Autoridade de Concorrência e Mercados é uma “separação operacional” entre as divisões de auditoria e consultoria das empresas. As duas metades teriam equipes de gerenciamento, contas e bônus pools separados.
Segundo Nils Pratley, editor financeiro do The Guardian, a política representaria um começo. No entanto, essa situação também exige multas que realmente doam.
Em casos particularmente cruéis, o FRC pode se incitar a impor multas de 10 milhões de libras aos auditores. Tal soma pode soar robusta, mas mal conta como pequena mudança nesta indústria. Os lucros da PwC no Reino Unido no ano passado foram de £ 935 milhões, o que permitiu que os 915 sócios ganhassem uma média de £ 712.000 cada, um aumento de 9% no ano. Os números são semelhantes em outras grandes empresas.
Fonte: Aqui, com adaptações.
Assinar:
Postagens (Atom)
Postagens
