Resultado e Expectativa em Pesquisa

Em muitas pesquisas empíricas é comum ocorrer dos resultados não estarem de acordo com o que era esperado. E fica uma sensação de frustração, achando que perdemos de tempo. Existem algumas dicas que podem ajudar num momento como este.

1 – Digitação errada – é uma possibilidade razoável que o resultado tenha sido alterado por erro de digitação. O ideal seria transcrever os dados duas vezes, de maneira independente e verificar se o resultado é o mesmo. Mas na prática os pesquisadores são muito confiantes e acham que isto é uma perda de tempo. Mas vale a pena pelo menos verificar se existe alguma informação discrepante.

2 – Erro de transcrição – em algumas pesquisas é comum que a informação primária seja passada para um instrumento, como uma planilha eletrônica. O ideal seria que o instrumento fosse transcrito por duas fontes independentes. Isto inclui as pesquisas em que passamos os dados da planilha para um programa estatístico. Em muitos casos é possível existir perda de informação, que irá afetar o resultado final.

3 – Outlier – é uma informação fora do padrão usual. E como tal pode afetar a media do conjunto. Uma análise dos dados, inclusive apresentados num gráfico, poderá facilitar na identificação destes casos. Existem testes estatísticos para determinar se a informação é realmente um outlier e podem ser usados. Ou o pesquisador poderá tomar a decisão de eliminar os casos extremos (os 5% maiores e menores, por exemplo).

4 – Software – é difícil imaginar que um software pode provocar um erro no trabalho. Mas isto pode ocorrer, inclusive quando usamos os comandos de maneira inadequada. Além disto, em algumas funções, o software possui um “default”, que se alterado poderá mudar os rumos da pesquisa.

5 - Instrumento da pesquisa não foi adequado – podemos estar tentando provar algo com o instrumento errôneo. Considere a situação em que desejo verificar o grau de honestidade das pessoas; para isto, pergunto, num questionário: “você é honesto”. Obviamente que o resultado será inadequado, já que as pessoas tenderão a dizer que são honestas.

6 - Amostra inadequada – o problema pode estar na amostra usada. Usar estudantes do primeiro semestre para responder um questionário sobre equivalência patrimonial provavelmente terá resultados ruins. A amostra deve ajudar a responder a pergunta da pesquisa, não atrapalhar.

7 – Método ruim – para cada tipo de informação existente existe um método estatístico correspondente. Muitas vezes o pesquisador usar um método inadequado, que possui problemas com o tipo de variável usada no estudo.

8 - Objetivo x dados usados – O objetivo deve estar relacionado com os dados usados na pesquisa. Se o objetivo é verificar a importância das pequenas empresas na economia não devo usar, como informação central, dados do Sebrae. Esta entidade defende este segmento e os dados podem estar enviesados.

Todos os itens acima podem ser resumidos em: “reveja todo o processo de construção da pesquisa”. Seja criterioso. E se isto não conseguir arrumar os resultados, pense que deve existir uma explicação plausível para isto. Para que isto fique claro irei contar uma breve história de uma pesquisa que realizei em conjunto com uma aluna de iniciação científica.

O objetivo da pesquisa era verificar o efeito do congestionamento, na cidade de São Paulo, na bolsa de valores. Como não foi possível coletar os dados na sua fonte primária, optamos por usar as informações dos jornais. Isto naturalmente poderá provocar alguns erros de transcrição, mas uma vez que o número de informações era razoavelmente elevado, seguimos em frente. Depois de realizar os testes entre o comportamento da bolsa (medido pelo Ibovespa) e o congestionamento de São Paulo, o resultado não foi adequado. E eu tinha certeza que a pesquisa daria uma relação entre as variáveis.

Após refletir sobre o assunto descobrimos dois problemas na pesquisa. O primeiro, meio óbvio é que o congestionamento pode ocorrer no período da manhã – influenciando o mercado no mesmo dia – ou no período da noite – afetando o mercado no dia seguinte, mas com menor intensidade. A segunda explicação é menos óbvia: apesar de o congestionamento afetar a vida das pessoas, o efeito sobre o mercado talvez seja mais sutil. Parte das decisões de investimento não é tomada em São Paulo (lembrem-se dos investidores internacionais, que enviam ordens de compra e venda do exterior). Outras decisões são feitas por softwares, que não sofrem o efeito do congestionamento. Em resumo, nesta pesquisa cometemos o erro de transcrição (item 2) e usamos um instrumento de pesquisa inadequado (item 5). Apesar disto, gostei muito de participar desta pesquisa: aprendi muito com estes erros.