Como fazer auditoria

É melhor fazer pouca auditoria, mas imprevisível, ou ter muita frequência na auditoria, mas previsível. Parece meio óbvio. Pesquisa feita no Chile, na área da pesca, mostra o resultado. Eis o resumo:

Attempts to curb illegal activity through regulation gets complicated when agents can adapt to circumvent enforcement. Economic theory suggests that conducting audits on a predictable schedule, and (counter-intuitively) at high frequency, can undermine the effectiveness of audits. We conduct a large-scale randomized controlled trial to test these ideas by auditing Chilean vendors selling illegal fish. Vendors circumvent penalties through hidden sales and other means, which we track using mystery shoppers. Instituting monitoring visits on an unpredictable schedule is more effective at reducing illegal sales. High frequency monitoring to prevent displacement across weekdays to other markets backfires, because targeted agents learn faster and cheat more effectively. Sophisticated policy design is therefore crucial for determining the sustained, longer-term effects of enforcement. A simpler demand-side information campaign generates two-thirds of the gains compared to the most effective monitoring scheme, it is easier for the government to implement, and is almost as cost-effective. The government subsequently chose to scale up that simpler strategy

Amostra

A agência Estado informa que “metade das empresas brasileiras está com dívidas em atraso”. E afirma

O estudo aponta que 3,57 milhões de empresas têm dívidas em atraso e, por isso, tiveram o nome incluído na lista de inadimplentes.

Como eles chegaram a esta conclusão? Bom, o estudo foi realizado pelo Serasa Experian e isto dá uma dica. Provavelmente o estudo usou o cadastro do Serasa. Aqui temos dois problemas: (1) iguala-se uma empresa de pequeno porte a uma empresa de grande porte; e mais relevante (2) a amostra é enviesada, já que considera somente as empresas que faziam parte do cadastro do Serasa. Empresas sem dívida, que não usam o banco para captar recursos, não participou da amostra. E também empresas que não usam as instituições financeiras para captar recursos de terceiros (trabalham com dinheiro de parentes, agiotas, pessoa física e outros).

Testando População na Auditoria

Um alto funcionário da KPMG defendeu, na revista Forbes (The Future of Audit, James Liddy), que as auditorias, que hoje testam pequenas amostras de transações para extrapolar para o universo dos dados, podem, no futuro, examinar 100% das transações:

Today, in many cases we perform procedures over a relatively small sample of transactions – as few as 30 or 40 – and extrapolate conclusions across a much broader set of data. In the future, using high powered analytics, auditors will have the capacity to examine 100 percent of a client’s transactions. We will be able to sort, filter and analyze tens of thousands or millions of transactions to identify anomalies, making it easier to focus in on areas of potential concern and drill down on those items that may have the highest risks.

Realmente uma ideia ousada na auditoria.

Pesquisa eleitoral

O instituto Ipsos, um dos maiores do mundo, começou a fazer pesquisas eleitorais 100% pela internet nesta eleição presidencial dos EUA. É uma revolução porque explode os conceitos de amostra probabilística, de intervalo de confiança e de margem de erro. Se fossem feitas no Brasil, estariam proibidas de serem publicadas porque não se adequariam à lei.

“É o futuro”, diz o CEO mundial da divisão de pesquisas de opinião do Ipsos, Darrell Bricker. “Pode demorar, 5, 10 ou 15 anos, mas virá”, prevê a CEO do Ibope Inteligência, Márcia Cavallari. Enquanto isso, no Brasil, os institutos ainda são obrigados a fazer pesquisas eleitorais usando questionários de papel só para os partidos poderem contá-los se quiserem.


Lições de 2012 - José Roberto de Toledo - Estado - 22 de outubro de 2012

Cruzeiro do Sul e Amostragem Básica

O problema com o Banco Cruzeiro do Sul (e o Panamericano) revela um erro crasso da auditoria do Banco Central no que diz respeito a amostragem. Veja o seguinte trecho de um artigo publicado na revista Exame:

Por que o BC nem desconfiou que havia milhares de créditos falsos ali? Isso começa a ficar claro agora. Segundo EXAME apurou, quase todos os empréstimos irregulares eram inferiores a 5 000 reais e, até o ano passado, o BC só analisava operações de crédito superiores a esse valor. Isso mesmo: foram cerca de 300 000 empréstimos propositalmente pequenos.
A regra de fiscalização mudou em 2011, depois de descoberta a fraude no banco PanAmericano, e passou a valer em janeiro deste ano — agora, operações superiores a 1 000 reais são analisadas. O BC voltou a se debruçar sobre os números do Cruzeiro em janeiro e, aí, os problemas começaram a aparecer a rodo.

Antes de avaliar a questão da amostragem é importante destacar que fica muito claro que o problema foi descoberto por acaso. A mudança na norma, reduzindo o limite para investigação do empréstimo. Caso contrário, o problema talvez fosse descoberto mais tarde, com um prejuízo ainda maior.

Mas a questão da amostragem é mais relevante. Existe vários métodos de determinar uma amostragem. O básico é a amostragem simples, onde as operações que seriam investigadas seriam sorteadas, com igual probabilidade de sair um pequeno empréstimo e um grande empréstimo. Claramente isto não é uma alternativa adequada para a auditoria.

Num processo de auditagem o normal é fazer uma segregação entre as grandes operações e as pequenas. Para as grandes, se possível usar a investigação em todas as operações ou usar uma amostragem maior. Para as pequenas, mesmo não sendo relevantes em valores, deve-se também fazer uma investigação.

O erro do Banco Central faz lembrar a distinção entre materialidade e relevância. Empréstimos de R$1500 não são materiais para serem investigados, mas podem ser relevantes, como o caso do Cruzeiro do Sul mostrou.

Governança na Agrenco

É possível que em uma empresa que siga os princípios da governança corporativa ocorram casos de desvio de dinheiro, fraude no balanço e sonegação fiscal? Esta é uma das perguntas que têm sido feitas nos últimos dias a José Monforte, ex-presidente do Instituto Brasileiro de Governança Corporativa e membro do conselho administrativo da Agrenco, empresa do setor de agronegócios que está sendo investigada pela Polícia Federal por suspeita exatamente desses crimes, em um processo que levou à prisão na sexta-feira dois dos seus sócios e mais um executivo.

(...) E quanto às auditorias? Ele lembrou que auditorias internas e externas são feitas por amostragem e é possível que desvios ou mesmo ações criminosas não sejam identificados por essas análises das contas. Seria preciso um sistema extremamente minucioso, detalhista, para ser possível levantar qualquer e toda inadequação.

"Processo de governança na Agrenco avançava" - 26/06/2008 - Valor Econômico

Uma boa auditoria, mesmo que feita sob amostragem, poderia conseguir descobrir os problemas da empresa. A afirmação de Monforte é infeliz e temos aqui duas justificativa: ou não conhece como funciona a auditoria ou tenta justificar o injustificável.

Pequena e grande amostra

Um dos conceitos básicos de finanças é a existência de uma relação entre risco e retorno. Em outras palavras, quanto maior o risco, maior o retorno. É algo básico e fundamental no arcabouço teórico.

Entretanto, é necessário saber se esta relação básica ocorre na prática. Um estudo interessante, publicado em julho de 2007 (aqui, link. É necessário ser assinante) no Jornaul of Financial Economics mostra algo interessante (The risk return tradeoff in the long run: 1836–2003; Christian Lundblada, University of North Carolina)

Estudos anteriores encontraram tipicamente insignificância estatística entre o prêmio pelo risco do mercado e sua volatilidade esperada. Mais ainda, muitos destes estudos estimaram um tradeoff negativo entre risco e retorno, contrário as previsões da teoria. Usando simulações, eu demonstrei que mesmo cem anos de dados constitui uma pequena amostra.

Neste link alguns comentários críticos do artigo.

Amostragem em Auditoria

O procurador-geral do TCU parece não conhecer a auditoria e suas técnicas. Ou não quer conhecer. No jornal Estado de S. Paulo de 23/04/2007 (É impossível fiscalizar todas as notas ', diz procurador do TCU Para Lucas Furtado, sistema é faz de conta' e serve apenas para engordar salários sem desgaste público)

Os números apenas sugerem, mas o procurador-geral do Tribunal de Contas da União (TCU), Lucas Rocha Furtado, vai direto ao ponto: a verba indenizatória é um salário extra de R$ 15 mil, acrescido ao contracheque do deputado, de R$ 12.847,20. Ele garante que não há nem haverá fiscalização das notas fiscais, porque seria impossível. "Isso é faz-de-conta. É uma sistemática para dar um aumento de salário que eles não têm como justificar", critica. "E mais, nesse valor não incide Imposto de Renda nem contribuição previdenciária, porque tem natureza indenizatória."

Ora, a auditoria possui instrumentos que permitem fazer esta investigação, que é a amostragem. A reportagem continua com a opinião do procurador:

Outro ponto grave, relata ele, é a questão do controle das despesas. "A Câmara não tem estrutura para fiscalizar a declaração de reembolso dos deputados", revela. "É matematicamente impossível verificar todas as notas, uma a uma. Os deputados criaram um sistema que não tem como ser fiscalizado. Se quisessem, não teriam número suficiente de funcionários."

Nenhuma auditoria faz uma verificação por censo. Mas a reportagem continua...

SEM CONTROLE

Indagado por que o TCU não investiga a fundo esses gastos, Furtado explica: "Não há como fazer uma auditoria em tudo. Um deputado junta, só de combustível, dezenas de notas. Ainda que fosse por amostragem, seria impensável." E insiste: "Essa sistemática não tem como ser fiscalizada."

Mais um erro. Não existe razão pela qual a amostragem seria impensável. A não ser a questão política. Sua insistência em não fiscalizar talvez seja mais comôda.