Dificuldade de pesquisar em educação

Por que a pesquisa em educação é particularmente problemática? Eu tenho algumas especulações:

1 - Todos nós temos muita experiência em educação e muitas lembranças de situações em que a educação não funcionou bem. Como estudante, muitas vezes ficou claro para mim que as coisas estavam sendo ensinadas de forma errada, e como professor, muitas vezes fiquei desconfortavelmente ciente de como estava fazendo um trabalho ruim. Há muito espaço para melhorias, mesmo que nem sempre o caminho para chegar lá seja tão óbvio. Então, quando as autoridades fazem afirmações contundentes de "melhoria de 50% nas pontuações dos testes", isso não parece impossível, mesmo que devêssemos saber que é melhor não confiar cegamente nelas.

2 - As intervenções educacionais são difíceis e caras de serem testadas formalmente, mas fáceis e baratas de serem testadas informalmente. Um estudo formal requer colaboração de escolas e professores, e se a intervenção for no nível da sala de aula, requer muitas turmas e, portanto, um grande número de alunos. No entanto, informalmente, podemos ter muitas ideias e testá-las em nossas aulas. Coloque isso junto e você terá uma longa lista de ideias esperando por estudos formais.

3 - Não importa o quanto você sistematize o ensino, por meio de testes padronizados, planos de aula preparados, cursos online massivos ou qualquer outra coisa, o processo de aprendizagem ainda ocorre no nível individual, um aluno de cada vez. Isso sugere que os efeitos de quaisquer intervenções dependerão fortemente do contexto, o que por sua vez implica que o efeito médio do tratamento, seja qual for a definição, não será tão relevante para a implementação no mundo real.

4 - Continuando com o último ponto, o grande desafio da educação é a motivação dos alunos. Métodos para ensinar X geralmente podem ser enquadrados como uma mistura de Métodos para motivar os alunos a quererem aprender X e Métodos para manter os alunos motivados a praticar X com consciência. Essas coisas são possíveis, mas são desafiadoras, em parte devido à dificuldade de definir claramente a "motivação".

5 - A educação é um tópico importante, muito dinheiro é gasto nela e está enraizada no processo político.

Juntando tudo isso, temos uma bagunça que não é bem atendida pelo modelo tradicional de apertar um botão, tomar uma pílula e buscar significância estatística no campo das ciências sociais quantitativas. A pesquisa em educação está repleta de pessoas convencidas de que suas ideias são boas, com muita experiência pessoal que parece apoiar suas opiniões, mas com grande dificuldade em obter evidências empíricas sólidas, por razões explicadas nos itens 2 e 3 acima. Portanto, é compreensível como os defensores de políticas podem ficar frustrados e exagerar as evidências a favor de suas posições.

Traduzido, via GPT, daqui. Foto: Aaron Burden

Veja que basicamente temos um problema de isenção (do professor, do político e assim por diante) e da generalização - tomar um caso de sucesso como geral para toda educação. 

Como o Chat irá mudar a educação

Segundo o Brian Caplan (partidário da Teoria da Sinalização) (resumido pelo Managerialecon), o que irá mudar na edução com o ChatGPT:

O que mudará para os alunos é carga de trabalho e avaliação. Os professores usam para atribuir trabalhos de casa, artigos e projetos. Usar a IA para trapacear nesse trabalho será uma brincadeira de criança. Punições suficientemente severas por trapaça podem preservar o status quo, mas as escolas modernas dão um tapa no pulso dos trapaceiros, e isso não muda. O trabalho escolar não monitorado se tornará opcional ou uma farsa. A única coisa que realmente importa serão os exames. E, a menos que os exames sejam individuais [e sem consulta], eles também serão uma farsa.  A IA pode reduzir drasticamente o emprego nas ciências sociais nas próximas duas décadas. Os seres humanos se especializarão em tudo o que a IA fizer pior. 

E nós, humildes professores? ... Exceto para empiristas de ponta, no entanto, a IA tornará a pesquisa ainda mais uma farsa do que já é. Se Sokal ou Boghossian-Lindsey-Pluckrose puderem "driblar" com sucesso em revistas de humanidades, a IA poderá fazer o mesmo em escala industrial. Se você quer uma foto do futuro, imagine um bot escrevendo mil páginas túrgidas por segundo sobre "neoliberalismo", "patriarcado" e "anti-racismo" - para sempre. 

Fora dos assuntos mais empíricos, as únicas ferramentas de racionamento que restam para determinar o status acadêmico serão exclusivamente humanas: networking e puro carisma. Meus colegas estudiosos, agora é um ótimo momento para reler Como conquistar amigos e influenciar pessoas, de Dale Carnegie.

Parece bem razoável os aspectos apresentados aqui. Talvez seja necessário repensar o "publicar ou perecer". 

Uso da tecnologia em sala de aula há cem anos

O assunto parece estar sempre em discussão: como a tecnologia ajuda ou atrapalha a educação. Há cem anos, já existiam salas de aula com máquinas de escrever e até mesmo rádio. Esse tipo de tecnologia mudou a forma da educação, afetando tanto os professores quanto os alunos.

A utilização da tecnologia na educação não é algo recente. A aprendizagem com a tecnologia permite mais oportunidades para o ensino. Eu encontrei no Daily Jstor um estudo de caso do uso da tecnologia na área de música. A empresa Victrola usou o trabalho da educadora Frances E. Clark na aula de música.

Clark era do meio-oeste rural dos Estados Unidos e começou no ensino com aulas de canto, quando ainda era adolescente. Depois de casar, ter dois filhos e ficar viúva, ensinou música em escolas públicas e em aulas particulares. Mesmo com dificuldades, Clark se mantinha atualizada sobre a educação musical e adotava novos métodos. Em 1911, a Victor Corporation contratou Clark para chefiar a divisão de educação. Clark desejava enfatizar a "boa música" e a Victor expandir o mercado de registros sonoros de óperas e músicas clássicas.

Naquele momento, os educadores não acreditavam que a música gravada pudesse ser usada na educação musical. Existia dúvida sobre a qualidade dos produtos lançados pelas gravadoras e a possível ameaça ao emprego dos músicos profissionais.

Clark virou essa lógica de cabeça para baixo, sugerindo que registros de alta qualidade ofereciam às crianças a chance de ouvir "música real", em oposição aos esforços vacilantes de seus colegas de classe. Ela introduziu a "apreciação musical" nas escolas primárias, liderando a criação de um livro para ajudar os professores a planejar lições em torno de vários registros da Victor.

Em tempos de celular e chatgpt, a história parece repetir. 

Chatbot e a educação

Como fazer o Chatbot um aliado na educação:

Da minha parte, a resistência é fútil. Somente neste semestre, por exemplo, tenho mais de 800 alunos matriculados espalhados por cinco seções no meu curso de pesquisa de ética e direito comercial. Para piorar a situação, a Big Tech tem centenas de bilhões de dólares em recursos, enquanto eu sou um mero professor universitário com um pequeno punhado de assistentes de ensino e alguns diplomas de artes liberais. Como a letra da música "Right Hand Man" do Hamilton musical: “somos superados, superados, em menor número e em menor planejamento."

Portanto, em vez de tentar combater o inevitável, em vez de me inclinar nesses moinhos de vento da Big Tech, decidi permitir que esse perigoso cavalo de Tróia entrasse em meus cursos e aceitasse esses presentes de IA. Agora, quando publico uma pergunta de discussão, problema de pesquisa ou dilema ético no Canvas, peço aos meus alunos que procurem a resposta no ChatGPT primeiro - ou no Bard, a versão do gênio do Google - e publiquem uma captura de tela da resposta da IA . Além disso, também peço aos meus alunos que revisem e revisem a resposta dessa IA e a verifiquem com precisão. Como eles melhorariam a resposta da IA? Que mudanças ou adições ou substituições substantivas ou estilísticas elas fariam? Dessa forma, meus alunos começarão a trabalhar com essa nova e empolgante tecnologia em primeira mão e, ao mesmo tempo, terão a oportunidade de desenvolver suas habilidades de pensamento crítico.

Foto: Om siva Prakash (traduzido via Vivaldi)

Consequências da pandemia no aprendizado

Passei o final de semana corrigindo trabalhos que solicitei aos meus alunos de uma disciplina da graduação. O semestre atípico está encerrando nos próximos dias, mas notei que a qualidade e o aproveitamento foi abaixo do nível anterior à pandemia. Conversando com colegas professores, eles tiveram a mesma sensação com respeito a dificuldade do retorno às aulas presenciais e a dificuldade dos alunos em fazer a adaptação no ensino presencial. 

A percepção é que o ensino à distância é, realmente, um ensino de pior qualidade. A dificuldade em avaliar de maneira justa o esforço do aluno é somada a perda de comunicação com os alunos. As telas do Zoom estiveram fechadas e o professor dava sua aula sem saber se a comunicação do conteúdo estava chegando adequadamente ao destino. Outros fatores ajudaram a comprometer esta qualidade do ensino na pandemia. Mas o retorno parece que trouxe um aluno mais desmotivado. 

Isto que escrevo é um percepção particular. Então não vale como um parâmetro. Quantificar o efeito da pandemia é muito complicado, pois estamos falando de gerações diferentes de alunos que foram afetadas de forma desigual. 

Mas algumas pesquisas que já começam a ser divulgadas mostram que a qualidade do ensino piorou. Isto inclui o Brasil (aqui, por exemplo). Além do aprendizado, as pesquisas também mostram que o bem-estar socioemocional foi afetado. 

Baseado em pesquisas passadas, o prejuízo será a longo prazo. Provavelmente a geração que estava atrás de uma câmera de vídeo, pretensamente assistindo uma aula, terá uma marca na sua formação, que poderá refletir no mercado de trabalho no longo prazo. 

Foto: Chris Montgomery

Taxa de sucesso de 85% para precisão ideal de treinamento

O nível de aprendizado do ser humano é maximizado quando a taxa de acerto é de 85%. Ou seja, para cem questões, 85 devem estar corretas:

Em muitas situações, descobrimos que há um ponto ideal em que o treinamento não é muito fácil nem muito difícil, e onde o aprendizado progride mais rapidamente. [...] Para todos esses algoritmos estocásticos de aprendizado baseados em gradiente e descida, descobrimos que a taxa de erro ideal para o treinamento é de cerca de 15,87% ou, inversamente, que a precisão ideal do treinamento é de cerca de 85%.

A ideia é que o fracasso significa que você não irá aprender. Mas haverá um limite para o sucesso, onde o esforço adicional não vale a pena.

Em outro estudo, citado na mesma postagem, chegou a uma taxa para aprender matemática próximo: 

Em um estudo de matemática da quarta série, verificou-se que 82% das respostas dos alunos estavam corretas nas salas de aula dos professores mais bem-sucedidos, mas os professores menos bem-sucedidos tinham uma taxa de sucesso de apenas 73%. Uma alta taxa de sucesso durante a prática guiada também leva a uma maior taxa de sucesso quando os alunos estão trabalhando em problemas por conta própria.

Na minha vida acadêmica, eu tenho usado exercícios adicionais ao final de cada tópico em minhas aulas. O problema é que os alunos parecem pensar que não vale a pena realizar tais exercícios, pois valem pouco na composição da nota final. Mas há um elemento de aprendizado, geralmente traduzido pela correlação significativa entre as notas dos exercícios e as notas da prova.

Contabilidade é um profissão de relatório?

 A pergunta surge após a leitura do texto de Robin Hanson:

Neste post, quero explorar uma quarta história complementar, destinada a aplicar-se ao subconjunto de profissões que chamo de “profissões de relatório”, em que os trabalhadores produzem relatórios destinados a persuadir o público. Por exemplo, os investidores contam com auditorias de contadores para julgar a saúde financeira das empresas. Engenheiros e planejadores criam projetos e planos sugerindo aos possíveis patrocinadores para que as coisas possam ser feitas ou construídas com métodos específicos e dentro de determinados orçamentos de tempo e custo. Os diagnósticos dos médicos convencem as seguradoras a cobrir os tratamentos para doenças reivindicadas. E as notas que os professores atribuem aos alunos podem convencer os empregadores a contratá-los. Além disso, esses relatórios não são incidentais; induzi-los é frequentemente a principal razão pela qual os clientes contratam esses profissionais.

Em todos esses casos, o ideal são os públicos persuadidos por relatórios que eles acreditam ter sido produzidos de acordo com normas profissionais, com trabalhadores resistindo às pressões de chefes ou clientes para fornecer relatórios mais favoráveis. Ou seja, o público precisa acreditar que o contador não obedecerá a um chefe que os instrua a dizer que sua empresa falida está cheia de dinheiro e a acreditar que um professor não dará um A + a um aluno ruim, mas financeiramente generoso. Mas essa é realmente uma situação não trivial para produzir. Por que exatamente um contador não obedeceria a um chefe que tentava fazer sua empresa parecer o melhor possível? E por que um professor não daria a um aluno uma nota tão alta quanto ele ou ela pode pagar?

Manter esses contadores, professores, etc. na linha, ajuda se eles se identificarem com os altos ideais de sua profissão. Mas pode ajudar ainda mais a mostrar uma ameaça credível de que algum outro profissional do gênero possa revisar rapidamente seu relatório e declará-lo violar normas profissionais, levando à expulsão da profissão. E para tornar esse cenário crível, ajuda se essa profissão se coordena para treinar seus membros de capacidade semelhante da mesma forma, a usar procedimentos de geração de relatórios relativamente padrão, estáveis, mecânicos e sem contexto. Sem esses procedimentos, é difícil ver como uma revisão rápida pode mostrar violações. Além disso, ajuda se existem maneiras de induzir profissionais independentes a verificar relatórios suspeitos e depois punir os infratores encontrados.

Ou seja, os profissionais do relatório precisam coordenar para criar e aplicar uma “marca” distinta de suporte a relatórios. Sem essa coordenação, seu produto é inútil. É por isso que eles pressionam para organizar e obter poderes regulatórios e por que o resto de nós concede seus pedidos.

(Grifo meu). Parece que a resposta é um sim. Foto: Bernd Klutsch

Ensino passivo e ativo: e a pandemia?

“Existem dois tipos de experiência educacional que você pode ter na faculdade.  Um é passivo e outro é ativo.  

No primeiro, você é um passarinho com o bico aberto e o professor reúne todas as informações necessárias e as joga no esófago.  Você pode se sentir bem com isso - afinal, está esperando apaixonadamente por essas informações - mas seu único papel é aceitar o que lhe é dado. Memorizar fatos e depois repeti-los para um teste pode lhe dar uma boa nota, mas não é a mesma coisa que ter curiosidade intelectual.  No segundo tipo, você é ensinado a aprender a encontrar as informações e a pensar por elas mesmas.  Você aprende a questionar e se envolver.  Você percebe que uma resposta não é suficiente e que precisa examinar quantas fontes estão disponíveis para poder juntar uma imagem maior."

Fonte: Joe Hoyle

Parece que a pandemia aumentou a proporção de ensino passivo. 

Foto: aqui

Avaliação de alunos durante a pandemia

A pandemia fez com que muitas universidades afrouxassem seus padrões de aprovação e reprovação. Em algumas delas, a reprovação virou palavra feia. Isto terá consequências sérias na sinalização para o mercado de trabalho no futuro (vide Bryan Caplan). E para outros processos seletivos, como a entrada em um programa de pós. 

Em outras instituições, a avaliação tornou-se binária. Eis um bom comentário sobre o assunto:

La lógica habitual de esa política es fomentar una actitud orientada al aprendizaje en los estudiantes con el objetivo de que salgan de sus zonas de confort y se atrevan con asignaturas a priori más difíciles y exigentes. Otra razón para implementar una política del aprobado/suspenso tiene que ver con la salud mental de los estudiantes: estudios recientes han demostrado que los niveles de estrés se reducen, mientras que la satisfacción con los estudios aumenta

O texto possui bastante citação e é favorável ao sistema binário. Para quem interessa, vale a pena uma lida. 

Educação e Pandemia

Uma história narrada por Joe Hoyle. Hoyle é professor de contabilidade com uma larga experiência e divide algumas das suas experiências no seu blog. 

Eu estava entrevistando uma de nossas alunas ontem (no Zoom, é claro) para um prêmio de aluno excepcional que é concedido a cada ano em nossa formatura. Esta aluna em particular eu conheço muito bem. Tenho respeito pelas opiniões dela. Então, fiz a ela uma pergunta sobre a qual tenho pensado muito recentemente: “Qual é a melhor coisa em ser uma estudante universitária durante uma pandemia?” Por um breve momento, ela olhou para mim como se eu tivesse perdido a cabeça, porque não era uma pergunta que ela tinha ouvido antes ou mesmo considerado. Todos parecemos fixados nas partes ruins do ano passado. 

Como eu esperava, essa aluna se recuperou imediatamente e deu uma resposta fabulosa: “Aprendi a fazer tantas coisas que nunca pensei que pudesse fazer. Fiquei confortável com todos os tipos de tecnologia que eu nem sabia que existiam. De muitas maneiras, eu estava em uma rotina e a pandemia me tirou dessa rotina e me empurrou para me tornar um estudante melhor. ”

Foto: aqui

Escolas mais antigas do mundo

 Postamos em setembro as universidades com mais de 500 anos de vida. Neste link, a relação de instituição de ensino mais antiga por país, ainda em funcionamento. A mais antiga é a Shishi High School, na China. Uma escola primária fundada em 141 antes de Cristo. Depois, a escola secundária "The King´s School Canterburry", na Inglaterra, criada em 597 depois de Cristo. Eis a relação das escolas mais antigas:

Veja que a relação desmente a postagem que fizemos. Na América do Sul, a Universidade de São Marcos, no Peru, é a mais antiga: 1551. Logo após, São Francisco Xavier, na Bolívia, de 1624. E o Brasil? Surpresa: Academia Militar das Agulhas Negras, de 1792. 

Rir é o melhor remédio

 

Nunca imaginei que teria saudade - como professor - da cadeira com aquele monte de "lembranças" dos alunos. 

Rir é o melhor remédio

 

Tudo é uma questão de comparação

Rir é o melhor remédio

 

Da série, início e final do semestre. 

Rir é o melhor remédio

Vida após ...

Rir é o melhor remédio

Continuando a série. No original o restaurante era na lua (e sem atmosfera).

Reduziu o custo?

Muitas universidades transformaram as aulas presenciais em on-line por conta do Covid-19. O aluno que estava pagando por um curso presencial teria agora direito a um desconto? Questão interessante.

Já existe um movimento para tentar conseguir descontos nas mensalidades. Mas as instituições dizem que não ocorreu redução nos custos; na verdade, as aulas on-line aumentaram os custos. A grande questão é saber se os custos do ensino presencial são evitáveis ou não. Segundo as instituições, o maior custo é pessoal. Parte deste custo é evitável, ou seja, pode existir uma economia com a aula on-line. Resta saber o montante disto. Além disto, estas instituições devem estar pagando um conta de luz menor. Da mesma forma, devem ter dispensado o funcionário terceirizado da limpeza. Tudo isto poderia ser somado para chegar ao custo evitável. Além disto, em razão das medidas adotadas no país, há sempre a possibilidade de redução de salários e benefícios neste período. Mas o valor total talvez seja bem menor do que se poderia pensar, já que provavelmente a instituição deve continuar pagando o professor pela aula on-line. 

Outro aspecto é verificar se a mudança representou algum custo adicional (equipamento, contratação de software etc). Acho pouco provável.

Contabilidade e história da educação

A contabilidade tem sido uma grande fonte para entender a história da humanidade. Registros contábeis podem ajudar a entender o que passou quando não existia outro tipo de descrição da realidade. Entre 1370 a 1510 funcionou em Montpellier, na França, uma escola de “gramática” (grammaire). Usando os documentos contábeis, produzidos na administração municipal, Romain Fauconnier estabeleceu uma análise qualitativa da educação pública.

Entretanto, os documentos contábeis - em razão da sua finalidade - não contam toda a história. Em geral, os registros estão relacionados com os salários dos professores. Mas isto já permite inferir sobre a rotatividade dos mestres e as férias (se bem que isto é confundido com atrasos nos salários ou falta de registro documental). Os documentos possuem alguns detalhes das disciplinas e é possível  inferir da existência de educação gratuita para os pobres, por exemplo.

Caplan, segundo Demo

Pedro Demo publica um longo comentário do livro de Caplan, que já fizemos uma resenha e recomendamos. O comentário de Demo pode ser acesso aqui e colocamos a conclusão abaixo:

É provocativamente ousada a proposta de Caplan, embora, olhando mais de perto, exale o contexto do mercado por todos os poros. Isto não admira em contexto americano, porque educação sempre foi vista – cruamente – como serva do mercado. A relação assumida é dura e reta: avalia-se o que educação traz para o mercado; não se fala de “formação”, cidadania, convivência, a não ser quando empregadores veem nisso algum benefício para a empresa. Podemos acentuar consciência, elegância, comunicação, mas o que vale é a empregabilidade, que fica por conta do empregado – a empresa não tem nenhum compromisso. Sob este ângulo, a maior parte do que se faz na escola/faculdade é olimpicamente inútil. Entretanto, Caplan deixa de lado que o próprio mercado tem preferido graduados com formação geral mais visível, que a seleção é feita em entrevista para ver se o candidato tem projeto de vida interessante, mostra maturidade, sabe argumentar e expressar-se... Embora a indicação de “espírito crítico” seja uma farsa escabrosa, porque totalmente unilateral, indica, a seu jeito, que formação ampla é trunfo importante. Mas, como autores mais diretos e críticos constatam, a maior qualidade é conformidade inteligente!

Caplan descasca a inutilidade dos conteúdos – muitos são inventados e apenas enchem a cabeça. Mas há outra inutilidade: ficar na escola para não aprender nada, anos a fio, saindo, por exemplo, sem saber matemática ou sem redigir uma página. O exagero da hipótese tem finalidade provocativa, instigadora, e dificilmente “prova” que educação é apenas sinalização. Mas é muito interessante esta perspectiva, iluminando muito da relação empregador/empregado – uma encenação ostensiva, onde a aparência vale mais que qualquer realidade.

Ensino e Juventude

Em 1851 um texto do O Comércio afirmava o seguinte:

Convêm, pois, ensinar á mocidade de todas as classes a conhecer o Creador e a creação em geral, a lingoa materna e a contabilidade.

(É bom lembrar que na época, o ensino inicial era constituído do português - a alfabetização - e a matemática. No segundo caso, a contabilidade era uma aplicação dos conhecimentos matemáticos, mas também uma possibilidade de emprego futuro)

Neste sentido, tenho continuamente escutado de meus colegas, professores, que os alunos de hoje estão piores. Quando quero me envolver nesta discussão, tenho discordado. E tenho o apoio do Joe Hoyle, um professor de contabilidade, com 47 anos de profissão que escreveu:

Estudantes raramente mudam com os anos. Em 1958 eu escutei meu professor falar para outro professor: "estudantes hoje não leem ou compreendem. Eles têm que ter tudo explicado para eles". Eu literalmente ouvi quase as mesmas palavras na semana passada fora do meu escritório.

Ontem li em um trecho do livro Dataclisma (Christian Rudder) que "o Twitter, na verdade, pode estar melhorando a escrita dos usuários". Pelos dados de Rudder, a palavra média do Twitter é maior que a do Corpus da Língua Inglesa. Dito de outra forma: talvez nunca se tenha escrito tanto quanto na época atual.