Primeira vez aqui? Seja bem vindo e cheque o FAQ!
x

Explorando a base de dados de "Using Goals to Motivate College Students: large Theory and Evidence from Field Experiments"

0 votos
48 visitas
perguntada Mai 23 em Economia por Mateus Hiro Nagata (26 pontos)  
editado Jun 1 por Mateus Hiro Nagata
Compartilhe
comentou Mai 24 por danielcajueiro (5,501 pontos)  
A pergunta precisa ser colocada na resposta. Note que em caso contrario a pergunta fica sem resposta.

1 Resposta

0 votos
respondida Jun 1 por Mateus Hiro Nagata (26 pontos)  

1. Motivação

Como instigar o esforço dos alunos? Essa é uma pergunta frequentemente feita no cenário de Economia da Educação, tendo em vista que não há correlação estatística tão forte quanto educação e salários (Ramos, 2015).

Os autores fazem uso de Randomized Controlled-Trial (RCT) para investigar essa questão. A ferramenta utilizada é o uso de metas, uma vez que elas são baratas, escaláveis e simples de serem aplicadas logisticamente. Mais especificamente, dois tipos de metas são estudadas: a
meta baseada em tarefas, que nesse caso é meta de quantos simulados serão realizados antes de uma prova (task-based goal), e a meta baseada em performance, que é a meta da nota no curso, ou em cada prova (performance-based goal). Uma observação é que as metas são definidas pelos alunos, então devem escolher baseados na sua expectativa de esforço e devem refletir a informação que eles tem deles mesmos.

O spoiler é que as metas baseadas em tarefas são efetivas e as de performance não são. A questão é que os agentes carecem de autocontrole, sobrevalorizam o presente e são avessos à perda. Tarefas, nesse sentido, servem como pontos de referência. Agentes não gostam de ficar para trás desse ponto. Por outro lado, a performance é incerta, os alunos são confiantes de mais que tirarão boas notas e o timing da desutilidade também é importante.

2. Modelo Econômico

O modelo propõe um modelo simples (e depois provado e analizado microeconomicamente com cuidado) de sendo estudo para provas como um problema de otimização intertemporal em 3 períodos de tempo.

  1. Estudante-planejador: define a meta;
  2. Estudante-ator: escolhe o nível de esforço;
  3. Estudante-beneficiário: sofre desutilidade de estar atrás da meta.

Veja que um mecanismo de incentivo interessante é que a fase 2 e 3 ocorrem durante o período de estudo para a meta baseada em tarefas, então o agente sofre a desutilidade de falta de esforço antes da prova. Todavia, na meta baseada em performance, a desutilidade aparece apenas depois da prova. Dessa forma, não há como mudar a estratégia nesse momento.

O experimento foi conduzido durante 2 anos, sendo o primeiro ano período do experimento de performance. Os alunos fixam a meta de notas e recebem o lembrete depois de cada avaliação, sendo a amostra de tamanho 1,967. No segundo ano, os alunos fixam a meta de tarefas realizadas, recebendo lembretes depois de cada avaliação, sendo a amostra de tamanho 2,004.

3. Resultados

3 perguntas são postas no paper:

  1. A presença de metas de tarefas aumenta o nível de simulados realizados?

\[Practices_i = \alpha_0 + \alpha_1 Set-Task-Goals_i + \sum_{j = 2}^{n} \alpha_j Controls_{j,i} + \epsilon_i \]

  1. A presença de metas de tarefas aumenta as notas?

\[ Score_i = \alpha_0 + \alpha_1 Set-Task-Goals_i + \sum_{j = 2}^{n} \alpha_j Controls_{j,i} + \epsilon_i \]

  1. A presença de metas de performance aumenta as notas?

\[Score_i = \alpha_0 + \alpha_1 Set-Performance-Goals_i + \sum_{j = 2}^{n} \alpha_j Controls_{j,i} + \epsilon_i \]

![A imagem será apresentada aqui.]

Veja que a primeira pergunta é respondida pela imagem. O efeito estimado de aumento de exames é positivo e significante para a primeira metade do alcance. A interpretação é a seguinte: metas baseadas em tarefas aumentam a probabilidade de um estudante completar pelo menos um simulado em 2 pontos percentuais com p-valor 2\%. Então de fato, os alunos estão fazendo mais simulados e esse efeito é significativo para, pelo menos, até 8 simulados.

A segunda e a terceira questão podem ser respondidas pela tabela gerada abaixo com o Python. O efeito de meta de tarefa é positivo e significante, com p-valor menor que 10% (8.6%), enquanto o efeito para meta de performance não é significante.

\[ \begin{tabular}{lcccccc} \toprule \textbf{Tarefas} & \textbf{coef} & \textbf{std err} & \textbf{z} & \textbf{P$> |$z$|$} & \textbf{[0.025} & \textbf{0.975]} \\ \midrule \textbf{Intercept} & 82.9811 & 1.843 & 45.029 & 0.000 & 79.369 & 86.593 \\ \textbf{treatment} & 0.7418 & 0.431 & 1.719 & 0.086 & -0.104 & 1.587 \\ \bottomrule \end{tabular} \begin{tabular}{lcccccc} \toprule \textbf{Tarefas} & \textbf{coef} & \textbf{std err} & \textbf{z} & \textbf{P$> |$z$|$} & \textbf{[0.025} & \textbf{0.975]} \\ \midrule \textbf{Intercept} & 82.9811 & 1.843 & 45.029 & 0.000 & 79.369 & 86.593 \\ \textbf{treatment} & 0.7418 & 0.431 & 1.719 & 0.086 & -0.104 & 1.587 \\ \bottomrule \end{tabular} \]
Destrinchando abaixo, os efeitos diferem para meninos e meninas. A literatura relata que os meninos tem maior viés-presente, então a desutilidade de estar atrás do ponto de referência na meta baseada em tarefas é maior, o que pode explicar o efeito maior e significativo desse tipo de estratégia para aumentar as notas.

\begin{tabular}{lcccccc}
\toprule \textbf{Tarefas-mas} & \textbf{coef} & \textbf{std err} & \textbf{z} & \textbf{P$> |$z$|$} & \textbf{[0.025} & \textbf{0.975]} \\
\midrule
\textbf{Intercept} & 77.9859 & 2.118 & 36.815 & 0.000 & 73.834 & 82.138 \\
\textbf{treatment} & 1.7873 & 0.657 & 2.722 & 0.006 & 0.501 & 3.074 \\
\bottomrule
\end{tabular}

\begin{tabular}{lcccccc}
\textbf{Tarefas-fem}& \textbf{coef} & \textbf{std err} & \textbf{z} & \textbf{P$> |$z$|$} & \textbf{[0.025} & \textbf{0.975]} \\
\midrule
\textbf{Intercept} & 83.3998 & 1.850 & 45.089 & 0.000 & 79.775 & 87.025 \\
\textbf{treatment} & -0.1285 & 0.571 & -0.225 & 0.822 & -1.247 & 0.990
\bottomrule
\end{tabular}

\begin{tabular}{lcccccc}
\toprule
\textbf{Perform-mas} & \textbf{coef} & \textbf{std err} & \textbf{z} & \textbf{P$> |$z$|$} & \textbf{[0.025} & \textbf{0.975]} \\
\midrule
\textbf{Intercept} & 81.6697 & 2.427 & 33.657 & 0.000 & 76.914 & 86.426 \\

\textbf{treatment} & 0.4304 & 0.594 & 0.725 & 0.469 & -0.734 & 1.595 \\
\bottomrule
\end{tabular}

\begin{tabular}{lcccccc}
\toprule \textbf{Perform-fem} & \textbf{coef} & \textbf{std err} & \textbf{z} & \textbf{P$> |$z$|$} & \textbf{[0.025} & \textbf{0.975]} \\
\midrule
\textbf{Intercept} & 83.1045 & 1.569 & 52.981 & 0.000 & 80.030 & 86.179 \\
\textbf{treatment} & 0.1807 & 0.536 & 0.337 & 0.736 & -0.870 & 1.231 \\

\bottomrule
\end{tabular}

A conclusão é bastante direta. Metas baseadas em tarefas é um mecanismo simples e eficaz (pelo menos para garotos) e que pode melhorar os indicadores e efeitos da educação sem incorrer em muitos custos. O takeaway é, na verdade, para os professores para que, conhecendo esse mecanismo de incentivos, possam formar nudges pequenos para induzir maior esforço dos alunos.

O código utilizado para criar as tabelas estão abaixo e, havendo qualquer dúvida, pode entrar em contato comigo.

Lendo os dados
if name == 'main':
import os
import pyreadstat
from statsmodels.formula.api import ols

os.chdir('C:\\Users\\Hiro Nagata\\Documents\\Python\\Cajueiro - Apresentacao\\goals_Replication\\data')


dtafile = 'Goals_CGPR.dta'
df, meta = pyreadstat.read_dta(dtafile)

Dividindo a amostra

#Dividing samples
performance = df[df["sample"] == 1]
task = df[df["sample"] == 2]

task_boys = task[task["male"] == 1]
task_girls = task[task["male"] == 0]
performance_boys = performance[performance["male"] == 1]
performance_girls = performance[performance["male"] == 0]

Regressões

    #Regressions
fit_task = ols('credit ~ treatment + I(age**2)*male + age*sat*male + age * hs_gpa *male + age*ct*male + I(sat**2)*male + sat*hs_gpa*male + sat * ct*male + I(hs_gpa**2)*male + hs_gpa*ct*male + I(ct**2)*male + C(irace)*age*male + C(irace)*sat*male + C(irace)*hs_gpa*male + C(irace)*ct*male + ap*age*male + ap*sat*male + ap*hs_gpa*male + ap*ct*male +fall*age*male + fall*sat*male + fall*hs_gpa*male + fall*ct*male', data = task).fit(cov_type='HC1')
print(fit_task.summary().as_latex())

fit_perf = ols('credit ~ treatment + I(age**2)*male + age*sat*male + age * hs_gpa *male + age*ct*male + I(sat**2)*male + sat*hs_gpa*male + sat * ct*male + I(hs_gpa**2)*male + hs_gpa*ct*male + I(ct**2)*male + C(irace)*age*male + C(irace)*sat*male + C(irace)*hs_gpa*male + C(irace)*ct*male + ap*age*male + ap*sat*male + ap*hs_gpa*male + ap*ct*male +fall*age*male + fall*sat*male + fall*hs_gpa*male + fall*ct*male', data = performance).fit(cov_type='HC1')
print(fit_perf.summary().as_latex())

#Gender-based
fit_task_boy = ols('credit ~ treatment + I(age**2) + age*sat + age * hs_gpa  + age*ct + I(sat**2) + sat*hs_gpa + sat * ct + I(hs_gpa**2) + hs_gpa*ct + I(ct**2) + C(irace)*age + C(irace)*sat + C(irace)*hs_gpa + C(irace)*ct + ap*age + ap*sat + ap*hs_gpa + ap*ct +fall*age + fall*sat + fall*hs_gpa + fall*ct', data = task_boys).fit(cov_type='HC1')
print(fit_task_boy.summary().as_latex())
fit_task_girl = ols('credit ~ treatment + I(age**2) + age*sat + age * hs_gpa  + age*ct + I(sat**2) + sat*hs_gpa + sat * ct + I(hs_gpa**2) + hs_gpa*ct + I(ct**2) + C(irace)*age + C(irace)*sat + C(irace)*hs_gpa + C(irace)*ct + ap*age + ap*sat + ap*hs_gpa + ap*ct +fall*age + fall*sat + fall*hs_gpa + fall*ct', data = task_girls).fit(cov_type='HC1')
print(fit_task_girl.summary().as_latex())
fit_perf_boy = ols('credit ~ treatment + I(age**2) + age*sat + age * hs_gpa  + age*ct + I(sat**2) + sat*hs_gpa + sat * ct + I(hs_gpa**2) + hs_gpa*ct + I(ct**2) + C(irace)*age + C(irace)*sat + C(irace)*hs_gpa + C(irace)*ct + ap*age + ap*sat + ap*hs_gpa + ap*ct +fall*age + fall*sat + fall*hs_gpa + fall*ct', data = performance_boys).fit(cov_type='HC1')
print(fit_perf_boy.summary().as_latex())
fit_perf_girl = ols('credit ~ treatment + I(age**2) + age*sat + age * hs_gpa  + age*ct + I(sat**2) + sat*hs_gpa + sat * ct + I(hs_gpa**2) + hs_gpa*ct + I(ct**2) + C(irace)*age + C(irace)*sat + C(irace)*hs_gpa + C(irace)*ct + ap*age + ap*sat + ap*hs_gpa + ap*ct +fall*age + fall*sat + fall*hs_gpa + fall*ct', data = performance_girls).fit(cov_type='HC1')
print(fit_perf_girl.summary().as_latex())

Referências

Ramos, C. A. (2015). Introdução à economia da educação. Alta Books Editora.

...