I. INTRODUCCIÓN

En el año 2012, la Facultad de Ciencias Económicas y de Administración (FCEA), de la Universidad de la República del Uruguay, implementó un cambio en su plan de estudios.

El nuevo plan de estudios (Plan 2012) presenta varias diferencias respecto al plan de estudios anterior (Plan 1990), entre las que se destacan: menor duración de las carreras que se ofrecen, la semestralización de todas las asignaturas, sistema de creditización, mayor flexibilidad, por ejemplo, para la realización de asignaturas opcionales, incorporación de actividades integradores que contribuyan a fortalecer el vínculo entre lo práctico y teórico, y la posibilidad de realizar pasantías para finalizar la carrera (eliminando la obligatoriedad de la monografía final). Los principales objetivos del cambio de plan podrían sintetizarse en:

1. Reducir las tasas de desvinculación, particularmente durante el primer año de la carrera.
2. Aumentar la cantidad de créditos realizados por semestre y, por lo tanto, por año.
3. Generar perfiles específicos dentro de cada carrera, según las materias opcionales que selecciona cada estudiante.
4. Incrementar las tasas de egreso.
5. Aumentar la realización de posgrados en un esquema de 4+2: 4 años de carrera de grado más 2 años de posgrados.

En este contexto, el objetivo principal de este trabajo radica en analizar si el cambio de plan de estudios tuvo algún efecto sobre el proceso de acumulación de créditos de los estudiantes para las 4 primeras cohortes tratadas por dicho plan (generaciones 2012 a 2015) respecto a las 4 cohortes inmediatas del plan anterior (generaciones 2008 a 2011).

Más allá del objetivo anterior, se entiende que este trabajo hace aportes en dos sentidos adicionales. En primer lugar, es original, en el sentido de que en la FCEA es la primera vez que se evalúa un cambio del plan de estudios. Un segundo aporte, refiere a la utilización de los registros administrativos existentes en la Universidad de la República y en la FCEA para el análisis del desempeño estudiantil.

II. METODOLOGÍA

En términos generales, la hipótesis que se pretende poner a prueba es: Los estudiantes del Plan 2012 tienen un mejor desempeño en la acumulación de créditos que sus pares del Plan 1990.

Por ahora, por mejor desempeño nos referimos a valores más altos en alguna variable de resultado. Más adelante, se presentan en detalle  las que se usaron en este trabajo.

La situación que se enfrenta es análoga a la que se plantea cuando se desea evaluar, por ejemplo, un programa público de capacitación laboral a desempleados, o los efectos de un tratamiento médico sobre una población de pacientes. Todos estos problemas pueden catalogarse como problemas de inferencia causal y se distinguen por pretender analizar algo que va más allá de la significación estadística de una correlación.

Admitamos, entonces, que estamos frente a una hipótesis causal. Las hipótesis causales, a diferencia de las estadísticas, implican una relación que no puede ser definida solamente a partir de la distribución conjunta de las variables aleatorias observables y por tanto su tratamiento requiere un marco conceptual distinto al de la inferencia tradicional.

El modelo de resultados potenciales

En este trabajo se adopta el modelo de resultados potenciales, así denominado por Holland (Holland, 1986), propuesto por Rubin (Rubin, 1974, 1978).

Ajustar nuestro caso a este marco conceptual implica suponer que existe una superpoblación U de N individuos (estudiantes) que son sometidos a dos posibles tratamientos (desarrollar su actividad académica en la FCEA bajo el Plan 2012 o el Plan 1990). Cada individuo puede ser sometido a cualquiera de los tratamientos. Para cada  designemos por  a la variable que vale 1, si el individuo i es tratado (o sea, el estudiante desarrolla su actividad académica bajo el Plan 2012) y vale 0 si es no tratado (o sea, cuando desarrolla su actividad académica bajo el Plan 1990). Luego, a cada individuo  se le asocian dos variables adicionales,  y  que se denominan resultados potenciales y se definen como los resultados que se observarían para el i-ésimo individuo en el caso de ser tratado o ser no tratado, respectivamente.

En estas condiciones, el efecto del tratamiento, o efecto causal respecto a no ser tratado, para el individuo i, se define como la diferencia:

-  [1]

De esta manera, la causalidad viene dada al suponer que lo único que varía entre  y  es la condición de tratado o no.

Así definido, es claro que el efecto causal depende de la distribución conjunta de (Y(1), Y(0), W) de la cual, dado el problema fundamental, no se observan realizaciones. En otras palabras, para el individuo i se observa (, . , ) ó (., ). En este sentido, el problema de la inferencia causal puede pensarse como un problema de valores faltantes.

Llamemos  al valor del resultado potencial efectivamente observado. Para cerrar el modelo es necesario vincular las variables observables,  y , con los resultados potenciales, variables no observables, al menos conjuntamente. Para ello se supone que se cumple la siguiente relación:

 [2]

Supongamos que los vectores de variables observables () son variables aleatorias independientes e idénticamente distribuidas.

Supongamos, además, que nuestro interés recae en la magnitud del efecto promedio del tratamiento en la población que llamamos parámetro causal y anotamos ATE (Average Treatment Effect):

ATE = E(Y(1)) - E(Y(0)) [3]

III. BASE DE DATOS Y VARIABLES

En esta sección se presenta, una descripción de las principales variables consideradas: variables sociodemográficas que caracterizan a los estudiantes al ingresar a FCEA y variables resultado: cantidad de créditos acumulados por año.

Base de datos

Los datos utilizados en este trabajo provienen de dos fuentes de información: registros del Sistema de Gestión de Bedelías (SGB) y el formulario de ingreso a FCEA de la División Estadística de la Dirección General de Planeamiento (DGPLAN).

Como ya se mencionó, las generaciones consideradas en este trabajo son: 2008 a 2011 del Plan 1990 y 2012 a 2015 del Plan 2012.

Entre 2008 y 2015 se inscribieron 15974 estudiantes en la FCEA y un 93.6% de ellos completó el formulario de ingreso. De éstos, son descartados del análisis los 795 estudiantes que ingresan a FCEA en el mes de Julio y los 162 estudiantes  para los que no se cuenta con información en alguna de las variables relevantes para el análisis realizado. Así, la base de datos utilizada en este trabajo está compuesta por información referente a 13997 estudiantes. Su distribución por generación se presenta en la Tabla 1.

Variables de desempeño

La evaluación del desempeño académico de los estudiantes se mide a través del grado de avance en la carrera. Para ello, se proponen las siguientes medidas:

• La cantidad de créditos aprobados (en términos de créditos equivalentes del plan 2012).
• La condición de tener al menos un curso semestral aprobado.
• La condición de tener al menos dos cursos semestrales o uno anual.

En la Tablas 2 y 3 se presentan, para el Plan 1990 y Plan 2012, respectivamente, el promedio de créditos equivalentes del plan 2012  aprobados () y la proporción de estudiantes que aprueban al menos una asignatura semestral (>0) y al menos dos asignaturas semestrales o una anual (>10) para i=1:4, donde i indica el número de años desde el ingreso del estudiante a FCEA.

Al analizar las diferencias de medias (y proporciones) entre generaciones teniendo en consideración el plan de estudios, se observan comportamientos diferentes. Para el caso de las generaciones 2008 a 2011 (Plan 1990) no se observan diferencias en ninguna de las tres variables de resultado, sin embargo, al comparar las cuatro generaciones del Plan 2012 sí se observan diferencias, que pueden resumirse en un desmejoramiento en el desempeño en la acumulación de créditos con el paso de las generaciones.

Considerando únicamente los resultados del primer año se destaca la relativa estabilidad observada en la acumulación de créditos en las generaciones del Plan 1990 contra la variabilidad de los estudiantes del nuevo plan, especialmente en términos de la variable cred. La acumulación de créditos en el primer año presenta un fuerte incremento en el año 2012. En las generaciones siguientes, el rendimiento decae.

Se observa un comportamiento análogo al analizar los créditos de aquellos estudiantes que aprueban al menos una materia (cred > 0) y al menos 2 (cred > 10).

Notemos que los comentarios anteriores se realizan sin tomar en consideración que lo que se está analizando son datos observacionales y no experimentales, o sea, los comentarios realizados no tienen en consideración que la estructura de covariables de los estudiantes de ambos planes puede diferir y que dicha estructura puede estar influyendo en el rendimiento académico.

Covariables

La evaluación del efecto del plan de estudios sobre los resultados académicos se lleva a cabo controlando por el efecto de otras variables (covariables) que se considera que están asociadas con el desempeño académico. Estas son tomadas del formulario de ingreso y presentan las siguientes características:

• Edad: Edad, categorizada, del estudiante al ingresar a facultad. Categorías: 17 a 19 años, 20 a 22 años, 23 a 26 años, 27 a 30 años, 31 años y más.
• Sexo: Sexo del estudiante. Variable dicotómica: 1 = Femenino y 0 Masculino.
• Sexto: Tipo y localidad de la institución donde el estudiante cursó su educación pre-universitaria. Categorías: Interior privada, Interior pública, Montevideo privada, Montevideo pública.
• Educación del hogar: Máximo nivel educativo de los padres (hogar) del estudiante. Categorías: bajo, medio y alto. El nivel educativo bajo incluye desde primaria incompleta hasta educación media incompleta (inclusive), el nivel educativo medio incluye hasta educación terciaria/universitaria incompleta (inclusive) y el nivel educativo alto incluye educación terciaria/universitaria completa o más.
• Situación laboral: Cantidad de horas que el estudiante trabajaba semanalmente al momento de ingreso a la facultad. Categorías: no trabaja, trabaja hasta 30 horas y trabaja más de 30 horas.
• EDA: Variable que indica si en algún momento de su vida académica el estudiante se inscribió a la Escuela de Administración (EDA). Variable dicotómica: 1 = Si y 0 = No.

  En la Tabla 4 se presenta la distribución de las covariables consideradas según la generación de ingreso. Se puede observar que la composición tanto por género como por institución pre-universitaria es similar para todas las generaciones.

En cuanto a la edad de ingreso, se observa un cambio en la tendencia a partir del año 2012: la proporción de estudiantes que ingresan con edad entre 17 y 19 es menor a partir del 2012, mientras que la proporción de estudiantes mayores de 23 años aumenta sistemáticamente año a año.

Por otra parte, al analizar el nivel educativo de los hogares de los estudiantes que ingresan a FCEA, se tiene que al máximo nivel educativo alcanzado en el hogar, para los años 2008 y 2009 se presenta relativamente estable con una distribución en tercios. A partir del año 2010 y hasta 2012, la distribución se modifica: aumenta la proporción de estudiantes cuyo hogar presenta su nivel máximo de educación bajo, y disminuye la proporción de nivel alto. A partir del 2013 se aprecia un nuevo cambio a favor de los hogares con mayor nivel educativo, con respecto a los de nivel medio.

Un comportamiento similar se observa con la variable que refleja la situación laboral del estudiante al ingreso a facultad. Entre los años 2008 y 2010 no se observan diferencias considerables en la composición por generaciones. A partir del 2012 la composición es distinta, decrece la cantidad de estudiantes que no trabajan y se da un incremento de la proporción de estudiantes que trabajan más de 30 horas.

Por último, en cuanto a la proporción de estudiantes que alguna vez estuvo inscripto en la EDA, se observa que entre 2008 y 2011 existe una tendencia a la baja, que se potencia aún más a partir del año 2012.

IV. RESULTADOS

En el análisis realizado se consideran cuatro grupos de tratamiento/control en función de las generaciones que intervienen en la comparación:

• T/C1: Grupo tratado = Estudiantes de las generaciones 2012 a 2015 (7515 estudiantes) y Grupo de control = Estudiantes de las generaciones 2008 a 2011 (6482 estudiantes).
• T/C2: Grupo tratado = Estudiantes de las generaciones 2012 a 2014 (5546 estudiantes) y Grupo de control = Estudiantes de las generaciones 2008 a 2010 (4713 estudiantes).
• T/C3: Grupo tratado = Estudiantes de las generaciones 2012 a 2013 (3568 estudiantes) y Grupo de control = Estudiantes de las generaciones 2008 a 2009 (3095 estudiantes).
• T/C4: Grupo tratado = Estudiantes de la generación 2012 (1749 estudiantes) y Grupo de control = Estudiantes de la generación 2008 (1457 estudiantes).

Con el objetivo de ilustrar la lógica de los análisis realizados y no recargar el texto principal, en lo que sigue de esta sección se presentan solamente los resultados para los grupos de tratamiento y control T/C1. En el anexo se presentan los mismos resultados para T/C2. T/C3 y T/C4.

Diferencias en las covariables

Para analizar qué tan lejos se está de un experimento totalmente aleatorizado, donde las covariables deberían tener similares distribuciones en los grupos de tratamiento y control, pueden ensayarse varios diagnósticos. En particular las pruebas t para las proporciones en cada categoría de las covariables es bastante convencional. En la Tabla 5 se presentan estos resultados.

Se observa que la composición por sexo y educación pre-universitaria no presenta diferencias significativas al comparar ambos planes. En las demás variables, sí se observan diferencias.

Al analizar la variable edad se detecta que al nuevo plan de estudios ingresa una proporción mayor de estudiantes con extra edad (20 años o más) que al plan anterior. Se modifica también la composición en relación al nivel educativo máximo del hogar. La principal diferencia es que se invierte la proporción de estudiantes que provienen de hogares cuyo máximo nivel educativo es alto y medio.

Por otra parte, en cuanto a la situación laboral de los estudiantes, se observa que la proporción de estudiantes que trabaja es mayor en las nuevas generaciones de ingreso a FCEA. En estas generaciones hay, también, más estudiantes con mayor carga horaria laboral.

Pruebas t de diferencia de medias

Siguiendo con el análisis y manteniendo el supuesto de que los datos son obtenidos a partir de un experimento totalmente aleatorizado, otra hipótesis factible de poner a prueba, más débil que la anterior, es una prueba de diferencia de medias:

H0: ATE = 0 [4]

que puede ser testeada consistentemente. Asumiendo normalidad se tienen los resultados convencionales de una prueba t que se presentan, para las tres variables de resultado consideradas para el primer año en facultad (cred1, cred1>0 y cred1>10), en la Tabla 6.

Se observa que existe una diferencia significativa en la acumulación de créditos entre estudiantes de un plan y otro, y que dicha diferencia es a favor del nuevo plan de estudios, es decir, que los estudiantes del Plan 2012 acumulan más créditos (en promedio) que los estudiantes del Plan 1990, en su primer año en facultad.

Modelos de regresión

En el próximo paso del análisis se adopta el supuesto de independencia condicional dadas las covariables disponibles. Se estiman modelos de regresión lineal y logística para las variables de resultado , >0 y >10 respectivamente. sobre una variable indicadora del tratamiento (Tratamiento (Plan 2012) que vale 1 para los estudiantes tratados. o sea estudiantes de las generaciones que pertenecen al Plan 2012 y 0 para los estudiantes del Plan 1990 que forman el grupo control) y el resto de las covariables disponibles. Los resultados se pueden consultar en las Tablas 7 a 9.

Notemos que el supuesto de independencia condicional garantiza la exogeneidad de la variable tratamiento y por tanto la estimación del efecto causal, el parámetro asociado a la variable Tratamiento (Plan 2012) es estimado consistentemente.

Se puede observar que en las 3 especificaciones la variable tratamiento (Plan 2012) resulta significativa y con signo positivo. Es decir, los estudiantes inscriptos bajo el nuevo plan de estudios aprueban más créditos en promedio que los alumnos del Plan 1990, durante el primer año de la carrera. Estos resultados se mantienen al estimar el efecto del nuevo plan sobre el desempeño académico en los primeros 2, 3 y 4 primeros años en FCEA (consultar resultados en el Anexo).

En promedio, los estudiantes de las generaciones 2012 a 2015 obtienen en el primer año de carrera 5.05 créditos más que los estudiantes que ingresaron en los años 2008 a 2011. Al considerar la acumulación de créditos en los 2. 3 y 4 primeros años, el incremento de créditos es de 8.86. 12.66 y 22.55, respectivamente. Se observa así, que a medida que el estudiante avanza en la carrera, el efecto del Plan 2012 es cada vez mayor (los resultados se pueden consultar en el Anexo).

En cuanto a los estudiantes que aprueban alguna y más de una materia en el primer año, se observa que estar inscripto en el Plan 2012 aumenta la probabilidad de acumular créditos.

Por último, a partir de los modelos estimados, se puede concluir que existe un conjunto de características que se asocian con el desempeño académico de forma significativa en los 3 modelos (variables a explicar: Y = cred1, Y = cred1>0 y Y = cred1>10): edad al ingresar a FCEA, sexo, situación laboral y EDA. La edad del estudiante presenta una relación negativa con los créditos aprobados. La diferencia está en tener entre 17 y 19 años al momento del ingreso o ser mayor de 19 (extra-edad). y empeora cuanto mayor es dicha extra-edad.

Por otra parte, se observa que ser estudiante mujer tiene un efecto positivo en la acumulación de créditos.

En lo que refiere a la situación laboral del estudiante al ingresar a FCEA, se observa que trabajar tiene un fuerte efecto negativo sobre el desempeño estudiantil en su primer año en Facultad. El desempeño empeora al aumentar la cantidad de horas trabajadas. Por último, se destaca que haberse inscripto en la EDA se asocia negativamente con el desempeño del estudiante, en los 3 modelos estimados.

La principal diferencia que se observa al considerar el efecto del nuevo plan de estudios, sobre el rendimiento académico en los primeros 2. 3 y 4 años, controlando por las mismas covariables, es la diferencia significativa que existe en la acumulación de créditos por parte de los estudiantes cuya educación pre-universitaria fue en una institución privada del interior respecto a quienes cursaron en una institución privada de Montevideo. El rendimiento de estos últimos es peor (los resultados se pueden consultar en el Anexo).

Matching

El último paso del análisis es estimar el efecto del Plan 2012 emparejando a los estudiantes pertenecientes a uno y otro plan en función de las covariables consideradas.

Como las covariables utilizadas son todas categóricas, tenemos que son posibles 720 subpoblaciones idénticas en términos de dichas covariables. De estas subpoblaciones se registran casos en 510 y 405 de ellas para tratamiento y control, respectivamente. Adicionalmente, en 372 de las posibles 720 configuraciones se registran casos de individuos tratados y no tratados. Restringiéndonos a estos casos, queda un total de 7251 (se pierde un 3.5% de los casos) del grupo tratado y 6446 (se pierde un 0.6% de casos del grupo de control). De lo anterior resulta que ninguno de los dos problemas teóricos que pueden entorpecer un análisis de las diferencias en las variables de resultados (el problema de la dimensionalidad y  el problema de distintos soportes), parece ser relevante para el caso concreto, por lo menos cuando se analiza el grupo T/C1.

El estimador de full matching viene dado por:

donde ={} siendo  una configuración particular de las covariables observadas y  =+ es el total de individuos en  donde hay  y  individuos de tratamiento y control, respectivamente.

Bajo el supuesto de independencia condicional, el estimador anterior es consistente para estimar ATE.

Los valores estimados y sus respectivos desvíos para las distintas variables de resultado, se presentan en la Tabla 10.

V. CONCLUSIONES

El nuevo plan de estudios de la Facultad de Ciencias Económicas y de Administración implementado en el año 2012 (Plan 2012) incorpora cambios sustanciales respecto al plan de estudios activo desde 1990 (Plan 1990). A través del nuevo plan se ofrecen carreras de grado de menor duración, asignaturas semestrales basadas en sistemas de créditos, mayor flexibilidad para la realización de asignaturas opcionales fortalecer el vínculo entre lo práctico y teórico, y se plantea la posibilidad de realizar pasantías para finalizar la carrera. Esto permite fortalecer la articulación con el ámbito laboral y con el desarrollo de posgrados de forma más temprana.

En este trabajo se analiza el efecto del Plan 2012 sobre el desempeño educativo de los estudiantes, medido a través de la acumulación de créditos. Las técnicas utilizadas y comparadas son: regresión lineal y full matching.

Los principales resultados presentados surgen de comparar la acumulación de créditos de primer año en los estudiantes de las generaciones 2012 a 2015 (Plan 2012/Tratamiento) contra generaciones 2008 a 2011 (Plan 1990/Control).

Al controlar por el efecto de las covariables, se observa, que el Plan 2012 impacta de forma positiva, significativa y sustancial sobre el desempeño educativo de los estudiantes al estimar su efecto con cualquiera de las estrategias presentadas en este trabajo.

ANEXO

Grupo tratamiento – Control T/C2

Diferencias en covariables

Pruebas t de diferencia de medias

Modelo de regresión