En los medios

Bastión Digital
7/12/16

El regreso de Otaegui

El codirector de la Maestría en Econometría, analiza si hubo una manipulación del marco muestral de escuelas argentinas en las pruebas PISA

Por Martín González-Rozada
En 1993, Mariano Grondona conducía por televisión el programa político “Hora Clave”. Ese año, en las elecciones para diputados nacionales de la Provincia de Buenos Aires competían Federico Storani por la UCR y Alberto Pierri por el PJ. En las semanas previas a la elección, Grondona mostraba al encuestador Javier Otaegui quien, mediante una encuesta telefónica, daba sus pronósticos electorales. A una semana de las elecciones, y al final de “Hora Clave”, Otaegui dio su veredicto: sus encuestas telefónicas daban ganador a Federico Storani por amplio margen. Llegó el día de las elecciones y Pierri termino ganando por 22 puntos de diferencia. La población objetivo (el universo sobre el que se quiere sacar alguna conclusión, en este ejemplo el padrón electoral) no coincidía con el marco muestral (la lista de todos los elementos de la población objetivo, en el ejemplo, la guía telefónica). Quienes tenían teléfono fijo en la Provincia de Buenos Aires eran solo una proporción de la población objetivo y Storani era claramente favorito entre ellos. Si el marco muestral solo contiene a una parte de la población objetivo y la opinión de esa parte es diferente de la opinión del resto de la población (no incluida en el marco) entonces no es posible hacer inferencia estadística. Esto es lo que usualmente se conoce como error de cobertura. En otras palabras, no es posible hacer afirmaciones sobre la población objetivo cuando el marco muestral no representa a esa población. La muestra de Otaegui provenía de un marco muestral que no representaba a todos los votantes en la Provincia de Buenos Aires y por lo tanto no era representativa de la población objetivo.

En un excelente post aquí en Bastion, Alejandro Ganimian explica claramente que este mismo problema de cobertura descripto arriba ocurrió en Argentina con la prueba PISA de 2015. El marco muestral difiere de la población objetivo del estudio. En particular, Alejandro detalla que este problema podría deberse a la reestructuración de la educación primaria y secundaria de la Ley de Educación Nacional de 2006.  En palabras de Alejandro “el marco muestral solo cubre al 55% de la población total de jóvenes de 15 años”. ¿Quiénes están ausentes del marco muestral? En principio, como las pruebas PISA incluyen a jóvenes de entre 15 y 16 años de séptimo grado en adelante quienes “faltan” principalmente en el marco muestral provisto por Argentina son estudiantes de entre 15 y 16 años que están matriculados en grados inferiores a séptimo. En otras palabras, faltan los estudiantes “más repetidores”. El marco muestral no coincide con la población objetivo. El marco muestral contiene a los estudiantes que son “menos repetidores” relativamente a los estudiantes “más repetidores” que están en la población objetivo pero no en el marco muestral. Hay un error de cobertura.

¿Por qué pasa esto? Alejandro adelanta una potencial explicación.  El Artículo 134 de la Ley Nacional de Educación que cita el post dice: “A partir de la vigencia de la presente ley cada jurisdicción podrá decidir sólo entre dos opciones de estructura para los niveles de Educación Primaria y Secundaria de la educación común: (a) una estructura de seis (6) años para el nivel de Educación Primaria y de seis (6) años para el nivel de Educación Secundaria o, (b) una estructura de siete (7) años para el nivel de Educación Primaria y cinco (5) años para el nivel de Educación Secundaria” y Alejandro nos cuenta que en Argentina 12 de las 24 jurisdicciones eligieron la alternativa (a). Todas las escuelas que antes tenían séptimo grado y que ahora, bajo la alternativa (a), no lo tienen quedan excluidas del marco. La muestra aleatoria que toma la OCDE se basa en el marco muestral y como el marco muestral de 2015 no representa a la población objetivo no es posible hacer ninguna afirmación acerca de la prueba PISA en Argentina ni comparar su resultado con resultados anteriores.

En las pruebas PISA anteriores el marco muestral nunca incluyó menos del 69% de la población total de jóvenes de 15 años. ¿La diferencia entre este porcentaje y el de 2015, se puede explicar solamente por la ausencia de los estudiantes “más repetidores” (“efecto Otaegui”)? ¿O además hubo una manipulación del marco muestral de escuelas? Las autoridades actuales de Argentina debieran aclarar esto.