Informe Pisa 2006: Hallazgos Fundamentales

https://eduteka.icesi.edu.co/articulos/Pisa2006Hallazgos

INFORME PISA 2006
HALLAZGOS FUNDAMENTALES

PISA 2000 | PISA 2003 | PISA 2006 | PISA 2009
PISA 2009 Estudiantes en Línea | PISA 2012 | PISA 2015

El Programa Internacional de Evaluación de Estudiantes (PISA) está auspiciado por la UNESCO y la Organización para la Cooperación y el Desarrollo Económico (OCDE) [1]. En la primera etapa de esta iniciativa (2000-2001) participaron 43 países en la prueba de Lectura; 42 lo hicieron en el 2003 para la segunda en Matemáticas y 57 en la tercera de Ciencias en el 2006. Entre los participantes de esta última se encuentran España, Chile, Uruguay, México, Argentina, Brasil, Colombia y Portugal.

Dada la importancia de este Programa de evaluación, en el que participan muchos de los países más avanzados del mundo, ponemos a disposición de nuestros usuarios la traducción de algunos de los hallazgos fundamentales de la tercera versión de la prueba, realizada en 2006 [2].

Tal como lo anunció en el 2003 el entonces director del Icfes, Daniel Bogoya, Colombia participó en esta tercera etapa del Proyecto PISA, que se centró en el Dominio de la Competencia Científica por parte de los estudiantes. La participación de Colombia en este programa refuerza la decisión del Ministerio de Educación por evaluar a sus estudiantes mediante pruebas internacionales como esta y nacionales como las “Saber”. Con los resultados de ellas pretende establecer el nivel en el que se encuentran ubicados los estudiantes colombianos y plantear los correctivos que se deben aplicar para mejorar los procesos de enseñanza-aprendizaje de estos.  

DESEMPEÑO EN CIENCIAS

• Finlandia, con un puntaje promedio de 563 puntos, fue el país con el mayor puntaje para Ciencias en la escala establecida por PISA 2006 [ver la tabla de puntajes y la caracterización de los 6 niveles en el documento “Evaluación PISA 2006”].

• Otros seis países, con altos puntajes, alcanzaron promedios de 530 a 542 puntos. Estos fueron: Canadá, Japón y Nueva Zelanda y los países/economías asociados de Hong Kong-China, Taipei-China y Estonia. Otros países como Australia, Holanda, Corea, Alemania, Reino Unido, República Checa, Suiza, Austria, Bélgica e Irlanda, además de los países/economías asociados de Liechtenstein, Eslovenia y Macao-China, obtuvieron también un puntaje superior al promedio de la OCDE [1] con 500 puntos.

• En promedio, entre los países de la OCDE, 1.3% de los estudiantes de 15 años alcanzó el Nivel 6 de la escala PISA 2006 para Ciencias, correspondiente al nivel más alto de competencia. Estos estudiantes pudieron identificar, explicar y aplicar de manera consistente tanto conocimientos científicos como conocimientos sobre las ciencias, en una variedad de situaciones de vida complejas. En Nueva Zelanda y en Finlandia este porcentaje fue por lo menos de 3.9% de los estudiantes, tres veces el promedio de la OCDE. En el Reino Unido, Australia, Japón y Canadá, así como en los países/economías asociadas de Liechtenstein, Eslovenia y Hong Kong-China, entre un 2% y un 3% de los estudiantes alcanzaron el Nivel 6 [3].

• A partir del desempeño general de un país no se puede predecir en forma confiable el número de estudiantes que se ubicarán en el Nivel 6. Corea fue uno de los países que obtuvo uno de los puntajes más altos en el componente Ciencias de la prueba PISA, en términos del desempeño de sus estudiantes, con un puntaje promedio de 522 puntos; mientras que los Estados Unidos estuvo por debajo del promedio de la OCDE, con un puntaje de 489. Sin embargo, los Estados Unidos y Corea tuvieron un porcentaje similar de estudiantes en el Nivel 6.

• El número de estudiantes con desempeño muy bajo constituye también un indicador importante –no necesariamente relacionado con el desarrollo futuro de personal científico, sino en términos de la habilidad de los ciudadanos para participar activamente en la sociedad y en el mercado laboral. A partir del Nivel 2 [3] los estudiantes empiezan a demostrar las habilidades en ciencias que les permitirán participar activamente en situaciones relacionadas con las ciencias y la tecnología. En el conjunto de la OCDE, un promedio de 19.2% clasificaron por debajo del Nivel 2, incluyendo un 5.2% que lo hizo por debajo del Nivel 1.
 
• En la mayoría de los países, en 22 de los 30 de la OCDE, no hubo diferencia en el desempeño promedio en ciencias entre hombres y mujeres. En 12 de los países las mujeres superaron en promedio a los hombres, en tanto que los hombres las superaron en 8 países. La mayoría de estas diferencias fueron pequeñas. En ninguno de los países de la OCDE la diferencia de género fue superior a 12 puntos en la escala establecida para Ciencias [3]. Esto es diferente en las áreas de Lectura y Matemáticas, donde se observaron grandes diferencias entre los géneros.
 
• Sin embargo, las similitudes en el desempeño promedio, ocultan ciertas diferencias entre géneros: En la mayoría de los países, las mujeres se desempeñaron mejor en la identificación de eventos científicos, en tanto que los hombres fueron más fuertes en la explicación científica de fenómenos. Los hombres superaron con creces a las mujeres al responder preguntas sobre física. Además, en la mayoría de los países un mayor número de mujeres logró un desempeño superior al de los hombres, en competencias escolares académicas. Por esta razón, en muchos países, las diferencias por género en ciencias fueron substanciales entre colegios y programas, así parecieran pequeñas cuando se miraban en conjunto.

• En promedio, en el conjunto de los países de la OCDE, cerca de un tercio de la variación total en el desempeño de los estudiantes (33%) se presentó entre los colegios de un determinado país, pero no fue significativa entre un país y otro. En Alemania y su país asociado Bulgaria, la variación del desempeño entre colegios fue cerca del doble del promedio de la OCED. En la República Checa, Austria, Hungría, Holanda, Bélgica, Japón e Italia y sus países asociados Eslovenia, Argentina y Chile, la variación fue una y media veces el promedio de la OCDE.

• En otros países las diferencias entre colegios jugaron un papel menor en la variación del desempeño. En Finlandia, menos del 5% de la variación total del desempeño, entre los países de la OCDE, correspondió a diferencias internas entre sus colegios y, en Islandia y Noruega estuvo por debajo del 10%. Otros países en los cuales el desempeño de los estudiantes no estuvo muy relacionado con los colegios fueron Suecia, Polonia, España, Dinamarca e Irlanda, así como los países asociados de Letonia y Estonia. Teniendo en cuenta que Finlandia también demostró los desempeños totales más altos en ciencias, podría decirse que los padres finlandeses pueden confiar en estándares de desempeño altos y consistentes en todos los colegios de su sistema educativo.

• En algunos países las diferencias socio-económicas tuvieron un peso significativo en el diferente desempeño entre los colegios. Este factor tuvo mayor peso en los Estados Unidos, la República Checa, Luxemburgo, Bélgica, la República Eslovaca, Alemania, Grecia y Nueva Zelanda, así como en los países asociados de Bulgaria, Chile, Argentina y Uruguay.

DESEMPEÑO EN LECTURA

• Corea, con 556 puntos, fue el país que obtuvo un mayor puntaje en lectura. Lo siguió Finlandia con 547 puntos y la economía asociada de Hong Kong-China que quedó de tercera con 536 puntos. Canadá y Nueva Zelanda obtuvieron unos puntajes entre 520 y 530 [3].

• La lectura es el área académica que presenta una mayor brecha entre los dos géneros. En todos los países de la OCDE en PISA 2006, las mujeres tuvieron, en promedio, mejor desempeño que los hombres. En doce de los países la brecha fue como mínimo 50 puntos. En Grecia y en Finlandia las mujeres superaron a los hombres por 57 y 51 puntos respectivamente, mientras que en los países asociados de Qatar, Bulgaria, Jordania, Tailandia, Argentina, Eslovenia, Lituania, Kirguistán, Letonia y Croacia la brecha estuvo entre 50 y 66 puntos.

• Dentro del área de la OCDE, el desempeño en lectura general se mantuvo estable entre las pruebas PISA 2000 y PISA 2006. Situación esta que debe analizarse teniendo en cuenta que hubo un incremento significativo en los niveles de gastos. En estos países, el gasto por estudiante de primaria y secundaria entre 1995 y 2004, aumentó en un 39% en términos reales. Sin embargo, dos países de la OCDE, Corea y Polonia, y cinco países/economías asociadas, Chile, Liechtenstein, Indonesia, Letonia y Hong Kong-China, han mostrado una mejora significativa en el desempeño en lectura desde PISA 2000.

• Los otros países que han mostrado incremento significativo en las pruebas de lectura entre PISA 2000 y PISA 2006 son: Chile (33 puntos), Liechtenstein (28 puntos), Indonesia (22 puntos) y Letonia (21 puntos), aunque Liechtenstein estuvo muy por debajo del promedio de la OCDE.

• Nueve países de la OCDE redujeron su desempeño en las pruebas de lectura entre PISA 2000 y PISA 2006. En orden descendente estos fueron: España, Japón, Islandia, Noruega, Italia, Francia, Australia, Grecia y México y, los países asociados de Argentina, Rumania, Bulgaria, la Federación Rusa y Tailandia.
 

DESEMPEÑO EN MATEMÁTICAS

• En PISA 2006 Finlandia y Corea, además de los asociados China-Taipei y Hong Kong-China, estuvieron muy por encima de todos los otros países.

• Otros países con desempeños promedios por encima del promedio de la OCDE fueron Holanda, Suiza, Canadá, Japón, Nueva Zelanda, Bélgica, Australia, Dinamarca, la República Checa, Islandia y Austria, así como también los países/economías asociadas de Macao-China, Liechtenstein, Estonia y Eslovenia.

• Si comparamos los resultados del desempeño en Matemáticas entre PISA 2006 y PISA 2003, encontramos que los siguientes países mejoraron su desempeño. México aumentó 20 puntos, pero con un total de 406 puntos aún se encuentra muy por debajo del promedio de la OCDE. Grecia aumentó 14 puntos, Indonesia 31 y Brasil 13.

• Las diferencias totales por género en Matemáticas fueron menos de un tercio de las diferencias que se presentaron en lectura: en promedio 11 puntos entre todos los países de la OCDE. Esto no ha cambiado desde PISA 2003.

ACTITUD DE LOS ESTUDIANTES HACIA LAS CIENCIAS

• El 93% de los estudiantes manifestaron que las Ciencias eran importantes para entender la naturaleza, el 92% dijeron que los avances en las Ciencias y la tecnología usualmente mejoran las condiciones de vida de la gente, pero solamente un 57% expresó que las Ciencias fueran muy importantes para ellos mismos. En todos los países en que se llevó a cabo la investigación, los estudiantes aceptaron que las Ciencias eran muy importantes para entender la naturaleza y para mejorar las condiciones de vida de la gente. Sin embargo, con respecto a los beneficios socio-económicos de estas, las respuestas de los estudiantes fueron menos entusiastas. En promedio en los países de la OCDE, un 25% de ellos (y por encima del 40% en Islandia y Dinamarca) no estuvo de acuerdo con la afirmación de que “usualmente los avances en las Ciencias traen beneficios sociales”.

• La mayoría de los estudiantes reportaron sentirse motivados hacia el aprendizaje de las Ciencias, pero solamente una minoría expresó interés en estudiar una carrera relacionada con éstas: 72% expresó la importancia de desempeñarse bien en Ciencias; 67% manifestó su gusto por aprender nuevas cosas sobre las Ciencias; 56% dijo que estas eran útiles para otros estudios; pero solamente un 37% dijo que les gustaría trabajar en una carrera relacionada con las Ciencias y un 21% afirmó que le gustaría pasar el resto de su vida practicando ciencia avanzada. Por otro lado, 21% manifestó  que veía con frecuencia en la Televisión programas sobre Ciencias; 13% dijo que visitaba regularmente sitios Web sobre Ciencias; 8% dijo que regularmente prestaba libros sobre Ciencias. En todos los países aquellos estudiantes que dijeron disfrutar el aprendizaje de las Ciencias, fueron los que tendieron a obtener los puntajes más altos en las pruebas. A pesar de que lo anterior no muestra una relación causal, los resultados sugieren que los estudiantes que manifiestan mayor interés y disfrute de las Ciencias, son los que están dispuestos a dedicarle los esfuerzos requeridos para un buen desempeño.

• Los estudiantes con niveles socio-económicos superiores tendieron a demostrar mayor interés general en las Ciencias y, esta tendencia fue más fuerte en Irlanda, Francia, Bélgica y Suiza. Un factor de peso en la inclinación del estudiante hacia las Ciencias fue que uno de sus padres ejerciera una carrera profesional o un trabajo relacionado con éstas.

• Entre los países de la OCED, 73% de los estudiantes expresaron tener conciencia de las consecuencias de destruir bosques para destinar su tierra a otros usos; 58% dijo estar al tanto del aumento de los gases invernadero en la atmósfera; y 35% dijo conocer sobre el uso de organismos genéticamente modificados (OGMs). Sin embargo, la conciencia sobre los asuntos relativos al medio ambiente varía según el país y dentro del país es más fuerte entre los estudiantes con mejor desempeño en las Ciencias.

• Se percibió algo de pesimismo entre los estudiantes sobre el futuro del medio ambiente: en promedio entre los países de la OCDE, solamente un 21% dijo creer que los problemas asociados con la escasez de energía podrían mejorar en el curso de los próximos 20 años; el 18% consideró que ésta era la causa para la escasez de agua; el 16% la adujo para la contaminación del aire; el 15% para los desechos nucleares; el 14% para la extinción de plantas y animales y el 13%, la atribuyó a la destrucción de los bosques para dar otro uso a la tierra. Los estudiantes con mejor desempeño en Ciencias, y con mayor conciencia sobre asuntos medioambientales, fueron también los más pesimistas sobre el futuro del medio ambiente.

• Las diferencias de género respecto a las actitudes hacia las Ciencias fueron más pronunciadas en Alemania, Islandia, Japón, Corea, Holanda y el Reino Unido y, en los asociados, China-Taipei, Hong Kong-China y Macao-China, donde los hombres registraron características más positivas en por lo menos cinco aspectos de actitud. Entre las actitudes que se midieron en PISA, la mayor diferencia por género se observó en el concepto personal de los estudiantes sobre las Ciencias. En 22 de los 30 países de la OCDE investigados, los hombres tenían un concepto mejor de sus propias habilidades en Ciencias que las mujeres.

FACTORES RELACIONADOS CON EL COLEGIO
Y EL NIVEL DEL SISTEMA EDUCATIVO

• El seguimiento hecho por la Institución Educativa está estrechamente relacionado con el impacto que los antecedentes socio-económicos tuvieron en el desempeño de los estudiantes. Mientras más temprano se estratifique a los estudiantes en instituciones o programas separados, más fuerte será el impacto que esos factores socio-económicos tienen en el desempeño. Así mismo las Instituciones Educativas  que separaron a los estudiantes según su habilidad en todas las materias mostraron en promedio, un desempeño inferior de sus estudiantes.

• En 21 de los países de la OCDE, los estudiantes de Instituciones Educativas (IE) privadas superaron a los de las públicas, mientras que en cuatro países las públicas superaron a las privadas. Sin embargo, el cuadro cambió cuando los antecedentes socio-económicos tanto de los estudiantes como de las Instituciones se tuvieron en cuenta. Las IE públicas en promedio, obtuvieron una ventaja de 12 puntos sobre las privadas en los países de la OCDE. Dicho lo anterior, las IE privadas aún pueden ser una alternativa atractiva para los padres que buscan maximizar los beneficios para sus hijos, incluyendo aquellos de tipo socio-económico provistos por la Institución. 

• En los países de la OCDE, el 60% de los estudiantes estaban matriculados en Instituciones Educativas cuyas directivas reportaron estar compitiendo con dos o más colegios de su localidad. Entre los países se considera que si se tiene un mayor número de Instituciones compitiendo por los estudiantes los resultados son mejores, aún por encima de la relación que puedan tener los antecedentes mismos de los estudiantes.

• Padres de familia encuestados en 16 países, en general, se mostraron positivos y bien informados sobre los colegios de sus hijos, pero esto varió mucho de unos países a otros. Por ejemplo, menos del 50% de los padres en Alemania, pero por encima del 90% en Polonia y en su país asociado Colombia, reportaron que la Institución Educativa les daba información regular y valiosa sobre el progreso de sus hijos.

• En promedio en los países de la OCDE, la mayoría de los estudiantes (54%) pertenecía a Instituciones donde sus directivas reportaron mantener informados a los padres sobre el desempeño de sus hijos, en comparación con el desempeño de otros estudiantes del colegio. En muchos de los países de la OCDE, este reporte que se da a los padres sobre el rendimiento de los hijos se hace en relación a estándares (benchmark) nacionales más que comparándolos con otros estudiantes de la Institución. En Suecia, por ejemplo, solamente el 12% de los estudiantes de 15 años estaba matriculado en Instituciones que reportaban a los padres datos sobre el desempeño de sus hijos, comparado con el de otros estudiantes del mismo colegio, mientras que un 94% de los estudiantes de 15 años pertenecían a Instituciones que daban los reportes comparándolos con los estándares nacionales, regionales o a estándares establecidos (benchmarks). El patrón fue similar en Japón, Finlandia, Noruega, Reino Unido y Nueva Zelanda, así como en Estonia, país asociado.

• En el Reino Unido y en los Estados Unidos, las directivas escolares de más del 90% de las Instituciones Educativas con alumnos de 15 años, reportaron que los resultados de las pruebas del colegio se hacían públicas poniéndolas en un lugar visible; en Holanda, así como en sus países asociados Montenegro y Azerbaiyan, también se hace lo mismo en un 80% de las Instituciones. Por el contrario, en Finlandia, Bélgica, Suiza y Austria, así como en el país asociado Argentina, esto se dio solamente en menos del 10% de los estudiantes y, en Japón, España, Alemania, Corea e Irlanda y en los países/economías asociadas de Macao-China, Uruguay, Indonesia y Túnez, esta práctica se sigue solamente para un 20%. Existen diferencias importantes en los puntajes de los estudiantes en países en los que las Instituciones Educativas hacen públicos sus resultados. Algunas de estas diferencias se asociaron con otros aspectos de los colegios y de los sistemas escolares relacionados con sistemas de acuerdos de rendición de cuentas exigentes y con los antecedentes socio-económicos de los estudiantes de los colegios que tenían esos acuerdos. Sin embargo, una vez que estos factores se tienen en cuenta, permanece una asociación positiva importante entre los colegios que hacen públicos los datos de los resultados de sus estudiantes y la obtención de mejores resultados.

• Al interior de los países, los estudiantes pertenecientes a colegios con mayor autonomía, en promedio, no obtienen mejores resultados una vez se tiene en cuenta el contexto socio-económico. Sin embargo, en estos países con mayor autonomía, los estudiantes tienden a tener mejor rendimiento en Ciencias sin importar si están matriculados en Instituciones relativamente autónomas. Esto se cumple tanto para aspectos de la autonomía del colegio en la formulación del presupuesto como en las decisiones sobre su asignación, aún después de tener en cuenta factores como antecedentes socio-económicos, y otros factores del colegio y del sistema de niveles.

• Recursos tales como el suministro adecuado de docentes y la calidad de los recursos educativos en la Institución, están por lo general presentes en el conjunto de países asociados con resultados positivos de los estudiantes, pero muchos de estos efectos no son muy relevantes una vez que se tiene en cuenta el hecho de que los estudiantes provenientes de medios socio-económicos superiores tienden a tener acceso a mayores recursos educativos. Una vez que esto se tiene en cuenta, persiste aún una importante asociación entre varios aspectos del tiempo dedicado al estudio además de las actividades escolares tendientes a promover el aprendizaje y el buen desempeño de los estudiantes en Ciencias.

NOTAS DEL EDITOR:

[1] Organización para la Cooperación y el Desarrollo Económico (OCDE) http://www.oecd.org

[2] Más de 400 estudiantes de 57 países participaron en la prueba PISA 2006 que consistió en un examen con duración de dos horas y que contenía preguntas de tipo abierto o de opción múltiple. Además, los estudiantes respondieron un cuestionario sobre ellos mismos y los directivos respondieron un cuestionario sobre sus colegios. En 16 de los países, los padres completaron un cuestionario sobre la inversión en la educación de sus hijos y sobre sus puntos de vista respecto de asuntos relacionados con las ciencias y las carreras profesionales en estas.
En PISA 2006 la atención se centró en las ciencias y fueron estas por primera vez el área principal de evaluación. Los resultados de PISA 2006 se constituyen por lo tanto en la base para futuras mediciones de las variaciones en esta área. Con aspectos como la medición de: actitudes de los estudiantes hacia el aprendizaje de las ciencias; nivel de conciencia que tienen respecto a las oportunidades de vida que se les despliegan al adquirir competencias en ellas y; oportunidades para el aprendizaje de las ciencias y los ambientes que para este ofrecen sus colegios; además de mediciones de: contextos del colegio, tipo de enseñanza, acceso y uso de computadores por estudiantes y percepción de los padres sobre estudiantes y colegios.
El valor que tiene
El hecho que PISA haga seguimiento a lo largo del tiempo sobre el desempeño de los estudiantes aumenta el valor de la prueba, aún considerando la dificultad de asegurar si las diferencias observadas indican una tendencia de más largo plazo.

[3] Consultar en el documento “Evaluación PISA 2006” la tabla de puntajes y la caracterización de cada uno de los 6 niveles que se mencionan frecuentemente en este documento.

CRÉDITOS:
Traducción realizada por EDUTEKA de algunos apartes de la sección correspondiente a “Competencias en Ciencias” del documento “The Programme for International Student Assessment (PISA-2006)” publicado por OECD/PISA http://www.pisa.oecd.org/ (en inglés, en formato PDF, 4.6MB)

Publicación de este documento en EDUTEKA: Abril 01 de 2008.
Última modificación de este documento: Abril 01 de 2008.