Calificación del portafolios

Valoración formal

Este portafolios es corregido por el profesorado con una calificación máxima de 10 puntos, de acuerdo al trabajo desarrollado según unos criterios:

• Publicados en la guía docente.
• Presentados en un seminario a principios de curso.

Experiencia con el portafolios de asignatura

Año 1: Portafolios impreso

Conscientes de su importancia, desde el primer año como profesor titular y responsable de la asignatura de traumatología en Medicina, se diseñó un portafolios con los tres apartados clásicos.

Además, como se tenía gran interés en saber el número de veces que realizaban la mayoría de las tareas de aprendizaje, se diseñó la parte «cuantitativa» del portafolios que el alumno debía completar cada uno de los días que hacía de prácticas, anotando el número de veces que realizaba cada tarea de aprendizaje.

Características:

• Impreso en imprenta.
• Los alumnos lo recogían y completaban la información personal.
• Acudían a las prácticas con su «libro» del portafolios.
• La mayoría rellenaban in situ la información del apartado 1 (lo que han visto).
• Los apartados 2, 3 y la parte numérica se realizaban en casa.

Ventajas del sistema impreso:

• Físico, tangible.
• Acceso sin tecnología.

Desventajas del sistema impreso:

• Las letras ilegibles en muchas ocasiones.
• Espacio limitado para que el alumno exprese lo trabajado.
• Documentación muy voluminosa que había de guardarse al menos durante tres años.
• Alto costo económico que pagó el decanato.

Duración: Se utilizó este sistema durante dos cursos académicos.

Años 2-3: Portafolios en Word

Una solución más económica fue hacer un documento de Word que los alumnos descargaban del Aula Virtual y rellenaban igual que el anterior, pero con el PC.

Ventajas del sistema Word:

• Evita las letras ilegibles.
• Reduce faltas de ortografía.
• Mejora la redacción al tener más tiempo para reflexionar.
• Es a coste cero, ya que los alumnos lo mandaban por el Aula Virtual en formato Word o PDF.
• No hay que imprimirlo.

Limitación importante:

No es válido si queremos hacer estudios cuantitativos, porque obliga a pasar a mano en una tabla Excel los datos cuantitativos de cada uno de los días de cada uno de los alumnos.

Duración: Se utilizó este sistema también durante un curso académico.

Estudio de fiabilidad del portafolios

Preocupación sobre la justicia

Como investigadores clínicos, la preocupación sobre la justicia de las calificaciones fue importante. Se quería saber la reproducibilidad intraobservador:

«¿Valoraría la realización de una competencia como realizada y pondría la misma nota corrigiendo el mismo portafolio más de una vez?»

Metodología del estudio

Se realizó un estudio de fiabilidad de la consecución de las siete competencias que se pueden valorar con el portafolios.

Interés especial: Saber si había relación con el tiempo de dedicación a la docencia de los profesores que lo corrigen.

Evaluadores (4 personas):

1. Titular de la asignatura (máxima dedicación docente).
2. Profesor asociado de traumatología.
3. Profesor colaborador docente de traumatología.
4. Catedrático de otra materia (muy versado y sensibilizado con la pedagogía médica).

Resultados del estudio

Cálculo del índice Kappa:

• 240 comparaciones entre los 4 evaluadores.
• Coincidencias: 227 ocasiones en el nivel de logro de las competencias.
• Porcentaje de concordancia: 94,17%.
• Interpretación: Se considera una fiabilidad alta del portafolios, cercana a excelente.

Validación cruzada: Patrón oro

Se analizó la fiabilidad del portafolios con dos nuevos evaluadores que revisaron conjuntamente los portafolios como «patrón oro».

Resultados:

• Acuerdos significativos: 149 de 160.
• Porcentaje de concordancia: 93,13%.
• Conclusión: El portafolios utilizado posee una alta fiabilidad.

Variabilidad según competencia y patología

Respecto a los resultados de aprendizaje:

El Kappa se reduce notablemente en algunas competencias (competencias 6 y 7), siendo:

• Muy elevado en patologías frecuentes como:
  • Diagnóstico de fracturas.
  • Exploración de la rodilla.
  • Lectura de radiografías de problemas traumáticos u ortopédicos.
• Bajo en las situaciones menos frecuentes.

Acuerdo entre evaluadores

En la Tabla 1 se muestra el nivel de acuerdo obtenido por cada evaluador al analizar ambas revisiones de cada portafolios.

Hallazgo importante: Los evaluadores 1 (profesor Titular responsable) y 4 (catedrático de fisiología) tienen un acuerdo sustancial en ambas revisiones, mientras que los evaluadores 2 y 3 tienen un nivel de acuerdo moderado.

Adquisición de competencias

Resultados globales:

• Un total de 59,8% de los estudiantes han adquirido las competencias como se esperaba durante su estancia hospitalaria.
• De los 23 resultados de aprendizaje, 13 (56,5%) han sido adquiridos por el 50% de los estudiantes.

Competencias con mejores resultados:

• Competencia 5: 87,4% (Establecer plan de actuación).
• Competencia 1: 81,4% (Reconocer lesiones del aparato locomotor).

Competencia con peores resultados:

• Competencia 7: 26% (Redactar historias e informes).