Efecto de la implementación de rúbricas digitales en la retroalimentación de trabajos escritos universitarios
Effect of implementing digital rubrics on feedback on university written work
Paula Francisca Vásquez Arias
Universidad Privada del Norte, Perú.
Cita en APA 7: Vásquez Arias, P. F. (2025). Efecto de la implementación de rúbricas digitales en la retroalimentación de trabajos escritos universitarios. Revista Arbitrada de Educación Contemporánea. 2 (1).
Resumen
El presente artículo busca examinar el efecto que ocasiona la implementación de rúbricas digitales en la retroalimentación de trabajos escritos en estudiantes universitarios, en el año 2024. A través de un diseño de tipo cuasi-experimental con grupos de control y experimental, se evaluaron tanto escenarios cuantitativos como los cualitativos del procedimiento de evaluación en 180 alumnos distribuidos en seis cursos de tres universidades en Lima. Como resultado se obtuvo que el uso de las rúbricas digitales acrecentó de manera significativa la efectividad de la retroalimentación (p<0.01), en respuesta se perfeccionó la calidad de los trabajos finales y se incrementó la satisfacción de los estudiantes con el procedimiento evaluativo. Los adelantos más importantes se vieron en la claridad de las perspectivas de desempeño, la firmeza evaluativa entre docentes y la conformidad de la retroalimentación. Se llegó a concluir que las rúbricas digitales vienen a ser un instrumento pedagógico con gran valor que mejora los procedimientos de evaluación instructiva en el escenario, y aunque su implementación necesita primero la capacitación de los docentes de forma correcta también la toma de consideraciones acerca de la brecha digital.
Palabras clave: rúbricas digitales; retroalimentación académica; educación superior; evaluación formativa; tecnología educativa.
Abstract
This article seeks to examine the effect of implementing digital rubrics on feedback on written work among university students in the year 2024. Using a quasi-experimental design with control and experimental groups, both quantitative and qualitative scenarios of the assessment procedure were evaluated with 180 students distributed across six courses at three universities in Lima. The results showed that the use of digital rubrics significantly increased the effectiveness of feedback (p<0.01), improving the quality of final papers and increasing student satisfaction with the assessment procedure. The most significant improvements were seen in the clarity of performance perspectives, evaluative consistency among teachers, and feedback consistency. It was concluded that digital rubrics are a valuable pedagogical tool that improves instructional assessment procedures in the classroom. Although their implementation requires proper teacher training, it also requires consideration of the digital divide.
Key Words: digital rubrics; academic feedback; higher education; formative assessment; educational technology.
Introducción
La evaluación representa un elemento esencial en el proceso educativo universitario. En el actual entorno académico, marcado por una rápida digitalización, proporcionar retroalimentación efectiva en trabajos escritos supone un reto importante para profesores y una necesidad crítica para alumnos (Aguilar-Salinas et al., 2021). Este proceso de retroalimentación, que brinda información sobre el rendimiento para mejorar el aprendizaje, es vital para desarrollar capacidades metacognitivas y autonomía estudiantil (Anijovich y Cappelletti, 2020).
Las rúbricas digitales han surgido como instrumentos valiosos para estructurar y mejorar la evaluación formativa. Implementadas en plataformas virtuales, estas matrices facilitan la definición de criterios evaluativos, niveles de desempeño y descripciones cualitativas que guían tanto la creación como la valoración de trabajos académicos (Raposo-Rivas y Martínez-Figueira, 2022).
No obstante, aunque existe un interés creciente por integrar herramientas digitales en la evaluación, hay una notable carencia de estudios sobre la eficacia de las rúbricas digitales en contextos latinoamericanos, especialmente en universidades peruanas. A pesar de que se encuentran estudios que siguen las rúbricas tradicionales (Díaz-Barriga, 2020) o sistemas digitales de evaluación en ambientes anglosajones o europeos (Reddy y Andrade, 2019), son muy pocos las investigaciones consecuentes acerca de la implementación de rúbricas digitales en la educación superior peruana.
Esta laguna del estudio es principalmente importante debido a las particularidades determinadas del sistema universitario en el Perú, que ha experimentado cambios relevantes tras la implementación de la Ley Universitaria 30220 y los procedimientos de licenciamiento institucional de SUNEDU. Estos cambios han destacado la calidad de la educación y genero la promoción de modernización pedagógica, envolviendo las prácticas evaluativas (Cuenca y Reátegui, 2022).
Este artículo busca explorar el efecto de la implementación de rúbricas digitales en la retroalimentación de trabajos escritos en universidades de Lima, Perú, en el año académico 2024. Concretamente, intenta instituir cómo estas herramientas tienen efecto en la calidad de la retroalimentación docente, el rendimiento académico de los alumnos y la satisfacción de los dos grupos en el proceso evaluativo.
Los resultados de este estudio podrían brindar evidencia empírica valiosa para comunicar las reglas institucionales y las prácticas pedagógicas relacionadas con la evaluación formativa en el ambiente universitario peruano, apoyando así al progreso de la calidad de la educación y la mejora de los procedimientos de enseñanza-aprendizaje intervenidos por tecnología.
Retroalimentación y Evaluación Formativa: La retroalimentación viene a ser un dispositivo central de la apreciación formativa, que viene a ser la que se realiza durante el procedimiento de aprendizaje y donde su finalidad primordial es brindar los datos para optimizar el desempeño del estudiante (Carless y Boud, 2018). En contraste, la evaluación Formativa, que se centra en la certificación del aprendizaje al término de un tiempo formativo, la estimación formativa busca identificar fortalezas y debilidades durante el proceso para la orientación del estudiante como del docente (Anijovich, 2019).
En el escenario de la educación superior, la retroalimentación segura se determina por ser pertinente, fija, comprensible y accionable (Wiggins, 2018). Varios estudios señalan que cuando la retroalimentación cumple con estas características, apoya significativamente al desarrollo de competencias metacognitivas, a la independencia del aprendizaje y al progreso en el rendimiento académico (Hattie y Timperley, 2021).
No obstante, la implementación de procedimientos de retroalimentación segura enfrenta numerosos retos en la práctica educativa diaria. Entre estos, enfatizan las limitaciones de tiempo de los docentes, la falta de automatización en los criterios de valoración, la subjetividad inherente a ciertos temas valorativos, y los conflictos para comunicar apropiadamente las perspectivas de desempeño a los alumnos (Boud y Molloy, 2023).
Rúbricas como Herramientas de Evaluación: Las rúbricas son instrumentales de evaluación que definen los criterios a discurrir para estimar un trabajo o desempeño, instauran niveles de logro para cada criterio y suministran descriptores que determinan cada nivel (Popham, 2018). Estos instrumentales han justificado ser particularmente útiles para valorar tareas complejas, como los trabajos escritos universitarios, que implican múltiples dimensiones de análisis (Reddy y Andrade, 2019).
Entre los beneficios documentados de la utilización de rúbricas se hallan: la depuración de las expectativas de desempeño, la integridad y consistencia en la valoración, la facilitación de la autoevaluación y evaluación entre pares, y la mejora del tiempo a cargo de la retroalimentación (Raposo-Rivas y Martínez-Figueira, 2022). Estos beneficios repercuten fundamentalmente relevantes en el escenario universitario, donde la estimación de trabajos escritos establece una práctica frecuente y demandante tanto para docentes como para alumnos.
Sin embargo, la literatura también indica limitaciones y desafíos en la implementación de rúbricas, como el riesgo de excesiva estandarización, el problema para sujetar aspectos cualitativos del aprendizaje, y la complicación en su diseño y aplicación (Brookhart, 2022). Estas limitaciones consiguen subrayarse o atenuarse de acuerdo al formato y al escenario de implementación de las rúbricas.
Rúbricas Digitales y Tecnología Educativa: La digitalización de los procedimientos educativos ha generado la evolución de las rúbricas tradicionales hacia formatos digitales que provoquen mejores potencialidades en las tecnologías de los datos y comunicación. Las rúbricas digitales se verifican típicamente a través de plataformas de gestión del aprendizaje (LMS), aplicaciones especialistas o sistemas de valoración en línea, y alcanzan juntar funcionalidades como la retroalimentación automatizada, el registro histórico de evaluaciones, la visualización dinámica de resultados, y la interoperabilidad con otros sistemas institucionales (Cebrián-de-la-Serna y Bergman, 2021).
Estudios actuales insinúan que las rúbricas digitales consiguen incrementar los beneficios tradicionales de estos materiales y atenuar algunas de sus limitaciones. Jonsson (2020) indica que la implementación digital suministra la consistencia evaluativa, mejora el tiempo de retroalimentación y perfeccionamiento la accesibilidad de los datos para alumnos y docentes. Igualmente, Gikandi et al. (2022) subrayan que los formatos digitales consienten una mayor elasticidad en la adaptación de discernimientos y una mejor composición con otros instrumentos de los ambientes virtuales de aprendizaje.
Contexto Universitario Peruano y Evaluación Digital: El sistema universitario peruano en la última década ha experimentado significativas innovaciones, generadas por el marco regulación fijado por la Ley Universitaria 30220 y los procedimientos de protección de la calidad liderados por SUNEDU. Este escenario de reforma ha mejorado la incorporación de innovaciones formativas y tecnológicas orientadas a optimizar la calidad educativa (Cuenca y Reátegui, 2022).
La pandemia de COVID-19 arrojó elocuentemente la digitalización de los procedimientos de educación en las universidades peruanas, obligando la adopción masiva de escenarios virtuales de aprendizaje y materiales digitales de valoración (Figallo et al., 2021). No obstante, esta transformación apresurada también demostró retos característicos, como la brecha digital entre alumnos, las restricciones en la formación docente para la utilización pedagógica de tecnologías, y la diversidad en la calidad de la infraestructura tecnológica de las instituciones (Guadalupe y León, 2023).
En este escenario, viene a ser oportuno estudiar constantemente la efectividad de instrumentales específicos como las rúbricas digitales, considerando las características del escenario universitario peruano y los requerimientos específicos de sus actores educativos.
Los objetivos son los siguientes:
Objetivo general: Describir el efecto de la implementación de rúbricas digitales en la retroalimentación de trabajos escritos de estudiantes universitarios.
Objetivos específicos:
Materiales y métodos
Diseño de la Investigación. La investigación utilizó un enfoque mixto, combinando un diseño cuasi-experimental (con grupos de control y experimental) y elementos cualitativos. Esto nos permitió no solo medir datos importantes sino también entender a fondo lo que pensaban y sentían los participantes.
Participantes. 180 estudiantes universitarios (104 mujeres y 76 hombres) de seis diferentes cursos en tres universidades de Lima: una pública y dos privadas. Escogimos cursos de Humanidades, Ciencias Sociales y Ciencias de la Salud donde los trabajos escritos eran parte importante de la evaluación.
La distribución de alumnos fue la sucesiva:
Los participantes fueron determinados a los grupos experimental y control conservando contextos semejantes en cláusulas de colocación por universidad, área disciplinar, ciclo académico y particularidades sociodemográficas.
Adicionalmente, advirtieron 12 docentes universitarios (7 mujeres y 5 hombres) responsables de los cursos escogidos, quienes realizaron las rúbricas digitales en los grupos empíricos y las rúbricas tradicionales en los grupos de control.
Instrumentos
Rúbricas digitales: Para este estudio, se creó varios instrumentos. Se desarrollo rúbricas digitales en la plataforma Canvas, adaptadas a cada curso. Estas rúbricas tenían entre 5 y 8 criterios con 4 niveles cada uno, explicaciones detalladas y espacio para comentarios personalizados. Antes de usarlas definitivamente, expertos las revisaron y se probó con pequeños grupos de estudiantes.
Cuestionarios de percepción: Se efectuaron dos cuestionarios para conocer opiniones acerca de la retroalimentación: uno para estudiantes y otro para profesores. Ambos fueron validados por expertos y mostraron buena confiabilidad (α de Cronbach = 0.87 para estudiantes y 0.85 para profesores). El cuestionario de estudiantes tenía 25 preguntas sobre claridad, utilidad, oportunidad y satisfacción. El de profesores contenía 22 preguntas sobre eficiencia, calidad y dificultades.
Rúbrica de análisis de calidad de retroalimentación: Se diseñó una meta-rúbrica para valorar la calidad de la retroalimentación compensada por los docentes, tomando en cuenta juicios como especificidad, constructividad, oportunidad, claridad y formación con los fines de aprendizaje. Este instrumento fue realizado por evaluadores independientes al estudiar muestras de retroalimentación suministradas tanto en el grupo experimental como en el grupo control.
Guías de entrevista y grupos focales: Se realizó guías semiestructuradas para la ejecución de entrevistas en profundidad con docentes y grupos focales con alumnos, conducentes a examinar cualitativamente las experiencias, percepciones y sugerencias concernientes con la implementación de las rúbricas digitales.
Procedimiento
El estudio se realizó durante el primer semestre de 2024 en cuatro etapas:
Análisis de Datos: en el análisis cuantitativo se manejó el software SPSS versión 28.0, empleando estadística descriptiva e inferencial. Se efectuaron pruebas t para muestras independientes y análisis de varianza (ANOVA) para cotejar las respuestas entre grupos experimental y control. Asimismo, también se realizaron análisis de correspondencia y regresión múltiple para examinar vinculaciones entre variables.
El análisis cualitativo se efectuó a través de la codificación temática con el software Atlas.ti 9.0, persiguiendo un procedimiento iterativo de caracterización de patrones y categorías con origen en la información de entrevistas y grupos focales.
La composición de derivaciones cuantitativos y cualitativos se efectuó a través de medidas de triangulación presente, buscando correlaciones, divergencias y complementariedades entre ambos tipos de datos.
Resultados
Efecto en la Calidad de la Retroalimentación
Al realizar la comparación de la calidad de retroalimentación entre grupos experimental y control se mostró contrastes estadísticamente significativos a favor del grupo que usó las rúbricas digitales. Al evaluar a través de una meta-rúbrica de análisis de calidad esta nos mostró una puntuación media superior en el grupo que utilizo esta herramienta (M = 4.27, DE = 0.58) en contraste con el grupo que no la utilizó (M = 3.42, DE = 0.71), t(178) = 8.74, p < 0.001, d = 1.31. Las discrepancias más notables se evidenciaron en las dimensiones de especificidad (diferencia de medias = 1.12, p < 0.001) y alineación con objetivos de aprendizaje (diferencia de medias = 0.98, p < 0.001).
Tabla 1. Comparación de dimensiones de calidad de retroalimentación entre grupos
Dimensión | Grupo Experimental (n = 90) | Grupo Control (n-90) | Diferencia de medias | Valor t | Valor P | D de Cohén |
Especificidad | 4.45 (0.61) | 3.33 (0.74) | 1.12 | 11.27 | <0.001 | 1.68 |
Constructividad | 4.28 (0.65) | 3.58 (0.81) | 0.70 | 6.42 | <0.001 | 0.96 |
Oportunidad | 4.18 (0.77) | 3.27 (0.94) | 0.91 | 7.12 | <0.001 | 1.06 |
Claridad | 4.36(0.62) | 3.59 (0.82) | 0.77 | 7.03 | <0.001 | 1.05 |
Alineación con objetivos | 4.51 (0.57) | 3.53 (0.68) | 0.98 | 10.56 | <0.001 | 1.57 |
Puntuación global | 4.27 (0.58) | 3.42 (0.71) | 0.85 | 8.74 | <0.001 | 1.31 |
Fuente: Elaboración propia
El análisis cualitativo de las pruebas de retroalimentación mostró que los comentarios específicos en el grupo experimental se centraron en discernimientos específicos, con los consejos y las referencias claras a los niveles de rendimiento explicados en la rúbrica descrita en la rúbrica. En contraste, el grupo de control observó un comentario general, ambiguo o centrado eminentemente sobre aspectos formales en lugar del contenido del material de trabajo.
Tabla 2. Análisis de tipos de comentarios en la retroalimentación de ambos grupos
Tipo de comentario | Grupo Experimental (%) | Grupo Control (%) | X* | Valor P |
Específicos vinculados o criterios | 68.4 | 24.7 | 35.27 | <0.001 |
Generales/ambiguos | 12.6 | 41.3 | 28.63 | <0.001 |
Centrados en aspectos formales | 23.1 | 47.9 | 19.86 | <0.001 |
Centrados en contenido sustantivo | 58.9 | 29.5 | 24.51 | <0.001 |
Con sugerencias accionables | 62.3 | 31.4 | 26.12 | <0.001 |
Sin sugerencias concretos | 17.5 | 45.2 | 22.34 | <0.001 |
Nota: Los porcentajes pueden sumar más de 100% porque un mismo comentario puede clasificarse en múltiples categorías.
Impacto en el Desempeño Académico
Al comparar de las notas que obtuvieron los alumnos en los trabajos escritos evidencio un adelanto progresivo más marcado en el grupo experimental. Aunque los dos grupos iniciaron en niveles equivalentes en el primer trabajo (M experimental = 14.32, DE = 2.18; M control = 14.15, DE = 2.25; p = 0.612), para la tercera tarea la discrepancia fue estadísticamente significativa (M experimental = 16.75, DE = 1.78; M control = 15.21, DE = 2.31; p < 0.001), con un volumen del efecto moderado (d = 0.74).
Tabla 3. Evolución de calificaciones en los tres trabajos escritos evaluados
Trabajo | Grupo Experimental (n-90) | Grupo Control (n-90) | Diferencia de medios | Valor t | Valor P | D de Cohén |
Trabajo 1 | 14.32 (2.18) | 14.15 (2.25) | 0.17 | 0.51 | 0.612 | 0.08 |
Trabajo 2 | 15.64 (1.95) | 14.63 (2.18) | 1.01 | 3.29 | 0.001 | 0.49 |
Trabajo 3 | 16.75 (1.78) | 15.21 (2.31) | 1.54 | 4.95 | <0.001 | 0.74 |
Nota: Valores expresados como Media (Desviación Estándar). Escala de 0 a 20 puntos.
El análisis de covarianza (ANCOVA) interviniendo por puntuación inicial ratificó que al implementar rúbricas digitales exponía cerca del 18% de la varianza en el ejercicio final (η² = 0.18, p < 0.001).
Tabla 4. Resultados del ANCOVA para desempeño en el trabajo final
Fuente de variación | Suma de cuadrados | gl | Media cuadrática | F | Valor P | n2 parcial |
Calificación inicial | 215.43 | 1 | 215.43 | 56.21 | <0.001 | 0.24 |
Grupo (experimental/control) | 98.76 | 1 | 98.76 | 25.78 | <0.001 | 0.18 |
Error | 678.54 | 177 | 3.83 | |||
Total | 992.73 | 179 |
Fuente: Elaboración propia
La información de calidad integró estos descubrimientos y mostraron que los alumnos del grupo experimental evidenciaron una mayor capacidad en las perspectivas de rendimiento y una mayor capacidad para determinar áreas determinadas de mejora. Como los alumnos manifestaron: “Con la rúbrica digital, vi puntualmente qué aspectos requerían de mejora y qué significaba lograr el sucesivo nivel ... la retroalimentación se hallaba directamente vinculadas con todos los criterios que lo hicieron mucho más útil” (Estudiante 34 de la Universidad de Lima).
Tabla 5. Distribución de calificaciones finales por nivel de rendimiento
Nivel de rendimiento | Rango | Grupo Experimental (%) | Grupo Control (%) | X2 | Valor P |
Sobresaliente | 18-20 | 27.8 | 12-2 | 7.16 | 0.007 |
Notable | 16-17 | 43.3 | 28.9 | 4.28 | 0.039 |
Aprobado | 11-18 | 25.6 | 48.9 | 10.43 | 0.001 |
Desaprobado | 0-10 | 3.3 | 10.0 | 3.12 | 0.077 |
Nota: Porcentajes calculados sobre el total de cada grupo (n=90).
Percepciones sobre el Proceso de Retroalimentación
Percepción de los estudiantes: Los resultados del cuestionario de percepción de los alumnos evidencio diferencias demostrativas entre los dos grupos que se mostraron en todas las rúbricas en evaluación (Tabla 1). La satisfacción general con el procedimiento de retroalimentación fue elocuentemente mayor en el grupo experimental (M = 4.38, DE = 0.63) a diferencia del grupo que no utilizo la rúbrica. (M = 3.56, DE = 0.92), t(178) = 7.32, p < 0.001, d = 1.09.
Tabla 6. Análisis factorial de las percepciones estudiantiles sobre retroalimentación
Ítem | Factor 1: Utilidad | Factor 2: Claridad | Factor 3: Oportunidad | Factor 4: Satisfacción |
La retroalimentación me ayudó o mejorar | 0.84 | 0.21 | 0.12 | 0.27 |
Pude aplicar la retroalimentación en trabajos posteriores | 0.81 | 0.15 | 0.18 | 0.23 |
La retroalimentación señalo aspectos específicos o mejorar | 0.77 | 0.35 | 0.05 | 0.11 |
Los criterios de evaluación eran claros | 0.18 | 0.85 | 0.09 | 0.16 |
Comprendí lo que se esperaba en cada nivel de desempata | 0.24 | 0.83 | 0.12 | 0.12 |
Los descriptores de la rúbrica eran precisos | 0.23 | 0.79 | 0.08 | 0.19 |
La retroalimentación llegó a tiempo para ser útil | 0.13 | 0.11 | 0.88 | 0.21 |
Pude revisar lo retroalimentación antes del siguiente trabajo. | 0.09 | 0.15 | 0.85 | 0.18 |
Me sentí satisfecho con la calidad de la retroalimentación | 0.31 | 0.22 | 0.25 | 0.83 |
El proceso evolutivo me pareció justo | 0.18 | 0.25 | 0.19 | 0.81 |
Nota: Se muestran las cargas factoriales tras rotación Varimax. Las cargas mayores a 0.70 aparecen en negrita.
Los datos de calidad de los grupos focales le dieron a estos descubrimientos más profundidad. Los alumnos del grupo experimental enfatizaron la transparencia del proceso de evaluación, la capacidad de representar su progreso a lo largo del tiempo y la consistencia de los criterios utilizados por los diferentes maestros.
Tabla 7. Análisis temático de comentarios en grupos focales de estudiantes
Tema | Frecuencia (%) | Ejemplos de verbatim |
Transparencia evaluativa | 78 | “Por primero vez entendí exactamente por qué me pusieron eso noto” |
Visualización del progreso | n | “Podía ver mi avance en codo criterio o lo largo del semestre” |
Consistencia entre docentes | 64 | “No importaba qué profesor corrigiera los criterios eran los mismos” |
Reducción de incertidumbre | 61 | “Ya no tenía que adivinar qué esperaba el profesor” |
Mejoro en autorregulación | 57 | “Me permitió planificar mejor mí» siguientes trabajo” |
Dificultades técnicas | 22 | “Al principio no entendía bien cómo funcionaba lo plataforma” |
Limitaciones para feedback cualitativo | 19 | “Algunos comentarios más personalizados se perdían” |
Fuente: Elaboración propia
Un punto característico aludido por diversos alumnos fue la disminución de la indecisión y la ansiedad vinculada con la evaluación.
Percepción de los docentes: Los que realizaron la implementación de las rúbricas digitales evidenciaron una mayor eficiencia al realizar el proceso de evaluación (M = 4.33, DE = 0.65) en contraste con los que usaron las rúbricas tradicionales (M = 3.17, DE = 0.72), t(10) = 3.12, p = 0.011, d = 1.70. Además, descubrieron una mayor calidad en la retroalimentación proporcional (M = 4.50, DE = 0.55 vs. M = 3.50, DE = 0.84), sin embargo, mostraron problemas iniciales vinculados con la utilización del instrumento digital.
Tabla 8. Percepción docente sobre eficiencia y calidad del proceso evaluativo
Aspecto evaluado | Rubricas Digitales (n-6) | Rúbricas Tradicionales (n=6) | Valor t | Valor P | d de Cohen |
Tiempo requerido para evolución (min/trabajo) | 18.3 (4.2) | 26.8 (5.7) | 3.06 | 0.012 | 1.67 |
Consistencia entre diferentes trabajos | 4.67(0.52) | 3.33(0.82) | 3.34 | 0.007 | 1.94 |
Facilidad poro detectar patrones | 4.50(0.55) | 2.83 (0.75) | 4.52 | 0.001 | 2.53 |
Calidad percibida de retroalimentación | 4.50(0.55) | 3.50(0.84) | 2.49 | 0.032 | 1.42 |
Eficiencia global del proceso | 4.33 (0.65) | 3.17 (0.72) | 3.12 | 0.011 | 1.70 |
Nota: A excepción del tiempo requerido, los valores se expresan como Media (Desviación Estándar) en escala de 1 a 5.
Las entrevistas mostraron que las primordiales ventajas descubiertos por los docentes envolvieron:
Tabla 9. Análisis cualitativo de beneficios y desafíos reportados por docentes
Aspecto | Beneficios | Desafíos |
Temporales |
|
|
|
| |
Pedagógicos | ||
Tecnológicos |
|
|
Nota: Los porcentajes indican la proporción de docentes que mencionaron cada aspecto.
No obstante, además indicaron retos como la curva de aprendizaje inicial en la utilización de una plataforma digital, el tiempo necesario para el diseño original de títulos de calidad y las restricciones para evaluar la gran calidad o los aspectos creativos del trabajo escrito.
Factores mediadores y moderadores: varios análisis de regresión identificaron una serie de factores que modularon la efectividad de las rúbricas digitales. La competencia digital previa de los estudiantes apareció como una predicción importante de los beneficios percibidos (β = 0.31, p <0.01), lo que sugiere que con una mayor confidencialidad con el entorno digital utilizaron mejor los beneficios de este formato.
Tabla 10. Modelo de regresión múltiple para beneficio percibido de rúbricas digitales
Variable predictora | Coeficiente estandarizado (β) | Error estándar | Valor t | Valor P |
Competencia digital previo | 0.31 | 0.08 | 3.87 | 0.002 |
Experiencia académica (semestres) | 0.12 | 0.07 | 1.71 | 0.089 |
Tipo de toreo (estructurado/creativa) | 0.28 | 0.09 | 3.11 | 0.004 |
Experiencia previa con rúbricas | 0.15 | 0.08 | 1.88 | 0.062 |
Universidad (público/privado) | 0.23 | 0.09 | 2.56 | 0.011 |
Área disciplinar | 0.09 | 0.08 | 1.13 | 0.261 |
Nota: R² = 0.37, R² ajustado = 0.34, F(6,173) = 17.21, p < 0.001
Del mismo modo, el tipo de tarea evaluado fue un moderador apropiado, que fue particularmente efectivo para una rúbrica digital para trabajos estructurados, como pruebas de razonamiento o informes de investigación, pero menos rentable para trabajos creativos o reflexivos.
El análisis universitario reveló que los efectos positivos de las rúbricas digitales fueron mayores en la universidad pública (η² = 0.25) que en las universidades privadas (respectivamente η² = 0.16 y η² = 0.14), lo que podría estar relacionado con diferencias previas en las prácticas de evaluación normales en cada institución.
Tabla 11. Tamaño del efecto (η²) de la implementación de rúbricas digitales por universidad
Universidad | Calidad de retroalimentación | Desempeño académico | Satisfacción estudiantil | Eficiencia docente |
UNMSM (público) | 0.27 | 0.25 | 0.29 | 0.26 |
U. Lima (privada) | 0.18 | 0.16 | 0.15 | 0.17 |
UPCH (privada) | 0.16 | 0.14 | 0.17 | 0.15 |
Nota: Valores η² interpretables como: pequeño (0.01), mediano (0.06), grande (0.14). UNMSM: Universidad Nacional Mayor de San Marcos; UPCH: Universidad Peruana Cayetano Heredia.
Percepción de los docentes: Los docentes que realizaron la implementación con rúbricas digitales alcanzaron una mayor eficiencia en el procedimiento de evaluación (M = 4.33, DE = 0.65) comparándolo con los docentes que siguieron el uso de rúbricas tradicionales (M = 3.17, DE = 0.72), t(10) = 3.12, p = 0.011, d = 1.70. Igualmente, descubrieron que brinda una mayor calidad en la retroalimentación proporcional (M = 4.50, DE = 0.55 vs. M = 3.50, DE = 0.84), no obstante, dieron a conocer que se presentaron problemas iniciales concernientes con la familiarización con el instrumento digital.
Las entrevistas, pusieron a la vista que los beneficios más importantes que los maestros percibieron fueron:
No obstante, además indicaron retos como la curva de aprendizaje inicial en la utilización de una plataforma digital, el tiempo necesario para el diseño original de títulos de calidad y las restricciones para evaluar los aspectos muy cualitativos o creativos del trabajo escrito.
Factores Mediadores y Moderadores: varios análisis de regresión identificaron una serie de factores que modularon la efectividad de las rúbricas digitales. La competencia digital previa de los estudiantes apareció como una predicción importante de las ventajas percibidas (β = 0.31, p <0.01), lo que sugiere que con una mayor confidencialidad con el entorno digital utilizaron para usar mejor los beneficios de este formato.
Del mismo modo, el tipo de tarea evaluado fue un moderador apropiado, que fue particularmente efectivo para una rúbrica digital para trabajos estructurados, como pruebas de razonamiento o informes de investigación, pero menos rentable para trabajos creativos o reflexivos.
El análisis universitario reveló que los efectos positivos de los titulares digitales fueron mayores en la universidad pública (η² = 0.25) que en las universidades privadas (respectivamente η² = 0.16 y η² = 0.14), lo que podría estar relacionado con diferencias previas en las prácticas de evaluación normales en cada institución.
Los análisis de regresión múltiple identificaron varios factores que modulaban la efectividad de las rúbricas digitales. La competencia digital previa de los estudiantes emergió como un predictor significativo del beneficio percibido (β = 0.31, p < 0.01), sugiriendo que aquellos con mayor familiaridad con entornos digitales tendían a aprovechar mejor las ventajas de este formato.
Asimismo, el tipo de tarea evaluada resultó un moderador relevante, siendo las rúbricas digitales particularmente efectivas para trabajos estructurados como ensayos argumentativos o informes de investigación, pero menos ventajosas para trabajos creativos o reflexivos.
El análisis por universidad reveló que el impacto positivo de las rúbricas digitales era mayor en la universidad pública (η² = 0.25) que en las universidades privadas (η² = 0.16 y η² = 0.14, respectivamente), lo que podría relacionarse con diferencias previas en las prácticas evaluativas habituales en cada institución.
Discusión
Los hallazgos revelan que el uso de rúbricas digitales realmente mejora la forma en que damos retroalimentación en los trabajos universitarios escritos. Lo hallado coincide con lo que otros investigadores han visto en diferentes lugares (Jonsson, 2020; Raposo y Martíne, 2022), pero ahora tenemos pruebas concretas de que funciona bien en nuestras universidades peruanas.
La mejor calidad en los comentarios que reciben los estudiantes tiene sentido si pensamos en lo que Carless y Boud (2018) nos han enseñado: para que la evaluación realmente ayude a aprender, necesitamos ser específicos, conectar con lo que queremos que aprendan y dar pistas claras sobre cómo mejorar. Las rúbricas digitales hacen esto más fácil porque ofrecen una estructura organizada y vinculan directamente con criterios claros.
Asimismo, se ve que los estudiantes mejoraron sus notas, lo que encaja con lo que dicen Zimmerman y Schunk (2019) sobre cómo aprendemos a autorregularnos: cuando entendemos claramente qué se espera de nosotros y recibimos comentarios precisos, podemos ajustar mejor nuestro trabajo. Lo interesante fue ver cómo el grupo que usó las rúbricas digitales mejoró cada vez más a lo largo del semestre, como si cada retroalimentación les permitiera afinar mejor sus estrategias para el siguiente trabajo.
Los estudiantes quedaron satisfechos con este sistema, lo que tiene sentido desde la idea de transparencia y justicia que menciona Brookhart (2022). Cuando sienten que las reglas del juego son claras y justas, se reduce esa angustia que todos hemos sentido alguna vez ante una evaluación.
En cuanto a los profesores, se confirmó lo que Cebrián de la Serna y Bergman (2021) ya habían notado: al principio, sí, hay que invertir tiempo en aprender a usar estas herramientas, pero después la vida se hace más fácil y el trabajo queda mejor. Por eso es tan importante que las universidades apoyen a sus docentes durante esta transición.
Un punto preocupante fue descubrir que los estudiantes que ya estaban más familiarizados con la tecnología se beneficiaron más. Esto alerta sobre el riesgo de que estas herramientas, sin querer, puedan hacer que algunos estudiantes se queden atrás, algo que también preocupa a Guadalupe y León (2023) cuando hablan de la brecha digital en nuestro país.
Basándonos en lo que aprendimos, creó que las universidades peruanas deberían ir incorporando gradualmente estas rúbricas digitales, especialmente en cursos donde los estudiantes escriben mucho. Para que esto funcione bien, se sugiere:
Si seguimos estos consejos, creo que las rúbricas digitales pueden ayudarnos a transformar la forma en que evaluamos, haciendo todo el proceso más transparente, más formativo y más centrado en lo que realmente importa: el aprendizaje.
Eso sí, tenemos que ser honestos sobre las limitaciones de nuestro estudio. Aunque intentamos que los grupos fueran comparables, siempre pueden quedar factores que no controlamos completamente. Además, solo pudimos seguir el proceso durante un semestre, así que no sabemos si los efectos positivos se mantienen a largo plazo.
También hay que reconocer que solo se trabajó con universidades de Lima que ya tenían cierta infraestructura tecnológica, así que no podemos asegurar que funcionaría igual en todas partes del país o en instituciones con menos recursos.
Por último, siempre existe ese "efecto novedad" – sabemos que cualquier herramienta nueva suele generar entusiasmo al principio, pero ¿se mantendrá con el tiempo? Para saberlo necesitaríamos estudios que sigan a los participantes durante periodos más largos.
Conclusiones
Los estudios actuales proporcionan evidencia empírica del impacto positivo de las rúbricas digitales en la retroalimentación del trabajo escrito por la Universidad en relación con Lima, Perú. Los resultados muestran adelantos reveladores en la retroalimentación brindada, el rendimiento académico del alumno y la satisfacción de los dos participantes con el procedimiento de evaluación. Estos descubrimientos poseen resultados prácticos demostrativos para la gestión de la educación universitaria, lo que propone que invertir en plataformas digitales, que suministra la implementación de rúbricas para la educación de maestros, esto podría optimizar significativamente el proceso de valoración formativa.
Sin embargo, es importante tener en cuenta los desafíos identificados, en particular los relacionados con la curva de aprendizaje inicial, las diferencias en la competencia digital entre los estudiantes y las restricciones para evaluar un cierto tipo de trabajo o aspectos de aprendizaje de calidad. Estas consideraciones enfatizan la importancia de la introducción de rúbricas digitales como parte de los métodos de evaluación integrales y contextualizados, no como una solución tecnológica aislada.
Otros estudios podrían investigar la efectividad de las rúbricas digitales en otras relaciones regionales entre Perú, en diferentes niveles de educación o en programas académicos especiales. También sería valioso realizar estudios longitudinales que evalúen la sostenibilidad de los efectos observados y el potencial de las rúbricas digitales para promover las habilidades de autorregulación y evaluación entre pares a largo plazo. Finalmente, las rúbricas digitales son una herramienta prometedora para optimizar los procesos de retroalimentación en la educación superior en Perú, especialmente en el contexto del aumento de la educación en la digitalización. Sin embargo, su implementación efectiva requiere una educación cuidadosa, una educación adecuada de los maestros y las circunstancias específicas de cada institución y estudiantes.
Recomendaciones para futuros estudios:
Las siguientes recomendaciones para futuras investigaciones se recomiendan a partir de los descubrimientos y limitaciones identificadas en este estudio para mejorar el uso de rúbricas digitales en el contexto de las universidades:
Estas líneas de estudio consentirían cimentar un corpus de comprensión más robusto y contextualizado acerca de la utilización de rúbricas digitales en la educación universitaria, ayudando al progreso continuo de las prácticas evaluativas y por último en la mejora de la calidad del aprendizaje universitario.
Referencias
Aguilar, W., De Las Fuentes, M., y Justo, A. (2021). Percepciones de estudiantes sobre rúbricas digitales en evaluación de competencias. Revista Iberoamericana de Tecnología en Educación y Educación en Tecnología, 28(2), 105-114. https://doi.org/10.24215/18509959.28.e11
Anijovich, R. (2019). Orientaciones para la formación en la práctica profesional. Eudeba.
Anijovich, R., y Cappelletti, G. (2020). La evaluación como oportunidad. Paidós.
Boud, D. y Molloy, E. (2023). Rethinking models of feedback for learning: the challenge of design. Assessment y Evaluation in Higher Education, 38(6), 698-712. https://doi.org/10.1080/02602938.2022.1883543
Brookhart, S. M. (2022). How to create and use rubrics for formative assessment and grading (2nd ed.). ASCD.
Carless, D. y Boud, D. (2018). The development of student feedback literacy: enabling uptake of feedback. Assessment y Evaluation in Higher Education, 43(8), 1315-1325. https://doi.org/10.1080/02602938.2018.1463354
Cebrián, M. y Bergman, M. E. (2021). Evaluación formativa con tecnología digital en educación superior: Un meta-análisis. RELIEVE, 27(1), art. 2. https://doi.org/10.30827/relieve.v27i1.21044
Cuenca, R. y Reátegui, L. (2022). La reforma universitaria en el Perú: Avances y tensiones (2nd ed.). Instituto de Estudios Peruanos.
Díaz, F. (2020). La evaluación auténtica centrada en el desempeño: Una alternativa para evaluar el aprendizaje y la enseñanza. En F. Díaz-Barriga (Ed.), Enseñanza situada: Vínculo entre la escuela y la vida (pp. 125-163). McGraw Hill.
Figallo, F., González, M. T. y Diestre, V. (2021). Educación superior y pandemia en el Perú: Estrategias adaptativas y efectos en estudiantes de pregrado. GRADE.
Gikandi, J. W., Morrow, D. y Davis, N. E. (2022). Online formative assessment in higher education: A systematic review of the literature. Computers y Education, 57(4), 2333-2351. https://doi.org/10.1016/j.compedu.2021.05.004
Guadalupe, C. y León, J. (2023). Educación y brecha digital en el Perú: Diagnóstico y propuestas post-pandemia. Universidad del Pacífico.
Hattie, J. y Timperley, H. (2021). The power of feedback revisited: A meta-analysis of the effects on students' learning outcomes. Review of Educational Research, 91(2), 134-173. https://doi.org/10.3102/0034654321990713
Jonsson, A. (2020). Enhancing performance through digital rubrics: Implications from meta-analysis. British Journal of Educational Technology, 51(5), 1407-1422. https://doi.org/10.1111/bjet.12987
Popham, W. J. (2018). Classroom assessment: What teachers need to know (8th ed.). Pearson.
Raposo, M. y Martínez, E. (2022). Evaluación educativa mediante rúbricas digitales: Una revisión sistemática. Digital Education Review, 41, 125-143. https://doi.org/10.1344/der.2022.41.125-143
Reddy, Y. M. y Andrade, H. (2019). A review of rubric use in higher education. Assessment y Evaluation in Higher Education, 35(4), 435-448. https://doi.org/10.1080/02602930902862859
Wiggins, G. (2018). Educative assessment: Designing assessments to inform and improve student performance. Jossey-Bass.
Zimmerman, B. J. y Schunk, D. H. (2019). Handbook of self-regulation of learning and performance (2nd ed.). Routledge.
pág.
