(RE)Evaluando 2.0: la evaluación del futuro

Esta propuesta es resultado de uno de los laboratorios de diseño de propuestas del Proceso Facultad Cero, proyecto que nos invita a (re)pensar la Universidad en dos sentidos: 1) la detección de áreas de mejora y su debate; y 2) la generación de propuestas concretas para nuestra universidad y para su entorno.

Breve resumen

Pretendemos evaluar el rendimiento de la Universidad en su conjunto, a través de unas unidades que hemos denominado laboratorios de trabajo, ya se constituyan éstos en torno a proyectos docentes, investigadores, de gestión o de relevancia social, categorías que no son excluyentes entre sí, sino complementarias. Además, se evaluará la producción generada durante el proceso, así como los resultados finales.

Nombre de las personas participantes

• Nicolás Robinson – Investigador EC3Metrics – elrobinster@gmail.com
• Samuel Martín – PAS Facultad de Trabajo Social – smartinlopez88@gmail.com
• Pablo Guerra – PAS Vicerrectorado Investigación – pablogm00@gmail.com
• Carmen Huertas – IFMIF-DONES – huertasgarciac@gmail.com
• Arancha San Ginés – Investigadora LI2FE – asangines@go.ugr.es
• Rubén Alba-Ruiz – Investigador EC3Metrics – ruben@ec3metrics.com
• Mª Belén Martín – PDI UGR – mbmartin@ugr.es
• Daniel Torres – PDI UGR y CEO de EC3Metrics – torressalinas@gmail.com
• Javier Cantón – Investigador Medialab – prosumidor.social@gmail.com

Necesidades a las que atiende

Existe un problema para evaluar la actividad universitaria en todas sus facetas. Tradicionalmente se evalúa todo lo relacionado con los resultados de la investigación, quedando fuera otras actividades docentes, divulgadoras y de impacto social, así como el propio proceso de generación de conocimiento.

Objetivos del proyecto

• Subrayar las distintas misiones de la Universidad: docencia, investigación y transferencia del conocimiento, para conseguir un mayor impacto y una transformación social.
• Evaluar la producción y actividad investigadora de la comunidad universitaria, teniendo en cuenta tanto los ítems tradicionales bibliométricos como otro tipo de producciones menos visibles.
• Concienciar sobre la actividad docente e investigadora, especialmente en los medios digitales, con su consiguiente impacto social y divulgador.
• Tener en cuenta las denominadas variables de esfuerzo, aquellas encaminadas a valorar el trabajo que se ha hecho y el proceso realizado, independientemente de los resultados, lo que ayuda a no centrarse demasiado en procesos exitosos y revalorizar el fracaso como medio de aprendizaje.
• Tener en cuenta otras producciones de la comunidad universitaria, especialmente en el ámbito digital.
• Dar visibilidad a toda la actividad de la comunidad universitaria, no solo a la tradicionalmente evaluada en torno a la docencia y la investigación, sino también en todo lo referente a la difusión e impacto social.
• Dotar de transparencia todo el proceso evaluador de cada ítem evaluado, para lo que se propone la adopción de la tecnología blockchain.
• Sacar a debate la importancia (y necesidad) de un nuevo modelo evaluador de la ciencia actualmente.

Representación visual de la propuesta

Descripción amplia de la propuesta

Esta propuesta es un punto de partida, no de llegada, puesto que consideramos que es un tema demasiado importante como para un solo laboratorio de varias horas de reuniones. Este laboratorio busca, así, sacar a la luz un debate que creemos fundamental para definir el papel de la Universidad en las próximas décadas. La Universidad necesita ser evaluada, auto-evaluada, para mejorar aspectos como la eficiencia y la eficacia de su gestión o su producción. Pero, acorde con los modelos actuales, esta evaluación debe ser abierta, transparente y pública. Universidad y sociedad deben estar conectadas de una manera más profunda, para que el impacto social del trabajo de la Universidad sea mayor y para que la propia sociedad sea consciente y partícipe del trabajo universitario. La denominada Ciencia ciudadana es un buen ejemplo de esta interrelación, en la que la actividad científica necesita de la ayuda de los ciudadanos para su desarrollo, y la sociedad necesita de esta actividad para su transformación, en una época histórica en la que la mayor fuente de riqueza yace en la construcción de conocimiento. Universidad y Sociedad, por tanto, se necesitan e influencian mutuamente.

La evaluación es algo que no puede permanecer desconectado de esta interrelación. Tradicionalmente se ha puesto el foco en la evaluación de la docencia, a través de encuestas que miden la satisfacción de sus usuarios (el alumnado), y de la producción científica, fundamentalmente a través de la bibliometría, que mide el impacto científico de los artículos y libros producidos por los investigadores universitarios. La bibliometría ha tratado de actualizar sus métricas a través de nuevas medidas como las propuestas en las altmétricas, que se centran en el impacto de la producción científica en medios sociales como Twitter, Facebook, blogs, noticias y redes sociales académicas como Research Gate, Academia.edu o Mendeley.

Nuestra propuesta parte de la estructuración del trabajo científico en torno a proyectos globales, en los que pueden insertarse todos los ítems resultantes durante el proceso: contenidos escritos y audiovisuales, eventos de divulgación y congresos, redes de colaboración con otras instituciones o el impacto social consecuencia de cualquier proceso de este tipo. Estos proyectos podrán ser docentes, investigadores, de gestión o de impacto, y partirán desde una filosofía abierta y transversal, donde todo proceso es público y transparente, abierto a la mejora continua y el prototipado.

También se tiene en cuenta la necesidad actual de trabajar colaborativamente para lo que se propone la creación de un tipo especial de unidad en torno a este tipo de proyectos: los laboratorios de trabajo, constituidos en torno a un proyecto, y de duración temporales (como sí ocurre hasta ahora con los grupos de investigación, los departamentos o las unidades de excelencia). Estos laboratorios tendrán como objetivo la creación y desarrollo de un proyecto y serán transdisciplinares e interdepartamentales, pudiendo formar parte de los mismos cualquier miembro de la comunidad universitaria, sea PDI, PAS, estudiante, o cualquier ciudadano sin adscripción universitaria, pero que quiera formar parte del mismo por su implicación con el objeto de estudio y sea aceptado como miembro del laboratorio por el resto de miembros.

Dentro de dichos laboratorios se contabilizarán y medirán todos los ítems que se produzcan dentro de los proyectos para los que se han creado, pudiendo ser evaluados, entre otros, los siguientes: las clases, los materiales docentes, el rendimiento académico, la empleabilidad y satisfacción de los egresados con la formación recibida, las publicaciones, las transferencias de conocimiento (como las patentes o la creación de spin-offs), los informes elaborados, las colaboraciones y convenios con otras instituciones, los eventos académicos (como congresos), las estrategias explicitadas en algún documento (escrito o audiovisual), el impacto social (a través de variables como la viralidad o la transformación social), las mejoras detectadas, los eventos públicos (especialmente los de tipo divulgativo), la comunicación para la difusión a través de redes sociales, prensa, blogs, boletines, mensajería o cualquier otro medio de comunicación empleado. Es decir, todos los contenidos que se creen bajo el paraguas del proyecto podrán ser y serán evaluados. Para ello, se dotará a cada ítem, cada contenido, de un URI propio, un identificador único. Un ejemplo son los DOI para los artículos científicos. Estos ítems serán validados a través de una tecnología de cadena de bloques o blockchain, pues mantiene un registro público, completo y validado de toda la producción, amén de garantizar la transparencia y y verificabilidad de los ítems. Puede usarse como punto de partida la propuesta de artefactos digitales hecha en el proyecto Knowmetrics (ver más abajo enlaces en documentación).

En lo que respecta a la docencia, proponemos hacer un seguimiento de la trayectoria de los alumnos graduados egresados con la intención de evaluar en la práctica la utilidad de la formación adquirida, con encuestas telefónicas aleatorias a los 5 y 10 años de haberse graduado, que pregunten sobre los destinos laborales y satisfacción con dicha formación recibida. Además, se evaluarán los materiales docentes proporcionados, en función del grado de elaboración y la implicación del profesor en el proceso de aprendizaje. En el tema de gestión también podrían tenerse en cuenta toda aquella producción creada a tal fin.

Para todo ello se propone la realización de una experiencia piloto, en la que pueda evaluarse a un grupo de investigadores y docentes voluntarios que se presten a ello. También podría establecerse, en este mismo modo de prueba, algún laboratorio de trabajo temporal experimental en torno a un proyecto concreto, en el que pueda evaluarse tanto su producción como su forma de trabajo y procesos desarrollados. A partir de ahí, podría evaluarse el proyecto conformado por estos laboratorios. Esta evaluación piloto tendría la duración de un curso académico, para contemplar las distintas posibilidades y situaciones que puedan darse a lo largo de un año escolar. No entramos aquí a detallar las posibles métricas para cada ítem, puesto que este prototipado podría hacerse durante esta experiencia piloto.

Recursos necesarios

Personal, recursos e instalaciones para la realización de esta experiencia piloto. Un equipo podría ser el encargado de realizar las distintas fases para la implantación de esta evaluación experimental: la primera consistiría en contactar con los profesores e investigadores voluntarios que deseen participar; la segunda, la conformación de los laboratorios de trabajo temporales y los proyectos anejos a los mismos; la tercera, impartir la formación necesaria para comprender el alcance del proceso y las herramientas a usar durante el mismo; a continuación, en una cuarta fase, se implementaría el modelo, para lo que los laboratorios evaluados estarían asesorados en todo momento por el equipo evaluador, que paralelamente estará realizando el seguimiento y evaluación de todo el proceso; la quinta y última fase consistirá, transcurrido el curso académico, en la evaluación final y de proceso por parte del equipo evaluador, así como de las reuniones periódicas para la retroalimentación que se irían celebrando a lo largo del año evaluado. El éxito o fracaso de esta experiencia piloto determinará el grado de implantación en cursos sucesivos.

Instituciones responsables de promover el proyecto

• Universidad de Granada.
• MediaLab UGR.
• EC3Metrics.

Otros actores implicados y en qué sentido (stakeholders)

• Internos: Comunidad Universitaria, Investigación, Docencia y Divulgación, Gestión (PAS)
• Conectados: Resto de Comunidad Universitaria (temporales, colaboradores, alumnado). Instituciones públicas y privadas colaboradoras.
• Externos: Sociedad verificabilidad de los ítems. Puede usarse como punto de partida la propuesta de artefactos digitales hecha en el proyecto Knowmetrics (ver más abajo enlaces en documentación).

En lo que respecta a la docencia, proponemos hacer un seguimiento de la trayectoria de los alumnos graduados egresados con la intención de evaluar en la práctica la utilidad de la formación adquirida, con encuestas telefónicas aleatorias a los 5 y 10 años de haberse graduado, que pregunten sobre los destinos laborales y satisfacción con dicha formación recibida. Además, se evaluarán los materiales docentes proporcionados, en función del grado de elaboración y la implicación del profesor en el proceso de aprendizaje. En el tema de gestión también podrían tenerse en cuenta toda aquella producción creada a tal fin.

Para todo ello se propone la realización de una experiencia piloto, en la que pueda evaluarse a un grupo de investigadores y docentes voluntarios que se presten a ello. También podría establecerse, en este mismo modo de prueba, algún laboratorio de trabajo temporal experimental en torno a un proyecto concreto, en el que pueda evaluarse tanto su producción como su forma de trabajo y procesos desarrollados. A partir de ahí, podría evaluarse el proyecto conformado por estos laboratorios. Esta evaluación piloto tendría la duración de un curso académico, para contemplar las distintas posibilidades y situaciones que puedan darse a lo largo de un año escolar. No entramos aquí a detallar las posibles métricas para cada ítem, puesto que este prototipado podría hacerse durante esta experiencia piloto.

Cronograma de la implementación propuesta

Es una experiencia piloto, durante un curso académico. E ir implementando en cursos sucesivos. Las fases del proceso serían las siguientes:

1. Contacto con los profesores e investigadores voluntarios que deseen participar.
2. Conformación de los equipos de trabajo en laboratorios de trabajo temporales y determinación de los proyectos anejos a los mismos
3. Impartición de la formación necesaria para comprender el alcance del proceso y las herramientas a usar durante el mismo para los laboratorios por parte del equipo organizador
4. Implementación del modelo, para lo que los laboratorios evaluados estarían asesorados en todo momento por el equipo evaluador, que paralelamente estará realizando el seguimiento y evaluación de todo el proceso
5. Transcurrido el curso académico, la evaluación final y de proceso por parte del equipo evaluador, así como de las reuniones periódicas para la retroalimentación que se irían celebrando a lo largo del año evaluado.

Impacto esperado e indicadores

Esperamos que la experiencia piloto sea un éxito y pueda implementarse en un futuro. Y que el proceso evaluador sea una experiencia de aprendizaje y mejora para los propios evaluados y la propia institución universitaria. Esperamos mejorar el rendimiento y las tasas de éxito (egresados, proyectos presentados/concedidos, divulgación, visibilidad de la actividad universitaria, docencia), así como el proceso de evaluación, la transparencia y la apertura de la Universidad como institución social. También que se puedan establecer algunas recomendaciones de mejora.

¿Qué hemos aprendido?

Aunque el grupo de trabajo ha sido pequeño, se han mostrado posturas distintas en algún momento del debate, lo que, unido a dificultades de comunicación, ha provocado que en algunos momentos se haya atorado el debate en puntos, no obstante, fundamentales de esta propuesta, como si había que poner el énfasis en la evaluación de la persona o del proyecto.

Otra dificultad se halló en separarse de la realidad evaluadora existente, de los supuestos de partida. Había que acudir siempre al punto cero: si no existiera, ¿cómo debería ser? Por tanto, quizás la mayor dificultad fue eliminar las presunciones, todo aquello que se da por supuesto para no verse limitados en la propuesta, aunque era imposible no tener en cuenta el modelo evaluador existente actualmente.

La falta de concreción de la pregunta fue otra dificultad añadida, pues al alto grado de abstracción del tema planteado se suma la amplitud de la propuesta, cuyo alcance supone toda una transformación de la Universidad.

También se detectó una cierta confusión entre evaluación, indicadores y política científica, teniendo que precisar entonces qué se debía evaluar y por qué.

Igualmente hubo que definir muchos de los conceptos que también damos por supuesto pero cuya definición era importante y relevante para esta propuesta

Documentación del proceso de trabajo

• El proceso de trabajo para realizar esta propuesta se ha ido documentando a medida que se desarrollaba, en el Foro del Proceso Facultad Cero en LabIN Granada. También puedes acceder a este foro en concreto aquí.
• Algunos artículos que surgieron para el debate, como este de The Guardian sobre el negocio de las editoriales científicas:
• Un artículo de Arancha, miembro y participante de este lab, en el que ya había reflexionado sobre el tema y la necesidad de ir más allá de los rankings:
• Este otro sobre la conveniencia de implantar la tecnología de blockchain en la educación
• La web del proyecto Knowmetrics, que estudia un modelo alternativo de evaluación de la ciencia digital
• Colección de artefactos digitales dentro del proyecto Knowmetrics
• Las fotos de las distintas reuniones.

Descárgate el póster de la propuesta

Respuesta institucional a la propuesta

Respuesta recibida en el mes de octubre de 2018.