Introducción
La educación superior es clave en el desarrollo de cualquier país y los estudios de posgrado son esenciales para poder hacer frente a constantes trasformaciones que redefinen los espacios de aprendizaje y de gestión de los conocimientos.El posgrado es la actividad de formación a la que se accede después de la obtención de un título universitario; en Cuba, de acuerdo al Reglamento de Educación Superior, el posgrado está dirigido a promover la educación permanente de los graduados universitarios, con una alta competencia profesional y avanzadas capacidades para la investigación y la innovación. Considera formas organizativas del posgrado académico: la especialidad de posgrado, la maestría y el doctorado, la formación posdoctoral como proceso de actualización permanente para profesores e investigadores con el grado científico de doctor y como superación profesional: el curso, el entrenamiento y el diplomado, además de otras modalidades como la conferencia especializada, el seminario, el taller, el debate científico, que complementan el estudio y divulgación de los avances del conocimiento, la ciencia, la tecnología y el arte.(1)
La superación profesional, como formación continua, adquiere cada día mayor relevancia debido a la posibilidad de desarrollar programas actualizadores de forma más dinámica que los programas académicos, ante la demanda de profesionales competentes, capaces de aportar soluciones a los problemas que enfrenta la sociedad. En consonancia, el Sistema Nacional de Salud de Cuba (SNS) tiene entre sus objetivos, la sistemática y necesaria actualización de los profesionales del sector, lo cual se traduce en los logros alcanzados tanto en el territorio nacional como internacional, por eso la superación, capacitación y perfeccionamiento de los recursos humanos alcanza gran significación, y la calidad se convierte en un componente clave.
La calidad, entre sus muchas acepciones es vista como conjunto de propiedades y características, satisfacción de expectativas; también como perfección, logro de objetivos, eficiencia, transformación y valor agregado.(2,3, 4) Según las Normas ISO,(5) calidad “es el grado en el que un conjunto de características inherentes cumple con los requisitos”. De acuerdo a Salas Perea, el concepto de calidad puede analizarse de múltiples y variadas formas y explica que la calidad de la educación precisa del desarrollo de una gestión académica eficaz y eficiente y de la capacidad de autoevaluar permanentemente la calidad de la enseñanza impartida;(6) por su parte Bernaza Rodríguez considera que la calidad se debe ver no solo desde el punto de vista de la excelencia académica, sino también de la pertinencia social del programa.(7)
En la superación profesional, es importante que los procedimientos relacionados con la aprobación de los programas cumplan los requisitos metodológicos establecidos, que esa parte del proceso se desarrolle con calidad, pero no es solo considerar el cumplimiento de algunos atributos establecidos como estándares; también la calidad debe ser garantía de que los programas que se desarrollen sean abordados desde necesidades identificadas, para que el conocimiento adquirido impacte en el contexto de la práctica, y que se convierta en un proceso cíclico, para que, desde el contexto de la práctica, se genere nuevo conocimiento.(8)
Por otra parte, como apuntaba Salas Perea,(6) la calidad de la educación debe quedar determinada por la capacidad que tienen las instituciones y los claustros docentes para preparar al individuo destinatario de la educación. En Cuba, las instituciones que imparten posgrado en salud púbica, deben ser gestoras de ese encargo. Entre ellas, la Escuela Nacional de Salud Pública (Ensap), institución de posgrado y de perfeccionamiento profesional. En la Ensap se desarrollan programas de formación académica y de superación profesional.
La escuela tiene entre sus prioridades incrementar la calidad de todos sus procesos, para lo cual los departamentos docentes y el claustro desempeñan un papel fundamental. El proceso de superación profesional ha encauzado un proyecto hacia la gestión de la calidad, que incluye la evaluación como principio para lograrla. Ante la inexistencia de un instrumento que permita evaluar la calidad en el proceso de superación profesional, se diseñó una guía para la evaluación de programas de superación profesional, sustentada en un patrón de calidad adaptado a las características de la institución.
Con el propósito de validar la guía de evaluación de la superación profesional, se aplicó un instrumento a expertos, que observa en qué medida sus componentes, variables e ítems, según la categoría a evaluar, cumplen los criterios de suficiencia, claridad, coherencia y relevancia; además de esa consulta teórica, se hizo un estudio piloto con un programa de diplomado desarrollado en la Ensap.Es objetivo de este trabajo exponer los resultados obtenidos en la validación de la guía para la evaluación de programas de superación profesional.
Métodos
El estudio discurrió en dos momentos.
Primer momento: se realizó una investigación en Políticas y Sistemas de Salud que clasifica como un trabajo de desarrollo tecnológico tipo Investigación + Desarrollo + Innovación (I+D+I), para la elaboración y validación de un instrumento que mide calidad del proceso de superación profesional en la Escuela Nacional de Salud Pública. La investigación se efectuó en la Escuela Nacional de Salud Pública, en La Habana, de enero 2023 a febrero de 2024.
Para la construcción del instrumento se seleccionaron tres expertos que tuvieran como requisitos tener categoría científica, poseer 15 o más años de experiencia en la docencia y que mantuvieran vínculo directo con la formación posgraduada. Para la validación de aspecto y contenido del instrumento, se escogieron nueve expertos, con similares características. Para la validación empírica se seleccionó un programa de Diplomado desarrollado en la Ensap que cuenta con varias ediciones, y resultó factible acceder a entrevistar a 10 de sus egresados.
Se realizó un análisis de validez para determinar la capacidad del test para medir lo que realmente pretende medir, a partir de las variables:
-Validez de apariencia: es el que determina si los ítems que componen el instrumento han sido correctamente construidos. (Corresponde al atributo claridad, evaluada por juicio de expertos, anexo1).
-Validez de contenido: implica juicios de valor por parte de expertos acerca de la pertinencia y relevancia del contenido de cada uno de los ítems del instrumento, en relación con lo que se pretende medir, si está acorde con las variables empleadas. Se midió por medio del coeficiente de validez de contenido insesgado y corregido de Hernández Nieto (CVCi corregido).(9)
Para determinar la validez de contenido se tuvieron en cuenta los siguientes atributos:
-Suficiencia: los ítems que pertenecen a una misma dimensión bastan para obtener la medición de ésta.
-Claridad: el ítem se comprende fácilmente, es decir, su sintáctica y semántica son adecuadas.
-Coherencia: el ítem tiene relación lógica con la dimensión o indicador que está midiendo.
-Relevancia: el ítem es esencial o importante, es decir debe ser incluido.
El instrumento y sus ítems, fueron evaluados por expertos según los atributos antes mencionados, y se clasificaron en las categorías de Alto, Moderado, Bajo y Muy bajo.
Se realizó una revisión bibliográfica que permitió el posicionamiento teórico sobre el tema, los criterios metodológicos para la elaboración de la guía de evaluación, así como establecer las definiciones de las variables relacionadas con el tema.
Para la elaboración del instrumento se efectuó un taller, destinado a definir las variables o categorías mediante la técnica de grupo nominal. La construcción de los ítems, la definición de la forma evaluativa de los instrumentos y la escala, se realizó con base a las consideraciones de los tres expertos seleccionados, con más de 15 años de experiencia en la labor de docencia de posgrado y en el diseño de instrumentos, y a la consulta de referentes existentes en la literatura.
A la versión inicial del instrumento se le realizó validación de aspecto y contenido por vía electrónica, por nueve expertos que tuvieran requisitos similares a los que participaron en la construcción, para controlar sesgos y conflictos de intereses. El instrumento y sus ítems, evaluados, se clasificaron en las categorías de Alto, puntaje de 4,0 a 3,6; Moderado de 3,5 a 3; Bajo de 2,9 a 3,5; y Muy bajo, menos de 3,4.(10) La versión final de los instrumentos fue devuelto a los expertos, para su validación definitiva, con base a los mismos criterios. Se solicitaron recomendaciones para eliminación o rectificación en caso de los ítems no ser evaluados en la categoría de Alto.
Se les solicitó, además, que clasificaran el instrumento obtenido según criterios de utilidad y factibilidad, en las siguientes categorías: 1. No cumple el criterio, 2. Bajo nivel, 3. Moderado nivel, 4. Alto nivel. Se calculó la media del puntaje otorgado por los expertos, y se clasificaron en las categorías de Alto, de 4,0 a 3,6, Moderado, de 3,5 a 3,0, Bajo, de 2,9 a 2,5 y Muy bajo, menos de 2,4.
Se calculó el coeficiente de validez de contenido insesgado y corregido total, de Hernández Nieto (CVC Total),(9) que mide la validez de contenido de cada uno de los instrumentos, según la técnica de juicio de expertos; y establece la relación proporcional entre la evaluación promedio observada entre los jueces y la evaluación máxima esperada, ajustada por concordancia aleatoria entre los jueces. Se consideró validez adecuada, si el CVCi corregido > 0,8 en cada uno de los atributos evaluados, correspondiente a las categorías del excelente y buena de la escala de la variable.
Se realizó la captura de los datos, confección de la base de datos en Microsoft Excel 2010, procesamiento de estos en SPSS versión 21.0, los que se resumieron en frecuencias absolutas, porcentajes y medias. Los resultados se presentan en tablas y gráficos.
En la presente investigación se tuvieron en cuenta los principios éticos de la Declaración de Helsinki y la Declaración Universal de los derechos humanos.(11,12)
Se solicitó para la realización de la investigación la autorización del Comité de ética de la Ensap. Se tuvo en cuenta, además, el consentimiento de participación a los expertos seleccionados. Se explicó a todos los involucrados en la investigación los propósitos de la misma previa a la aplicación de los instrumentos, se solicitó su cooperación para la recolección de la información la cual sería confidencial y solo se utilizaría con fines docentes e investigativos.
Resultados
La revisión documental y la consulta a expertos permitió la identificación de los aspectos clave de la guía de evaluación de la superación profesional en la Escuela Nacional de Salud Pública. Entre los componentes se incluyen elementos de información general, aspectos formales, variables estudiantes, programa de superación, profesores e infraestructura. La versión inicial del instrumento contuvo 26 ítems, con su respectivo instructivo.
Como resultado de la sesión de expertos, los datos numéricos se computaron para obtener el coeficiente de validez de contenido insesgado y corregido de Hernández Nieto, (9) lo que permitió validar el contenido del instrumento que, con las valoraciones sobre validez de aspecto realizada por los investigadores, permitió la triangulación de la información obtenida y obtener la versión final del instrumento. La información de los resultados del CVCic distingue que todos los ítems se muestran por encima de 0,8 y los límites inferiores de los intervalos de confianza de ambos coeficientes también son superiores a 0,8. (Tabla 1).
De lo anterior se interpreta que el instrumento y sus ítems miden lo que se quiere medir. (Fig. 1).
El equipo evaluador que participó en la validación empírica otorgó al programa de diplomado seleccionado una calificación por encima de 0.9. La prueba evidenció algunas debilidades en el diseño del programa. Se identificaron insuficiencias en la guía de evaluación, que permitieron la introducción de mejoras.
Del programa evaluado:
Fortalezas:
- Elevado nivel científico del claustro.
- Excelente organización de los expedientes con la documentación del programa y expedientes de matrícula.
Debilidades:
- No se evidencia en qué medida se emplearán las tecnologías en el proceso de aprendizaje, aunque está declarada la modalidad semipresencial, y tiene contenidos subidos al aula virtual.
- El formato de plan temático no es uniforme en todos los cursos que integran el programa docente. Ausencia de leyenda en la tabla de plan temático.
De la guía de evaluación:
- Ausencia de interrogantes para evaluar el uso de los Entornos Virtuales de Enseñanza Aprendizaje (EVEA).
- No indaga acerca de los métodos por medio de los cuales se organizarán las actividades.
Se entrevistaron 10 estudiantes egresados del diplomado (anexo 4). La tabla 2 recoge información sobre sus opiniones acerca del proceso docente educativo. Se distingue que las mayores dificultades señaladas fueron las relacionadas con que el tiempo de duración planificado es insuficiente para el sistema de contenidos (4,44), seguido de las condiciones ambientales y uso de recursos tecnológicos y acceso a navegación, ambas con 4,67 puntos como promedio. (Tabla 2).
Discusión
En esta investigación se diseñó y validó una guía de evaluación de la superación profesional en la Escuela Nacional de Salud Pública, con el propósito de proveer al proceso de superación profesional de un instrumento para la autoevaluación, ajustado a las características de la institución, y así contribuir con la estrategia de la Ensap de sistematizar la evaluación de la actividad académica, y promover la inclusión de los programas de superación profesional en la estrategia de gestión de la calidad.
Los autores consideran que el instrumento diseñado probó que cumple con los requisitos de validez de apariencia y contenido de acuerdo a los indicadores obtenidos, además, los resultados derivados evidenciaron que posibilita la introducción de mejoras en el proceso de superación profesional a partir de la identificación de insuficiencias y debilidades, tanto en el programa docente como en los procedimientos formales para su aprobación; pero la guía de evaluación aún presenta carencias, porque no hubo variables idóneas para valorar fielmente los métodos del programa docente analizado, así como el uso práctico de los entornos virtuales de aprendizaje.
La evaluación de procesos, programas e instituciones académicas, es siempre una poderosa herramienta para identificar fortalezas y debilidades que permitan implementar estrategias de mejora, lograr objetivos y tomar decisiones fundamentales. Entre los estudios consultados, varios apuntan a evaluación de impacto y satisfacción dirigidos a la enseñanza, y ahondan más que el presentado con este resultado, sobre la importancia del desempeño profesional de los docentes, demostrado a partir de indicadores que miden a) nivel de producción y difusión intelectual sobre la especialidad, b) desarrollo del trabajo metodológico, c) grado de profesionalización de la actividad docente a través de la integración de los componentes académicos, laboral, investigativo y extensionista, d)grado de utilización de métodos y procedimientos que favorezcan el desarrollo de las potencialidades de los estudiantes;(13,14,15,16) si bien en su mayoría son estudios realizados en el pregrado, se considera oportuno analizar los elementos de los cuales adolece esta propuesta, que solo indaga sobre el perfil profesional, categoría docente y científica de los profesores y no sobre resultados del docente.
Se revisaron otras investigaciones sobre la temática abordada, que profundizan con múltiples variables en la dimensión satisfacción del estudiante.(17,18,19,20) A partir de esos referentes, estos autores derivan que la herramienta propuesta en este estudio (Guía de evaluación de la superación profesional en la Escuela Nacional de Salud Pública) a pesar de contener una encuesta de satisfacción de los estudiantes, no es robusta para asegurar que el nivel de satisfacción percibido es un exponente fiel de calidad, porque las valoraciones de los estudiantes pueden estar permeadas de subjetividad, y también porque la información recogida en esa encuesta no se triangula con otros registros como son las actas de control a clase; pero también se razona que dada la brevedad de la mayoría de los programas de superación profesional, no es factible implementar estudios más completos como los realizados en la formación académica. Otra debilidad encontrada es que si bien en la variable programa se revisa el grado en que las estrategias de evaluación se corresponden con la forma organizativa del programa, no se solicitan los resultados obtenidos por los estudiantes, como evidencia para retroalimentar el proceso y encontrar oportunidades de mejora para cada programa en particular, desde la mirada del equipo de evaluación.
La guía presentada se orienta a resultados posteriores a la impartición de los programas de superación profesional, pero no observa el proceso durante su desarrollo, lo cual podria ser garantía de calidad interna.
Conflicto de intereses
Los autores declaran que no existe conflicto de intereses.
Contribuciones de los autores
Conceptualización: Esther Paredes Esponda, María Luisa Quintana Galende.
Metodología: Liliam Quelle Santana, Esther Paredes Esponda.
Curación de datos: Liliam Quelle Santana, Esther Paredes Esponda.
Análisis formal: Liliam Quelle Santana.
Investigación: Esther Paredes Esponda, María Luisa Quintana Galende, Indira Barcos Pina, Inarvis Medina González, Liliam Quelle Santana, Yadimir Martínez Blanco.
Validación: Esther Paredes Esponda, Liliam Quelle Santana, Yadimir Martínez Blanco, Indira Barcos Pina.
Visualización: Esther Paredes Esponda, Liliam Quelle Santana, María Luisa Quintana Galende.
Redacción del manuscrito original: Esther Paredes Esponda, Liliam Quelle Santana, María Luisa Quintana Galende.
Redacción revisión y edición: Esther Paredes Esponda, Liliam Quelle Santana, María Luisa Quintana Galende.
Financiación
Escuela Nacional de Salud Pública. La Habana, Cuba.
REFERENCIAS BIBLIOGRÁFICAS
1.Ministerio de Educación Superior. Resolución No. 140 de 2019. Reglamento de la Educación de Posgrado de la República de Cuba, publicado en la Gaceta Oficial No 65 Ordinaria, del 5 de septiembre de 2019. La Habana: Minsap; 2019.
2.Páez Luna DL, Camargo Celis DR, Muriel Perea YJ. Calidad de las instituciones de educación superior desde la perspectiva de América Latina y el Caribe. Signos, Investigación en sistemas de gestión [Internet]. 2021[citado 29/04/2024];13(1):[aprox. 28 p.]. Disponible en: https://www.redalyc.org/journal/5604/560468679013/html/
3.Asiyai RI. Best practices for quality assurance in higher education: implications for educational administration. International Journal of Leadership in Education[Internet]. 2020 [citado 29/04/2024];25(1):1-12. Disponible en: https://www.tandfonline.com/doi/full/10.1080/13603124.2019.1710569
4.Junta de Acreditación Nacional. Sistema de Acreditación y Evaluación de Instituciones de educación Superior (SEA-IES)[Internet]. La Habana: JAN; 2014[citado 2/04/2024]. Disponible en: https://instituciones.sld.cu/cedas/files/2016/06/4.pdf
5.International Organization for Standardization. ISO 9001: 2015. Quality management systems–Requirements[Internet]. Geneva: ISO; 2015[citado 21/09/2023]. Disponible en: https://www.iso.org/standard/62085.html
6.Salas Perea RS. La calidad en el desarrollo profesional: avances y desafíos. Rev Cubana Educ Med Super. 2000;14(2):136-47.
7.Bernaza Rodríguez GJ. Construyendo ideas pedagógicas sobre el posgrado desde el enfoque histórico-cultural [Internet]. La Habana: Editorial Universitaria; 2019[citado 30 jun 2024]. Disponible en: http://repositorio.eduniv.cu/items/show/3037
8.Gonzalez-Argote J, Lepez CO. Estrategias para elevar los estándares de calidad, normalización, visibilidad e impacto científico de la Maestría en Gerenciamiento Integral de Servicios de Enfermería. Sal Cienc Tec. 2022;2:47.
9.Hernández Nieto R. Instrumentos de recolección de datos en Ciencias Sociales y Ciencias Biomédicas. Mérida: Editorial Universidad de los Andes; 2002.
10.Escobar Pérez J, Cuervo Martínez A. Validez de contenido y juicio de expertos: una aproximación a su utilización. Rev Avances en Medición[Internet]. 2008[citado 02/04/ 2024];6(1):27-36. Disponible en: http://www.humanas.unal.edu.co/psicometria/files/7113/8574/5708/Articulo3_Juicio_de_expertos_27-36.pdf
11.Asociación Médica Mundial. 64ta Revisión de la Declaración de Helsinki de la Asociación Médica Mundial en la 64ª Asamblea General, Fortaleza, Brasil, 2013, y la protección de los sujetos de investigación[Internet]. Fortaleza: AMM; 2013[citado 02/04/ 2024]. Disponible en: http://www.ub.edu/comissiobioetica/ca/documents-i-normativa
12.Organización de Naciones Unidas. Declaración Universal de los derechos Humanos. Washington: ONU; 1948[citado 2/04/2024]. Disponible en: https://www.un.org/es/about-us/-universal-declaration-of-human-rights
13.Sotelo Asef JG, Sosa Álvarez MC, Carreón Gallegos E. Validación del instrumento de evaluación de desempeño de un sistema de gestión de calidad en una institución de educación superior. RIDE. Rev Iberoam Investig Desarro Educ[Internet]. 2020[citado 06/05/2024];10(20):e082. Disponible en: https://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S2007-74672020000100135
14.Fernández Alemán MA, Martínez Martínez E, González Olaguive EV. Diseño de encuesta para evaluar la calidad de la Superación Profesional en el Centro de Neurociencias de Cuba. Rev Cubana Educ Superior[Internet]. 2022[citado 06/05/2024];41(2):[aprox. 7 p.]. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S025743142022000200025&lng=es&tlng=pt
15.Imamura Díaz JI, Morales González M, Pérez García C. Metodología para la evaluación de impacto de la superación en la Educación Técnica y Profesional. Ingeniería Industrial[Internet]. 2022[citado 10/05/2024];XLIII(1):1-9. Disponible en: http://scielo.sld.cu/pdf/rii/v4n1/1815-5936-rii-43-01-13.pdf
16.Cevallos Soria N, Romero Sandoval A. Mejoramiento de la calidad de la educación superior desde la comparación de estándares. IRJ. 2017;2(7):13-3.
17.Lara García B, Rodríguez Rodríguez C, Díaz Lara KA. Encuesta de satisfacción de alumnos de programas de posgrado de un centro universitario en el área de ciencias de la salud. Revista de Educación y Desarollo [Internet]. 2020[citado 12/08/2024];0(55):3-74. Disponible en: http://www.cucs.udg-mx/revistas/edu_desarrollo/anteriores/55/55_lara.pdf
18.Gonzalez Tórres A. Evaluación de la calidad en estudios de posgrado esde la aprciación estudiantil. RIDE. Rev Iberoam Investig Desarro Educ[Internet]. 2024[citado 06/08/2024]; 14(28):[aprox. 20 p.] Disponible en: https://ride.org.mx/index.php/RIDE/article/view/1870
19.Buitrago Suescún OY, Espitia Cubillos AA, Mejías Acosta AA. Análisis de factores para la medición de la satisfacción estudiantil en educación superior. Revista Educación en Ingeniería[Internet]. 2017[citado 12/08/2024];12(24):107-12. Disponible en https://doi.org/10.26507/rei.v12n24.774
20.Vaca Ruiz JJ, Herrera Herrera C, Vaca Herrera JJ. Evaluación de la calidad del servicio educativo y su influencia en la satisfacción de los estudiantes. Debates en Evaluación y Currículum[Internet]. 2016[citado 12/08/2024];2(2):3532-42. Disponible en: https://centrodeinvestigacioneducativauatx.org/publicacion/pdf2016/E003.pdf
