¿CÓMO EVALUAR PROYECTOS DE SALUD?

Bueno, [Música] buenas tardes a todos y a todas. Antes que nada, me gustaría dar la bienvenida a todos los que habéis decidido acompañarnos en este webinar sobre cómo evaluar proyectos de salud. Es para todos los que de una u otra forma hemos colaborado en la organización una satisfacción el poder compartir este tiempo con vosotros y con vosotras. Sabemos que septiembre es un mes que está cargada la agenda de actividades de compromisos, pero el poder contar en este encuentro con un grupo tan nutrido de personas de diferentes organizaciones y entidades nos hace pensar en el acierto en cuanto a la pertinencia y la oportunidad de este encuentro.

Las organizaciones que van a presentar sus experiencias han realizado algunos trabajos comunes en el estudio donde los mismos han concluido perspectivas similares de cómo enfocar los procesos de evaluación en proyectos de salud, de cómo hacer complementario y aprovechar los conocimientos que cada entidad aporta y, sobre todo, han compartido una visión y una vocación hasta un trabajo cuidado y cercano a las personas. Son así se trabaja y para los que se trabaja.

El objetivo de este seminario, nosotros, que dar a conocer las posibilidades de la evaluación con el propósito de contribuir a una mejor gestión de los recursos, a un mayor conocimiento del impacto de nuestras acciones y un aprendizaje como organización. Pretendemos, de manera práctica y cercana, a formarnos al entorno de la evaluación y sensibilizar sobre la importancia de su aplicación en los proyectos de actuaciones que se desarrollan.

Dos en cada una de las ojos. Canalizar acciones sin más duración. Paso presentados a cada una de las personas que van a explicar sus experiencias. Empiezo por Diego Villalón García, diplomado en Trabajo Social, cofundador de la Fundación Más que Ideas, organización sin ánimo de lucro que trabaja para que las personas sean protagonistas de su salud y puedan mejorar su calidad de vida. Para ello, promueven proyectos de apoyo e información dirigido a personas que conviven con una enfermedad, realiza un proyecto de investigación social para conocer las sal de la población en materia de salud e impulsan iniciativas de divulgación y sensibilización para tender puentes entre la comunidad científica y la sociedad.

Ramón Crespo Ponte, evaluador independiente de programas y políticas públicas, ha sido miembro de la junta directiva de la Sociedad Europea de Evaluación y ha trabajado en la Cátedra de Investigación Cualitativa de la Universidad Autónoma de Barcelona como responsable de proyectos de evaluación. Ha realizado diferentes trabajos de evaluación en Brasil y la Generalitat de Cataluña. Ha realizado funciones como coordinador de evaluación de los programas de juventud de la Secretaría General de la Juventud, docente en el Máster de Evaluación de Programas y Políticas Públicas de la Universidad Complutense de Madrid y profesor colaborador en distintos programas de grado y posgrado. Dirige evaluaciones de programas en áreas de desarrollo comunitario, de educación para la posición global, proporción de la salud, infancia y juventud.

Mariana Neti Mateos, socióloga, máster en Evaluación en la Universidad Complutense de Madrid y posgrado en Investigación Social Aplicada y Análisis de Datos. Desarrolló su labor profesional como evaluadora en los ámbitos de la intervención social, salud y cooperación al desarrollo. Como investigadora, ha trabajado en diferentes proyectos de la Universidad Complutense y Nadia TGN. El desarrollo colabora como docente y tutora en el Máster de Evaluación y han perdido informaciones en evaluación para diferentes instituciones.

Por último, Juan Andrés Ligero Lasa, sociólogo, profesor de la Universidad de Evaluación de Políticas Públicas en la Universidad Carlos III, codirector del Máster de Evaluación de Programas y Políticas Públicas de la Universidad Complutense de Madrid, autor de diferentes artículos y publicaciones. Realiza trabajos profesionales de evaluación para entidades públicas y privadas, tanto en el ámbito nacional como internacional, y es vocal del Consejo Español de Drogodependencias y otras Adicciones, el Plan Nacional sobre Drogas.

Por último, solamente señalar los que podéis hacer preguntas o comentarios en el apartado que tenéis de preguntas y ya posteriormente en mi último bloque de bloque de webinar intentaremos la respuesta a aquellos preguntas o cuestiones que hayan sido planteadas durante el transcurso del seminario y ya sin más preámbulos, reitero mi bienvenida. Cedo la palabra a Diego Villalón.

Muchas gracias, muchas gracias, muchas gracias, Ofelia, y buenas tardes a todas las personas que estáis al otro lado de la pantalla. La verdad es que estamos encantados de participar en este seminario online sobre un tema tan importante y tan valioso para cualquier organización o profesional que trabaja en el ámbito de la salud, como es la evaluación y la medición de resultados. Para mí es un privilegio, pero también es una gran responsabilidad participar hoy en este seminario representando a la Fundación Más que Ideas. En primer lugar, por el tema, porque como decía, creo que es uno de los grandes retos de todas las organizaciones que trabajamos en salud y también por los compañeros ponentes que van a participar en el webinar de hoy, ya que ellos y ellas sí que son expertos en evaluación, no como yo.

Estoy, adelanto, un rol en el seminario de hoy va a ser compartir con todos vosotros la experiencia de la Fundación Más que Ideas desde el momento que encendimos la bombilla, es decir, la creamos la organización hace siete años en el 2014 hasta el día de hoy. Y durante todo este tiempo, pues quiero compartir con vosotros pues cómo hemos ido tomando conciencia del valor, del valor del y la importancia de ir midiendo los resultados de los procesos de evaluación. Pero realmente, como veréis, no me voy a quedar en el presente porque realmente todavía tenemos mucho que mejorar y tenemos algunos retos a contemplar cara a cara al futuro.

Entonces, empezando, os invito a ir al 2014, 2014-2015, en el que un grupo de personas pues que hemos tenido cáncer, es decir, esto lo hacemos por una vocación social tremenda y que venimos de muchos años atrás de dedicarnos al ámbito de apoyo a pacientes y de representación de los derechos de pacientes, pues empezamos con la Fundación Más que Ideas. Y yo creo que muchas de las personas que nos estáis viendo, pues por momentos sintáis identificados con esta imagen, pero es que vivimos en el mundo un poco de de la multitarea, es decir, hacemos un montón de cosas distintas y esta es la realidad de muchas asociaciones de pacientes, de organizaciones de apoyo. Pero sabemos que al otro lado hay gente de los hospitales, de áreas de salud y lo que sucede es que cada día estamos a mil cosas.

La Fundación Más que Ideas nacimos pues eso, con muy conscientes de las necesidades a nivel social y más concretamente de las personas con cáncer, de todas las necesidades, de todas las demandas que había. Entonces nos pusimos las pilas y empezamos a hacer, hacer y hacer. Quiero decir, empezamos a impulsar webinarios, jornadas, talleres, publicaciones, proyectos de investigación social. No paramos de hacer acciones únicamente porque creíamos que había mucho que hacer por las personas para las que trabajamos, que es la sociedad civil. A día de hoy seguimos igual, lo que pasa que con una diferencia es que ahora lo hacemos con un poquito más de cabeza, gracias a nuestro plan estratégico, gracias, gracias a nuestro sistema de seguimiento que os voy a contar en breve y también pues gracias a que a lo largo del tiempo ya vamos haciendo los cada vez más viejecitos, pues eso hace que tengamos líneas de trabajo más consolidadas y podamos dar una, digamos, una línea, una continuidad de los proyectos.

Pero en aquel momento nosotros tiramos para adelante a la hora de iniciativas. ¿Qué pasaba? Que no teníamos mucho feedback de las personas destinatarias, de pacientes, de familiares, de sociedad civil. No recibimos un feedback, vamos a decir, constructivo. ¿A qué nos referimos con feedback constructivo o una valoración constructiva? Es que, chica, había personas que nos decían pues lo mucho que le había valido tal proyecto o nos agradecían la labor. Si es algo que nosotros, pues como muy mayor, a muchos de vosotros, es algo que os reconforta y os motiva a seguir adelante. Es verdad que notábamos que nadie, pocas personas, al menos nos daban una valoración más constructiva de nuestro trabajo, del alcance de los de los resultados de nuestro trabajo y eso, pues para nosotros era toda la incógnita.

Nos empezamos a preguntar, ¿cómo sabemos realmente si estamos consiguiendo nuestros objetivos y si lo estamos consiguiendo a qué nivel? Hay veces que no se consigue del todo, pero hasta dónde estamos llegando. Cuando hablamos de mejorar la calidad de vida, ¿qué es eso de mejorar la calidad de vida? Es decir, ¿de qué manera estamos mejorando en la calidad de vida de las personas que participan en un proyecto determinado? ¿Cómo podemos saber cómo mejorar nuestro trabajo y tener más alcance y más impacto social? ¿Cómo saber qué proyectos, a lo mejor, estamos volcando muchísimos recursos en un proyecto que, crista, no tiene tanto impacto social que otros que realmente requieren menos recursos? Y ahí, pues empezamos a pensar que realmente necesitamos datos para reconducir nuestro trabajo, es decir, para saber realmente qué valor aportamos a nivel social, pero con datos y que eso nos permitiera pues seguir adelante.

Y ahí es cuando decimos, vale, empezamos a tener claro que queremos de evaluar nuestro trabajo, pero nos encontramos aún en un reto que yo, probablemente, apostaría a que más de una, dos, tres personas de los que nos estáis viendo lo tenéis en mente. Lo tenemos tiempo y no tenemos formación. Nadie nos ha formado a nosotros, al menos nadie nos había formado en formación. Y como decía en la gráfica anterior de la ilustración, íbamos a muchísimas tareas, hay muchísimas cosas para hacer y hacer evaluación es complicado.

Pero un ángel apareció en nuestra vida, los que se llama ángel, sino una persona colaboradora que nos propuso algo que, por cierto, nos está viendo, que nos propuso una idea y era básicamente acudir al programa de Talento Solidario de la Fundación Botín, que para quien no lo conozcáis, os animo a ponerlo en Google, vale. Ahora mismo no está abierta la convocatoria, pero es una convocatoria, creo que es a nivel anual y ayudan a ONGs como las nuestras a fortalecer el sector social a través del acompañamiento de profesionales sanitarios. Fuimos con una doble solicitud que nos admitieron, fuimos de los seleccionados y una es apoyo de profesionales en este caso de Soul Site para un plan estratégico y apoyo de profesionales en este caso Mills Evaluación para un sistema de seguimiento.

Y por ahí, lo que estáis viendo ahí es un poco la propuesta que nosotros hicimos a la Fundación Botín, la descripción resumida, vale, para que nos aprobaran la beca, que no lo aprobaron. Y ahí lo decíamos: "Queremos apostar por integrar la cultura de la evaluación. Creemos en el valor social y organizativo de implementar, de implantar procesos de evaluación sistemáticos, continuados e integrales y para ello nos gustaría diseñar, ejecutar y analizar modelos de evaluación que nos permitan ser más eficaces y eficientes, analizando el impacto de nuestras actuaciones".

Como os comentaba, nos dieron la beca, ha sido un trabajo muy interesante, muy constructivo, que nos ha permitido estar en contacto con muchas entidades, pero de manera resumida, por cuestiones de tiempo, lo voy a fijar en el sistema de seguimiento que conseguimos elaborar un sistema de seguimiento personalizado para nuestra organización que nos permite ir recabando datos. ¿Qué tipo de datos? O mejor dicho, ¿qué tipo de fuentes estamos utilizando para recabar estos datos? Pues en primer lugar, una encuesta online que hacemos a personas destinatarias de nuestros proyectos, de nuestros programas, de nuestras acciones. Les mandamos una encuesta que ahora os voy a hablar de ella. También hacemos una encuesta de valoración y satisfacción de las personas socias. También hacemos a las organizaciones colaboradoras, porque para nosotros es muy importante el trabajo en red y queremos saber qué opinan las organizaciones que han colaborado con nosotros en el año en curso, mejor dicho, en el año anterior, acerca de cómo mejorar ese trabajo que realizamos con ellas. Y luego, pues por supuesto, otro tipo de análisis, como podéis ver, más a nivel interno, de análisis específicos por proyectos, financieros y análisis web.

En el marco de este webinar, yo quiero poner la mirada en la encuesta a las personas destinatarias, no, es decir, el para qué nos sirve. Ya he explicado el por qué de este, este, esta reflexión que hacíamos, que realmente queríamos saber y teníamos claro para qué trabajábamos, pero queríamos saber qué estábamos consiguiendo. Entonces, gracias a estas encuestas de sistema de seguimiento, pues no está empezado, nos ha permitido ya teniendo datos reales que nos van reportando pacientes, familiares y otros usuarios o participantes de nuestras actividades. Este círculo que vista ahí es un poco a modo resumen los objetivos de Más que Ideas.

Si es que queremos mejorar la salud y calidad de vida. Para nosotros es fundamental fomentar el activismo de las personas, la implicación de las personas en su propia enfermedad. Por esto hablamos de ser protagonistas de su proceso de salud y para ello creemos que hacen falta pues más conocimiento, más toma de conciencia. Porque por tanto, a modo de reflexión, hay veces que participan en actividades nuestras y antes de participar no eran conscientes de lo que les podía reportar el ejercicio físico y a raíz de nuestros proyectos no solo han adquirido conocimientos, sino que han tomado conciencia de la importancia que eso podría tener en sus vidas. Y la tercera pata es la toma de decisiones. Que si firman tengo conocimientos, soy consciente de ellos, hago cambios en mi vida.

Entonces, nuestra encuesta se articula muy mucho en estos ítems. Es decir, en la parte de conocimiento, indagamos, exploramos qué, pues los resultados de nuestro trabajo, es decir, los mismos usuarios, llamémosle las pacientes, familiares, sociales y nos comentan qué nivel de conocimiento han adquirido a través de nuestros proyectos. El tipo de conocimiento, son preguntas abiertas, ahí ellos nos lo van reportando. También la toma de conciencia, que como se explicaba, es básicamente queremos saber que nos cuenten qué aspectos identificaron que podían cambiar de sus vidas, de su día a día para mejorar su salud. También la toma de decisión, es decir, de manera concreta, que nos diga qué han hecho, qué pasos han dado. Y también, como os comentaba, para nuestro es muy importante el tema protagonista, saber cuál es su impresión o cuál es su opinión sobre el papel que tiene cada persona en su propio proceso de enfermedad y que nos cuenten su valoración percibida de salud y calidad.

Los aspectos que estamos aprendiendo es a conocer mejor a nuestras personas destinatarias y de esta manera saber cuántos pacientes, cuántos cuidadores, cuántos profesionales sanitarios. Un gran descubrimiento que estamos teniendo de que muchos de nuestros destinatarios son profesionales sanitarios que están accediendo a nuestros proyectos de investigación social para conocer qué necesita, qué espera, qué perciben las personas con la enfermedad y también está permitiendo que nos digan qué necesitan de una organización como no como esta. Todo esto está siendo de gran valor. Para que os hagáis ideas, nos está permitiendo saber cuestiones como que los mayores áreas de influencia que estamos teniendo están en el campo de la alimentación y el ejercicio físico. Nos está permitiendo ver que una de nuestras, vamos a llamar lagunas, cuál es que tenemos que trabajar más esto, lo que tiene que ver con manejo de efectos secundarios. Nos está permitiendo descubrir colectivos que no esperábamos que fueran tan frecuentes como participantes de nuestras actividades y todo eso, pues al final genera una interacción constante y nos está dando datos de lo que realmente ocasiona nuestro trabajo.

Pero como os comentaba, el futuro también está ahí y cuando hablamos de impacto social, hay que ser realistas y realmente en nuestro modelo, su sistema de seguimiento no es un sistema que realmente nos esté dando unos datos muy rigurosos o muy completos del impacto social. Estamos muy orgullosos de este sistema, pero es mejorable y es algo que queremos ir mejorando a lo largo del tiempo. Para que os hagáis una idea, hemos detectado la necesidad de tener datos comparados. Nosotros a día de hoy obtenemos datos después de haber participar los proyectos. Sería positivo tener datos antes y después para poder medir los y ver realmente cuál es el valor que aportan nuestros proyectos sin necesidad de mayor sistematización.

Como os comentaba, nosotros no tenemos una persona que digamos que podamos pagar para llevar a cabo la evaluación, sino que hacemos nosotros. Entonces, lo hacemos una vez al año, normalmente en enero o febrero repartimos las encuestas, digamos, a destinatarios. Entonces, alguien que participa en un proyecto nuestro en febrero de 2020 recibirá la encuesta en enero de 2021, 11 meses después. Entonces, es necesario ir modificando esa necesidad de mayor participación, ya que la tasa de encuestas completas gira en torno al 9-12% los últimos tres años. Y una reflexión es la necesidad de integrar a las personas destinatarias, que es algo que nosotros reclamamos en el ámbito de la investigación clínica, por ejemplo, pero es verdad que nuestras encuestas han sido diseñados por nosotros. A lo mejor habría que integrar, al mejor no habría que integrar a las personas destinatarias a que nos digan cómo debería ser también esa encuesta de acuerdo a lo que necesitan. Y lo mismo los indicadores que nosotros podemos pensar lo que es un indicador de calidad de vida, pero nadie mejor que nuestras personas destinatarias para decirnos lo que es para ellas.

Y como última imagen está en la que lo que pretendo trasladar es que el valor del valor de la investigación para legitimar nuestro trabajo, para decir, estos somos nosotros, aquí estamos, porque porque muchas veces cuando hablamos de nuestras organizaciones, hablamos de lo que hacemos y es importante empezar a cambiar el discurso y hablar del por qué lo hacemos y qué cambios estamos logrando. Realmente creo que eso nos puede aportar muchísimo valor, mucha confianza y va a hacer que la sociedad que nos observe de otra manera, viendo realmente el valor que proporcionamos y no solo todo lo que pedimos, no. Entonces, en esta imagen, lo que quiero trasladar es que la evaluación nos permite visibilizar mucho más nuestro trabajo. Así que si habéis comenzado como nosotros a hacer procesos de evaluación, os animamos a que compartamos recursos. Aquí estamos en Más que Ideas, podemos hacer una red para compartir ideas, porque aquí lo más importante es que podamos ayudarnos unos a otros. Y si no habéis empezado a hacer ningún proceso de evaluación, no tengáis miedo, vale. Ahora los siguientes ponentes os van a dar algunas pistas. Contad con aquellas personas u organizaciones que ya hemos empezado para todo lo que podamos ayudaros y todo lo que se vaya haciendo para ir generando resultados e ir consultando a nuestros colectivos destinatarios, siempre, siempre va a ser en positivo. Así que realmente espero que esta, esta experiencia haya servido por lo menos para que algunos de vosotros pues se inspiren de alguna manera. Eso espero.

Pero bueno, vamos a continuar con la jornada y ahora, pues quiero dar paso a la siguiente persona que es Marina Neti, que ya nos va a hablar pues, como podéis ver ahí, de cómo podemos hacer esa evaluación y va a hablar de impacto, metodología y de indicadores. Así que darle un segundo porque voy a... Muy buenas, Marina, ¿cómo estás? Vale, dar un segundo y bueno, pues arrancamos entonces. A mí lo que, digamos, lo que se ha planteado que contase yo aquí, una propuesta de Ofelia, y si es por es posible evaluar proyectos de salud. Esto ya lo sabemos, porque justamente luego nos acaba de regresar con una significación, pero hay otros referentes con diferentes motivaciones y contextos en los que también otros ejemplos en los que se han podido evaluar proyectos de salud. O vamos a extraer un poquito más los siguientes minutos y sobre todo en focalizar en cómo podemos hacerlo. Qué metodologías pone sobre la mesa la evaluación para poder evaluar proyectos vinculados con la salud.

Pero antes quería mover, cuando quieras, y me gustaría empezar con una pregunta que a lo mejor está un poco desviada el foco, sobre si existe la belleza y sobre todo cómo podemos saber si existe la belleza. Sí, según las ciertas corrientes, pensadores, puede decir que hay una cierta correlación entre la belleza y la antigüedad. También hay otros asideros, otros ejemplos, Diego, que vinculan la belleza con experiencias estéticas. A mí, ¿qué me pasa, por ejemplo, cuando viajo a Cabo de Gata y me encuentro con esto, con estos paisajes? También puede ser un ejemplo de cómo podemos medir la belleza a través de la finura o la exactitud con la que se ejecutan algunas obras con intencionalidad artística, que es parecido que en un caso de las obras de Portugal.

Si nos trasladamos a un poquito este debate al campo que nos ocupa, la siguiente diapositiva nos preguntaríamos que si existe la salud y, sobre todo, la siguiente pregunta sería, ¿cómo podemos saber, Diego, si si existe la salud? Para eso nos apoyamos en estas ideas que comentábamos que dominan, denominar indicadores, que al final no dejan de ser los sistemas de medida que nos permiten medir a los conceptos teóricos con las preguntas de evaluación. Los indicadores son las variables medibles y observables que nos van a poder medir diferentes conceptos teóricos como es el de salud. Las formas en las que pueden utilizar los diferentes indicadores o diversas como técnicas, como comentaba antes Diego, cuantitativas y cualitativas, como los ponentes, cuestionarios, entrevistas, etcétera, etcétera. Lo que ocurre con los indicadores es que son unas ideas que nos permiten medir esos conceptos teóricos, pero nos permiten medir esos conceptos teóricos a menudo de manera parcial, paralela o no del todo exacta a lo que es el concepto teórico.

Por eso, en la siguiente diapositiva, muchas veces en lugar de utilizar el concepto de indicador, lo que utilizamos es el concepto de aproximados. Quiere decir que mediante los indicadores aproximadores, que son variables observables y medibles, nos aplicamos a esos fenómenos, pero nos acercamos de manera completa. Eso ocurre en todas las ocasiones del mundo, tampoco los planteamientos positivistas, incluso en estos tiempos que estamos acostumbrados a hablar de falsos positivos y falsos negativos, es un buen ejemplo de cómo en cosas, procedimientos científicos no están exentos de diferentes márgenes de error a la hora de medir la realidad. Pues utilizamos muchas veces de manera un poquito más precisa al concepto de aproximado, que al final son los mecanismos que tenemos para medir de manera lo más cercana posible al constructo teórico lo que queremos medir.

Entonces, por ejemplo, si queremos medir la salud, en el siguiente, en la siguiente diapositiva, nos encontramos con un buen ejemplo aproximado de esto. Es un ejemplo del Departamento de Salud de EE. UU. en el que se ve una correlación perfecta a la hora de medir el consumo de sustancias, recipientes sustancias. Entonces, si veis en el siguiente gráfico, ¿lo? Perdón, en el anterior, hay justo, gracias, a medida que desciende el consumo, aumenta el riesgo percibido de consumir. Es decir, si preguntamos por la toma de conciencia en torno al riesgo percibido de consumir diferentes sustancias, eso puede ser un buen aproximado que nos dé evidencias fiables sobre si esas personas han consumido.

Entonces, a menudo, para aproximarnos a los conceptos teóricos que queremos medir, vinculados con la salud, en este caso, podemos recurrir a estos aproximadores o incluso indicadores indirectos que nos aproximen lo más cerca posible a la realidad teórica que queremos, que queremos medir. Hay diferentes mecanismos de identificar indicadores. Nuestra recomendación es que muchas veces no hay que inventar la rueda. Que el sistema de medida muy validados en salud, especialmente, hay diferentes instituciones que trabajan desde hace mucho tiempo y recabando evidencias con indicadores bastante testeados. En España, por ejemplo, la Muestra Nacional de Salud, pero hay otros niveles también. Tenemos indicadores muy testeados, incluso que se replican a nivel internacional.

Entonces, a la hora de buscar indicadores, también pensando las organizaciones que se estén planteando los indicadores o que tengan algunos ya desarrollados de que los quieran validar, es la primera recomendación es mirar lo que ya hay y valorar si se puede ajustar al contexto. Es verdad, con buena aproximadora, un buen indicador puede ser muy valioso para unos contextos evaluativos, con los contextos organizacionales, pero no tanto para otros. Entonces, siempre luego habrá que ajustar los indicadores a la realidad de lo que queremos medir, pero la primera, el primer paso que hay que hacer es ver lo que ya se hace y cómo se hace.

En el caso de que no hubiese indicadores disponibles válidos, habría que crear los hados para cada contexto evaluativo. Este es un ejemplo que es de los indicadores más utilizados en salud, indicadores del estado de salud percibido. Y la pregunta, como aterrizaje, es todo un cuestionario. Es si los últimos 12 meses diría que su estado de salud ha sido muy bueno, bueno, regular, malo, ni bueno o muy malo. Nos vamos a diferentes estudios entre los que se metieron aquí, que han validado este indicador y que, por ejemplo, existe una gran, una alta correlación entre las respuestas de a la hora de responder de manera negativa y la probabilidad de fallecer. Nosotros también hemos explicado este indicador en diferentes ocasiones y hemos visto que hay una correlación grande con haber padecido una enfermedad grave.

Entonces, digamos que podemos concluir que es un buen indicador para aproximarnos al concepto de salud. Ahora bien, como sabéis, la significación social que realizan los diferentes grupos sociales a las diferentes representaciones sociales sobre la salud no se distribuye de manera homogénea entre oficios, entre tres grupos sociales. Entonces, puede haber variaciones. Entonces, eso quiere decir que es un buen aproximado de quién es acerca a este concepto teórico, en este caso es la salud, pero no quiere decir que lo explique en su totalidad o de manera sin que haya ciertas desviaciones respecto a la realidad. No, siempre son cautelas metodológicas que es importante tenerlas en cuenta y por eso preferimos asumir los de entrada y hablar de aproximadores cuando tenemos los indicadores.

En este caso, están vinculados al consumo de drogas. Las concretamos en preguntas de cuestionario. Es decir, partimos de un concepto teórico que hemos operacionalizado en indicadores, que son variables observables y medibles, y a su vez, estas se concretizan en este caso, nos preguntas de cuestionario. Si queremos saber si los jóvenes, por ejemplo, esto lo hemos explicado como con jóvenes, han consumido muchas veces el indicador que se como el más directo, haber consumido los últimos 30 días funciona, pero muchas veces se ponen que contexto es más o menos positivos, los chavales tienden a tienden a mentir y a veces no todo exacto. Entonces, introducimos este indicador, pero lo acompañamos de otros que también nos pueden aproximar a esta realidad, por ejemplo, la dirección del consumo, el haber construido alguna vez en la vida o, como hablábamos antes, la percepción del riesgo de consumir sustancias.

Lo ideal, si cuando creemos medido un concepto teórico, es quedarnos con los indicadores aproximadores que se acerquen más a lo que queremos medir, pero con la premisa de que al final los indicadores se pueden sacar buenos indicadores para todos. ¿Qué quiere decir? Que lo vamos a poder medir todo. Algunos nos estrujaremos un poquito más, un poquito menos, pero la idea es que todo se pueda medir y que no haya barreras metodológicas para poder hacerlo.

Diego, puede salir la base de datos. Voy a ir a la manito. Gracias. Para que desarrollen aire. Gracias. De que hay y un sinfín de indicadores vinculados a la salud que se pueden utilizar y que a veces habrá que ajustar, pero que ya están circulando, digamos, por diferentes contextos de indagación. Nosotros también hemos ido recopilando mis evaluación diferentes indicadores que hemos utilizado a lo largo de nuestros trabajos. Tenemos una base de datos con 1.270 de indicadores, algo así. No todos están vinculadas a la salud, pero muchos de ellos sí. Entonces, luego, como habíamos organizado nuestro, contamos porque la idea es que de aquí unas mangas o meses podamos publicar esta base de datos en la nuestra página web y que sea de uso público. Y un poco cómo articulamos la información es estableciendo la cuenta y porque al final, al establecer la fuente, también puede nos va a permitir poder comparar los datos que recabemos con otros contextos que se hayan replicado estos indicadores. Acortamos teóricamente el concepto que queremos medir, durante algunos indicadores y también cómo se concretan esos indicadores de las diferentes preguntas de las técnicas.

Entonces, bueno, es un vídeo, es un poco que que sepáis que existe ese recurso, que lo vamos a, lo vamos a lanzar y que lo aprovechase y que lo podáis utilizar para vuestras otras realidades cotidianas. Ahora volviendo a la presentación y ahí estamos. Hemos hablado y cómo podemos, hemos hablado que se pueden medir diferentes constructos teóricos vinculadas a las bolsas, también de los indicadores. Y en este punto nos preguntamos, ¿cómo podemos medir desde una perspectiva más evaluativa? En este sentido, recordar en la siguiente diapositiva que la evaluación es un proceso estructurado y sistemático de recogida de la información, cuyo último objetivo es poder enjuiciar la información con la que contamos para poder obtener recomendaciones que sirvan a diferentes propósitos.

Entonces, estos propósitos, en la siguiente diapositiva, vemos que son muy importantes porque van a marcar las diferentes metodologías de evaluación. Como se ve en la siguiente diapositiva, un propósito que es bastante utilizado en evaluación, sobre todo precedido por responsables de programa o perfil más técnico en las diferentes programas, es la comprensión del mismo y la mejora, vinculado a la mejora con el establecimiento de una toma de decisión más micro, que permite ajustar las intervenciones e incrementar el éxito de las mismas. Entonces, en este caso, con el plazo, este propósito, normalmente nos basamos una evaluación más de la teoría del cambio.

Si en cambio el propósito se vincula al rendimiento de cuentas, accountability, lo más apropiado sería utilizar una evaluación de un juicio subjetivo. Bajo este paradigma, lo que se trata de esmar, tomar grandes decisiones sobre las intervenciones, continuar o no continuar financiando las, replicar o no escalar este programa a otros contextos, pues son una decisión más como una toma de decisión más macro, que normalmente responde a intereses de financiadores. Y por último, también puede haber una motivación de justicia, igualdad social. En este caso, nos apoyaremos más en una evaluación participativa, que lo que se trata es de integrar los intereses de las diferentes comunidades y audiencias al proceso evaluativo con el objetivo de generar una toma de conciencia y empoderamiento de estas personas.

Entonces, vemos que es muy importante, como hemos identificado, y establecer qué propósitos persigue la evaluación para poder escoger qué tipo de metodología de evaluación es de ajusta más a nuestras motivaciones. En el primer caso, insisto, se trata de más tomar una decisión a nivel macro sobre las intervenciones. Para eso nos apoyaremos en diferentes criterios que nos permiten determinar el mérito, valor de algo, y los más comúnmente utilizados en la eficacia, impacto, eficiencia, cobertura, sostenibilidad.

En este caso, me detendré un poquito más en la segunda aproximación, que es la de la teoría del cambio. Al final, se trata de reconstruir el método teórico de una intervención, es decir, qué resultados percibe y qué mecanismos pone a disposición tanto a las actividades que desarrolla como los mecanismos estructurales que existen en las intervenciones para lograr esos resultados. Entonces, al final, lo que se evalúa es las causas, no se valida esa hipótesis, causas del cambio para saber si en las actividades que desarrolla una intervención y los recursos que pone a su disposición están influyendo o no a los resultados. Esto es importante porque una evaluación bajo la teoría del cambio nos va a permitir no solo medir el grado de éxito de estas intervenciones, sino saber qué teclas tocar para poder ajustarla y para poder tener un mayor impacto social de nuestras intervenciones.

Y sin embargo, existe también una larga tradición de evaluaciones que se focalizan solamente en resultados. Este se ha denominado en la literatura, evaluaciones de caja negra. Pongo un ejemplo, por ejemplo, si queremos una intervención que se plantee mejorar el bienestar de las personas con el espectro del autismo en los suficientes educativos de España, si solo medimos el bienestar, pues nos va a dar una, bueno, no se nos va a dar información sobre cuál es, cuál es el estado de estas personas en el sistema educativo, pero no nos va a permitir saber si lo que está explicando ese estado de la cuestión son en mayor o menor medida las adaptaciones curriculares, la adaptación de los espacios o, por ejemplo, existen otras vías, pero el trabajo específico que se hace a nivel de sensibilización y de convivencia.

Entonces, para poder saber qué claves explicativas nos están ayudando a comprender esos resultados, tendríamos que abrir la caja negra y apoyarnos, como hoy les señalo en la siguiente diapositiva, es una perspectiva sistémica. Cara, al final, la perspectiva sistémica lo que está proponiendo es que una intervención tiene diferentes dimensiones, como hemos comentado antes, nos estamos reduciendo a estructuras o condiciones estructurales, procesos, que es lo que hacen las intervenciones y resultados, y que cualquier cambio en uno de estos aspectos supone una transformación en las restantes. Eso sería la perspectiva sistémica y cuando evaluamos bajo perspectiva sistémica, lo que vamos a poner en relación con estas tres dimensiones de manera un poquito más detallada, si en la siguiente diapositiva, porque esto también es importante para mí, supuso como una especie de revelación.

Cuando hablamos de resultados, siempre hablamos de carga en la población y esto es importante porque hay veces que la práctica evaluativa común no siempre se tiene en cuenta y me pareció como muy revelador en la medida que parecía una propuesta mucho más transformadora. Y si medimos una evaluador, una política medioambiental, es importante medir la calidad del área del aire, pero sobre todo importante, en mi opinión, medir qué supone eso en la salud de las personas. Eso, bueno, es algo que creemos que puede ser importante. O por ejemplo, si estamos evaluando un programa sobre cuidar al cuidador, es muy importante que las familias de pacientes, por ejemplo, accedan a los espacios. Eso lo tenemos que medir si están accediendo o no, pero nos podemos crear ahí. Es importante valorar si esos espacios, una vez que hayan accedido, generan o no generan cambios. Entonces, es importante tener en cuenta que los resultados del auto consciente serán cambios en las poblaciones.

Por otro lado, tenemos los procesos, que es todo lo que el anterior, perdona, Diego. Ay, gracias. Toda la secuencia de actividades que todo lo que hacen los programas y siempre producen algo, producción, productos, producción, servicios o producen cambios en las poblaciones, como comentábamos antes. Y por último, la estructura de condiciones estructurales, que son los recursos, las metodologías, las instalaciones con las que se cuentan los proyectos y que también influye, sobre todo, en el desarrollo de los procesos. Y listo.

Entonces, tenemos identificados los propósitos. Como tenemos simplificado los propósitos, sabemos qué metodología de evaluación utilizaremos. Es importante en este punto acotar nuestro objeto de evaluación, qué vamos a acotar y para eso resulta de gran utilidad realizar un modelo lógico, sintetizarlo y tener una fotografía de nuestros programas. En el siguiente, voy a positiva, teníamos un ejemplo. En este caso, están muy, muy simplificado. Es un trabajo que hicimos con una organización que trabaja con personas con discapacidad intelectual y bueno, era un trabajo artístico, es un proyecto artístico que mediante una metodología muy innovadora, pues pretendían conseguir estos cambios a nivel de competencias artísticas, autoconocimiento, empoderamiento, pero también desarrollo personal y mejora de la calidad de vida, de la carrera de vida y bienestar.

Entonces, fue muy importante tener esta foto fija porque a partir de esta foto fija obtendríamos indicadores aproximadores para cada uno de estos conceptos. En la siguiente diapositiva, ahí está. Y estos indicadores los operacionalizamos en técnicas de recogida de la información y tuvimos evidencias para cada una de estas cajitas. Y al tri, en evidencias para cada una de estas cajitas, nos permitió analizar una perspectiva sistémica, correlacionar los diferentes dimensiones para saber en qué medidas no solo los diferentes niveles de out, como se estaban explicando entre sí, sino también cómo influyen en esta dirección de los resultados, la estructura y los procesos. En este caso, en el caso de mediciones con personas con discapacidad intelectual, hay unos cuantos indicadores que ya se habían utilizado previamente. Nosotros simplemente los los acotamos y y los adaptamos a nuestro contexto de evaluación para que se haga una buena idea de los que utilizamos. Triangulamos la información y preguntábamos a doblar a su indicador entre usuarios y familias para poder controlar la información y generar una mayor confiabilidad.

En el siguiente ejemplo, es un programa que abarca más cosas, pero también abarca cuestiones vinculadas con un alumnado y salud emocional, la autoidentificación, gestión, gestión de emocional y empatía. Y fue otro, otro tipo de modelo no biológico que significaba el programa y que nos permitía a partir de cada una de estas cajitas iniciar este proceso de operacionalización para obtener indicadores y evidencias sobre cada una de ellas y luego poder interpretarlas de manera sistémica e integral.

Así, una vez recorrido este proceso, esto está muy simplificado. Imaginaos que tenemos estos resultados, es decir, conseguimos dos outcomes y claramente se vinculan con dos procesos que han funcionado muy bien. En cambio, tenemos un tercer outcome, el naranja, que no ha funcionado muy bien. Aquí, aparentemente, puede ser una de las explicaciones posibles que no ha funcionado porque no se ha trabajado, no hay ningún proceso vinculadas de alcohol. Si pinchamos en otra ocasión, también puede ser porque sí que se ha trabajado, pero se ha trabajado con la intensidad requerida o no se ha trabajado de la manera adecuada. Pues todo este tipo de pistas, de ideas, es un informaciones que nos va a proporcionar la evaluación y que nos va a permitir tomar decisiones de manera fundamentada.

En el siguiente escenario, por ejemplo, vemos que todos los resultados, todos los cambios esperados se logran a pesar de que los procesos no se están logrando de la manera esperada. Eso quiere decir que nuestro programa no podemos validar nuestra teoría del programa, nuestra hipótesis, cosas de cambio. Los resultados se consiguen, pero no a causa de nuestros esfuerzos o de nuestro de nuestro desempeño.

A modo de conclusión, porque no quiero pararme y me gustaría como destacar en cuatro ideas claves de lo que hemos venido desarrollando hasta aquí. Por un lado, y una, las evaluaciones tienen un claro componente pragmático porque permiten nutrirte una decisión y según qué propósitos y metodología utilicemos, estas tomas de decisiones, pues unas decisiones más macro, como la que se vincula con aquella metodología, aquellas metodologías vinculadas a la contabilidad y el rendimiento de cuentas por juicios o motivos, y más vinculadas en su con la continuación o no de un programa, por ejemplo, o decisiones más micro, que no micro, no quiere decir que sean menos importantes, sino que que no son tan, digamos, deterministas sobre la continua de un programa, pero son muy relevantes porque les van a permitir reforzar el grado de éxito de las intervenciones y, por lo tanto, incrementar nuestro impacto social.

Una segunda conclusión es que diferentes espacios de formación son menos income, encontramos con muchas cautelas a la hora de cautela, si vence los, digamos, sobre lo que se pueden medir, lo que no. Las experiencias que todo se puede medir, hay algunas cuestiones que nos han costado más, otras menos, muchas cosas que se están midiendo. Entonces, es simplemente lanzar un mensaje optimista. Se puede medir todas las cuestiones de los diferentes componentes que conforman un programa. Se pueden medir conceptos más tan tangibles y que los vemos más fácilmente concretables, pero también conceptos más abstractos como la belleza, la felicidad, el amor y la salud, por supuesto. Para ello es importante operacionalizar y es verdad que puede haber limitaciones contextuales, pero no metodológicas.

Y luego, una tercera conclusión muy importante es que además podemos medir en la atribución de los resultados a nuestras intervenciones. Es decir, una evaluación nos va a permitir saber en qué medida se logran los resultados y no si ese logro se ha debido o no, quién y en qué medida a nuestras intervenciones. Por eso vamos a poder atribuir los resultados que obtengamos a los diferentes ejes de trabajo que realicéis y

Por último, también puedo, digamos, matizar porque si sabemos que muchas veces hay entidades que nos encargan evaluaciones y es que no contamos con los recursos financieros o formativos, etcétera, etcétera. Entonces, también quería lanzar un mensaje optimista porque hay diferentes fórmulas y ahí se pueden hacer diseños más sencillos y autosostenidos para que las evaluaciones, las pequeñas y las entidades más pequeñas también cuenten con sistemas de medición que les permitan tomar decisiones en los términos en los que hemos ido contando y he seguido contando a lo largo de estos minutos.

Y con esto me despido. Muchas gracias para escucharme y espero que os haya gustado. Voy a dar paso a mi compañero Ramón Crespo, que se va a detener más en la cuestión sobre la toma de decisión, pero vinculándolo con ejemplos con que los también que hayan ido desarrollando, sobre todo en Cataluña. Te dejo la palabra, Ramón.

Pues muchísimas gracias a todas y a todos, sobre todo, sobre todo a Más que Ideas, no hacen más que ideas, y a Jamming por invitarnos a participar de esta, de esta sesión, de este seminario, que en un principio ya nos planteaba un reto inicial, que es responder a esta pregunta: ¿qué conseguimos con la evaluación de proyectos de salud? Y estamos obligados a articular un relato un poco distinto al que estamos habituados para contar lo que hacemos, para contar nuestra trayectoria en el ámbito de la evaluación.

Así que, así que muchas gracias porque estos retos nos encantan. Hemos llegado a una conclusión, sí, que es que con la evaluación de proyectos, programas de salud, conseguimos responder a distintos tipos de preguntas. Ha sido el punto de partida que hemos utilizado para construir un relato que nos, que nos fuera bien para compartir con vosotras, con vosotros hoy algunas experiencias de evaluación que, como veréis, algunas están muy conectadas, que conectaba con lo que nos contaba Marina hace unos, unos minutos.

Vamos con la primera pregunta. Son tres, son tres, así que iremos relativamente rápido. Una de las primeras preguntas que nos ayuda a responder una evaluación: ¿qué ha cambiado? Sí. Y para ilustrar es un poco en base a nuestra experiencia, cómo la evaluación contribuye a dar respuesta a este tipo de cuestiones, se nos ocurría contaros que hace un tiempo, en el contexto del Servei Català de Salut, en la senda de Cataluña, se impulsaron un conjunto de investigaciones, también de pequeñas evaluaciones, que sirvieron para generar un modelo de atención a las enfermedades raras aquí en Cataluña.

Y ha sido en el contexto de lo pandémico que hemos sido invitados a tratar de responder a cómo una pregunta como esta que tenéis en contra: ¿cómo ha mejorado este ese protocolo, ese modelo de atención, el proceso de diagnóstico y de seguimiento de empoderamiento de las personas que padecen una enfermedad rara en Cataluña? Y nos apetecía compartir con vosotros esta experiencia, en parte porque, como veréis, es un conductor a lo largo de mi presentación y nos remitiremos a experiencias que son lo que encarnan un poco un contrapunto en lo que suele ser habitual en evaluaciones de proyectos y de programas, para también poder dar un punto de vista un poco, un poco distinto al ortodoxo o a la virtual.

En este caso, la particularidad viene porque por distintas circunstancias, desde contexto, no era posible evaluar o confrontar este modelo de atención con unos criterios estándares que nos permitieran emitir un juicio de valor soberano sobre, sobre si se ha conseguido o no mejorar ese proceso de diagnóstico, seguimiento de empoderamiento desde el punto de vista estricto. Entonces, tuvimos que acercarnos a este proceso por las esquinas, por las esquinas que nos hablen las intersecciones entre la evaluación, acción participativa, la investigación. Sí, ese conjunto de formas de generar el conocimiento.

Y en lugar de utilizar los procedimientos que hubiéramos utilizado, por ejemplo, si si si estuviéramos pensando en sistemas de calidad, por ejemplo, identificando criterios o estándares que nos permitieran emitir juicios de valor, lo que nos planteamos en ese momento fue, fue un abordaje, de hecho, estamos en ello, que sobre todo permitiera visibilizar cómo este proceso está contribuyendo a empoderar asociaciones de afectados de enfermedades raras y cuáles son sus necesidades actuales también. Y también un proceso que ubicar, ubicar el foco de atención en las personas que están afectadas por una enfermedad rara y sus familias, y poder así dar voz, a través de este proceso, en relación a sus necesidades con el sistema sanitario, sistema educativo.

Y lograr, teniendo en cuenta este contexto de pandemia, no, también, no, un proceso que nos ha servido para identificar cambios y transformaciones percibidas por los profesionales del sistema sanitario sobre las necesidades del abordaje de las enfermedades raras en el contexto catalán. Pero como veis, es una aproximación a la evaluación que, lejos de querer emitir un juicio, diríamos, demasiado ambicioso sobre lo que se puede o no se puede atribuir a este modelo de atención en términos de resultados, lo que pretende es colocar en primer plano la voz de los distintos agentes que orbitan alrededor del mismo. Y eso, y eso también es evaluación, porque eso también es contar qué es lo que está cambiando.

Y nos apetecía utilizar esta experiencia también para colocar este contrapunto, desde donde también utilizar la evaluación para dar respuesta a esa pregunta que cambia, no, qué ha cambiado. Pero luego hay otras preguntas, aunque la evaluación de proyectos y programas también puede ayudarnos a responder, y son preguntas que cada vez se van sofisticando más, o dicha de otra forma, cada vez exigen al equipo metodológico que utilice sistemas un poco más sofisticados. Por ejemplo, ¿qué ha facilitado o dificultado el cambio? Esa es otra de las respuestas que podemos esperar que nos proporcione una evaluación de un proyecto de salud.

Aquí nos apetecía comprados nuestra experiencia en los campos de refugiados. Nos contrataron para evaluar si unas actividades socio, vamos a llamar [Música] socioeducativas, aunque muy ubicadas en el ámbito de las actividades deportivas, contribuían o no a mejorar la salud mental de los niños, niñas refugiadas que llegaban, sobre todo a las islas griegas. Bien, la evaluación, en este caso, nos permitió ir más allá de observar los cambios y de poner de nuevo en primer plano la voz de los protagonistas.

Y nos permitió, como decía, profundizar en las motivaciones, en las situaciones de contexto, en las circunstancias que, al fin y al cabo, facilitaban o dificultaban la consecución de esos resultados que era relativamente fácil observar. En este caso, por ejemplo, la evaluación y fue de mucha utilidad para identificar o para consolidar pensamientos intuitivos. Por ejemplo, la evaluación confirmó que los buenos resultados que se podían observar en términos de salud mental entre los niños y niñas que participan del programa estaba muy condicionada, no estaban muy condicionados a que la actividad tuviera un componente lúdico muy fuerte, es decir, el poder gozar.

Y luego también había algunas cuestiones vinculadas al grupo, no. Por ejemplo, tuvimos la ocasión de contrastar que a toda aquella actividad que implicaba, en ocasiones por primera vez para muchos de los niños, niñas que participan en el programa, vincularse a un grupo, a un grupo de referencia, tenía un papel muy relevante en la consecución de los resultados vinculados a su vez con la salud mental. Pero también la evaluación nos ayudó a confirmar resultados no tan intuitivos o incluso contra intuitivos, porque se confirmó también que gracias a la evaluación que esos resultados positivos en salud mental, sobre todo, sobre todo se concentraban entre aquellos niños, aquellas niñas que hacían la actividad solamente, solamente, solamente rodeados de niños y niñas que, como ellos, eran refugiados.

Allí donde había, ahí donde se había impulsado un espacio mixto que intuitivamente parecía muy enriquecedor, la idea de mezclar en una misma actividad socio-deportiva a niños locales con niñas recién llegados, observamos que en aquellos lugares donde se daba esta mezcla, esta interacción, los resultados no eran tan positivos. Y tuvimos ocasión también de comprobar que ahí se estaban dando, ahora, sería largo no profundizar en esas costes, pero observamos como, como en la madurez, los tiempos, las expectativas mutuas, etcétera, creaban unas condiciones, una circunstancia global que no permitía que esos resultados se manifestaran en el corto plazo de la misma forma que si se manifestaban entre aquellos chicos y chicas que, por el momento, por el momento no se mezclaban con la población local.

Y eso fue una, una aportación relevante de la evaluación también para tomar decisiones, en la medida que he conseguido romper con un pensamiento de instituto y muy bien intencionado de la organización que impulsaba de esas, esas actividades, pero que en realidad estaba siendo contraproducente, introducente, porque simplemente necesitaba de todo un trabajo previo con la población autóctona y también con los propios niños, niñas recién llegados, al respecto de las expectativas, la forma de relacionarse, algunas competencias transversales o algunas habilidades para vidas relacionadas con trazarse con el otro y demás, que todavía no estaban maduras. Y hasta que esto no se daba, donde tenía demasiado sentido en términos de resultados de salud mental, hacer ese salto.

Un ejemplo de cómo entrar en esos mecanismos, entrar en esos procesos clave, también nos ayuda a responder a esa segunda pregunta: ¿qué facilita o qué dificulta la aparición de los resultados esperados? Que la evaluación también nos ayuda a responder. Y quería plantearnos también a compartir con vosotros, con vosotros, una tercera pregunta que suele, suele, suele ayudarnos a responder una evaluación, y es esta, ¿no? ¿Qué responsabilidad podemos atribuir al proyecto en el cambio, en los cambios observados? No, Marín ha hecho algún comentario al respecto, la cuestión del impacto, la cuestión de la atribución. ¿Cómo podemos resumir ese, ese dilema de la causalidad? Observamos unos resultados, ¿hasta qué punto podemos decir que eso es la responsabilidad del proyecto que estamos evaluando?

Bien, y también queríamos compartir una experiencia desde un pequeño contrapunto. Marina nos ha dado unas claves, con Andrés seguro que nos da otras ahora a continuación. Queríamos contar nuestra experiencia cuando un pequeño programa que se implementaba en las escuelas, un programa de promoción de la salud, de la salud bucodental aquí en Cataluña. Un programa que consistía fundamentalmente en hacer educación para la salud entre, entre los niños y niñas de primaria y secundaria de las escuelas públicas de Cataluña.

Cuando te encargan esta evaluación y quieres dar respuesta a esta pregunta: ¿podemos afirmar que el proyecto ha contribuido al cambio observado? En ese momento se relacionaba con la disminución de las enfermedades vinculadas a la higiene bucodental. A lo habitual, lo ortodoxo hubiera sido pues observar a los niños y las niñas que están expuestos ahora al programa, buscar unos niños que se parecieran mucho a los primeros y observarlos también, y luego pasado un tiempo, durante el cual los primeros niños y niñas han estado expuestos al programa y compararlos, sin identificar el cambio global, aislar de ese cambio el que el que se corresponde a la diferencia entre un grupo y otro, y a partir de ahí identificar el efecto neto que llamaríamos del programa, explicado muy, muy, muy brevemente.

Pero en ese contexto, en ese montón, esa verdad, eso no era posible. Y eso es habitual, es habitual que no se, que no sea posible construir un modelo experimental o cuasi-experimental basado en el escenario contrafactual que nos da un grupo de comparación adecuadamente constituido para hacer evaluación. No es fácil que en ocasiones eso no se haya diseñado correctamente desde un inicio, es fácil que no tengamos disponible, es fácil que no tengamos las competencias. Ocurre a veces también que éticamente no lo podemos llevar a cabo un experimento de este tipo porque no queremos, por ejemplo, dejar a nadie fuera del programa y no tenemos listas de espera a disposición. Hay, hay muchas causas que habitualmente hacen imposible la respuesta a esa pregunta de esa manera.

Entonces, tuvimos que buscar otra manera de dar respuesta, si no a la misma pregunta vinculada al efecto neto, a una que se pareciera mucho. Lo que hicimos fue trabajar desde la lógica del razonamiento en lugar de la lógica del contrafactual. Eso tiene mucha literatura detrás, se simplifica contando de esta manera: pusimos alrededor de una misma mesa a todas las personas involucradas en el proyecto y tratamos de generar un consenso alrededor de su historia de cambio. Esto cómo funciona, hacemos unos talleres, exposiciones, proyecto para que, para que la mayoría de las personas en esta mesa nos dijeron que solo servía para incorporar un nuevo conocimiento sobre la salud bucodental o una mayor sensibilidad.

Le preguntamos si eso era todo, si o si había algo más. O en cualquier caso, ¿para qué queríamos que los niños y niñas tuvieran mayor conocimiento o una mayor sensibilidad hacia la salud bucodental? Ahí hubo algunas divergencias. Recuerdo que hay algunas personas tenían muy claro que todo tenía que ver con que las personas, en este caso niños, niñas, tuvieran menos, menos caries, por ejemplo. Mientras que algunas otras personas de la misma, de la misma organización que impulsara el proyecto, compañeras y compañeros de equipo, haciéndolo nosotros, no podemos aspirar a tanto. Nosotros, sobre todo, lo que queremos es que incrementen los hábitos del cepillado, porque luego esas enfermedades también, por ejemplo, ya no solo depende del simplemente no incrementa el cepillado, que es lo que queda en nuestras manos.

Y hay también cuestiones que nos superan: los hábitos de alimentación, o también la participación o no en otros programas paralelos, fluorado, porque hay otros programas que pasan por la escuela con enfermeros que invitan a niños, niñas a bloquear fútbol y demás. Y luego también hay temas vinculados a atención sanitaria. Y nosotros, mientras nos salimos porque somos promoción de la salud. Entonces, ahí hubo un primer trabajo de consensuar cuál era el verdadero alcance del proyecto. Y eso ya fue una primera batalla. Si no llegamos a este punto de consenso sí, necesario en la medida que no podíamos acercarnos a esa pregunta de la forma habitual.

Aún así, quedaban algunas lagunas, no, y algunas preguntas pendientes que poco a poco se fueron, fueron solventando, porque cuando les preguntábamos a ese equipo de profesionales si el hecho de que a niños y niñas se incorporara un nuevo conocimiento significaba que automáticamente incrementaran su hábito de cepillado, nos decían que no. Esto no, esto no es tan fácil. Ahí hay unos familiares, son los referentes adultos, son ejemplos que son fundamentales en esa cadena. Entonces, no, esto el proyecto, veis que el proyecto poco a poco se está reformulando. A nuestro proyecto, en realidad, lo que persigue es que a los referentes adultos les resulte más fácil acompañar a niños y niñas en sus hábitos de higiene.

Extendería, porque es una cuestión que me apasiona y este proyecto en particular me enamoró, porque es de una, de una descripción tan sencilla como hacemos unas exposiciones en las aulas para conseguir que bajen las caries, pasamos a la construcción de un proyecto totalmente distinto, de un alcance menor, pero de mucha más complejidad. No, bueno, en cualquier caso, sobre este esquema que veis reflejado en pantalla, que no deja de ser la narrativa de cambio auténtica del proyecto, lo que nos dedicamos a hacer es a generar evidencia.

Pusimos en marcha un trabajo de campo que nos ayudará a determinar si cada una de estas casitas, cada uno de esos síntomas, se daba o no se daba de la forma prevista, utilizando ahí estrategias metodológicas distintas, distintas técnicas de integración, algunas cuantitativas, algunas cualitativas, pero que sobre todo perseguían generar una fotografía global que nos permitiera afirmar si, bajo un razonable margen de confianza, este esquema que tenéis delante se estaba dando como era, como estaba previsto. Sí, y también generar evidencia que nos informara de si había otras explicaciones alternativas que nos ayudaran a entender si cada uno de esos sintagma se daba o no de la forma prevista.

Veis ahora esta cuestión del modelo basado en la razonabilidad. Sí, la idea es generar evidencia suficientemente robusta como para afirmar si, será el caso, que el proyecto ha marcado una diferencia, que el proyecto ha contribuido a que haya un cambio. No podremos, como si podríamos, hubiéramos utilizado una lógica basada en contrafactual, determinar ese efecto neto. Sí, pero sí podemos afirmar, bajo un razonable margen de confianza, que el proyecto, en ese caso, fue así, estaba ayudando de verdad que referentes adultos tuvieran más fácil es acompañar a niños y niñas en sus hábitos.

Bueno, no quería extenderme más. Hemos intentado sintetizar tres formas distintas, un poco tangenciales a lo ortodoxo en evaluación, para dar respuesta a lo que entendemos que son las tres preguntas claves de cualquier, de cualquier evaluación. Simplemente, muchas gracias. Nada más. Ahora doy paso a Juan Andrés Ligero. Nos va, nos va a ilustrar sobre los usos posibles usos de la evaluación. Andrés Izquierdo, el profesor de la Universidad Carlos III y director del Máster de Evaluación en la Universidad Complutense. Ahora, cuando quieras.

Muy amable por la presentación y también gracias a los asistentes que nos estamos alargando, que sobre ser habitual estando en el foro. Y voy a tratar, sea más, debe concentrar que los contenidos en menos tiempo y además que mis compañeros Diego, Ramón, Marín, a que ya lo han planteado en parte. Entonces, solamente quiero estructurar un poco, recordar colgada de esta de las posibilidades de la formación, porque como han dicho mis compañeros, era claro, yo creo que más bien ha sido bastante exhaustiva en la descripción que es posible evaluar, evaluar qué diferentes indicadores que tenemos, las posibilidades a mostrar una base de datos de evaluaciones.

Ramón también os ha contado en las diferentes formas de pensamiento y hemos visto que se puede estimar el impacto desde una visión [Aplausos] positivista y desde una visión más constructivista de la forma de poder medir, ya que la evaluación es posible. Eso es lo que dicen a través, ya sea de mediciones cualitativas, cuantitativas o mixtas, o sea, que esos problemas técnicos se cuantos solberg ante las dificultades y no solamente eso, sino que haya recursos y existe otra vez una base de datos que ha mostrado Marina para poder medir.

Y además, nos apoyó todo el discurso social y profesional. No paramos de hablar de evaluación, de transparencia, rendimiento de cuentas. Me parece que hay una corriente, un empujón social porque evaluar, o sea, que tenemos esa política, no tanto los recursos, pero sí el discurso sobre necesario evaluar. Y estamos ahora viviendo un momento que a través de varias aproximaciones diferentes, asociaciones diferentes iniciativas que nos impulsan, impiden hacer evaluación. Hay que evaluar. Está muy bien y más en el campo salud.

Soy yo que les voy a contar. Yo os voy a contar es algo tan en el campo de salud, tan entroncado con dos líneas de investigación, tanto de tratamiento de intervención de programas sociales, etcétera, que hay toda una tradición propia, una literatura casi específica de evaluación o de metaanálisis en las líneas de evaluación, repositorio donde podemos recoger diferentes informaciones, etcétera. Por lo tanto, si tenemos claro y los asistentes que estamos aquí, creo que también, yo me dedico al tema de la evaluación en todas mis facetas profesionales, o sea, que que tenemos claro que hay que evaluar.

Pero a veces me hago esta pregunta: pero realmente, ¿hay que evaluar para qué? ¿Hay que evaluar? Hablábamos antes al inicio de este webinar sobre para qué, el para qué hay que evaluar, porque creo que nuestra experiencia profesional estamos acostumbrados a ver muy buenas gestiones de programas y servicios públicos de los que no requieren sistemáticamente hablando, quizás sé que haya algo más en específico, más o menos sistemático, pero que no está la evaluación que se resuelve de alguna forma de forma intuitiva. Nosotros mismos en nuestras prácticas estamos evaluando constantemente o desarrollamos con mucha intuición o no funciona la discusión o en la invitación de lo que los compañeros y funcionan bien o mal nuestras prácticas. Habrá de todo.

Pero, ¿para qué hay que evaluar realmente? El discurso está empujando, pero ¿necesitamos evaluar realmente y hacer esa inversión de recursos? Pues sobre esto quiero hablar en estos minutos que me quedan en la presentación. Y me hago preguntas incómodas con esto. Lo traslado a la vida personal. Solamente evento reflexiones entre quién me preguntó, abrir, decirle a esta vía que se ha comprado un piso caro, que se ha comprado un piso caro. Habría un mar, ¿qué habría que decirle a esta amiga? Obviamente, bien haciendo este tipo de ejercicio un poco violento, pero sí que académicamente se llama con la reproducción. ¿Para qué hay que hacerlo?

Y siguiendo la broma que estoy comentando, se ve bien juntos diapositiva. Sí, porque tendría que serlo al amigo que es tacaño, o para qué tendría que evaluar, para qué tendría que decir un amigo es tacaño de la zona. Así, por el chat, en el formato de preguntas, queréis ir contestando, está bien. Yo voy a seguir un poco, sobre todo por intentar ahorrar tiempo, pero me va a gustar y le voy a pedir a Abi, Diego, o si me puede hacer un pequeño comentario con empiezan a llegar las primeras reflexiones para, ¿para qué tendría que decir un amigo que es tacaño? Yo creo que hay dos ideas, quizás para dar un poco de tiempo a esta reflexión. Una es que quizás nosotros de decir o no tendrían que bajarlo. Esa es una posibilidad que creo que tiene su traslación al mundo en la evaluación de programas. Y otras posibilidades también es que solamente lo haría en un entorno de mucha confianza, en un entorno constructivo y una intención de constructiva, ha alejado mucho la fiscalización. Entiendo que puede ser un poco de los razonamientos, pero doy un poco de tiempo para que vayan respondiendo en el apartado de preguntas a esta idea de para qué tendría que ser un amigo que es tacaño, porque es igual no se lo tengo que decir.

Pues quiero verse en mayo, podríamos tomar cualquier dentro de unos pocos minutos, pero nada más. Si veo que hay experiencias intuitivas para gestionar los programas y los servicios y si utilizando este ejemplo un poco forzado de para qué tendría que decir un amigo que es tacaño y si no se lo tendría que decir, creo que no había respuesta allí. Esta posibilidad existe y sobre todo en muchos momentos son situaciones, creo que tendríamos que plantearnos que igual yo que médico la evaluación, que cuáles situaciones en las que no tendríamos que abordar los procesos evaluativos, porque cuando tienen sentido en propio contexto, la propia finalidad. No sé si llego de agregar unas de las respuestas, si ya ha llegado alguna.

Y ha llegado ya varias. Dos personas han dicho: "para ayudarle a mejorar". Otra persona dice: "él me lo ha preguntado". Muy bien. Y otra persona dice: "para que deje de ser tacaño, quiere decir, para que me invite de vez en cuando, para que la gente no viene mal de él, y porque tendría que evaluarlo, porque a lo mejor es que no tiene dinero, lo pasó mal de pequeño, ahora están dando el dinero a otra persona". Fantástico. Muchas gracias. Muchas gracias a toda la gente que ha escrito, porque me gusta hacer mucho esta dinámica. Lo planteé con varias cosas, me doy cuenta que se llega a las mismas conclusiones que todo un proceso de la literatura de la biografía después de 60 años de síntesis y encontramos tres grandes para qué, que también planteaba Ramón y Marina.

Una vez el control de responsabilidad, ese rendimiento de cuentas, conocido incluso el castellano como accountability. Otro es para comprender, que lo habéis comentado ambas cuestiones. Y otros para mejorar, que también habéis comentado. Habéis llegado a las mismas conclusiones. Y esto básicamente son los tres grandes propósitos que nos mueven a hacer evaluación. El rendimiento de puertas, por contar así más de la rápida, sería para decirme que sepas que sí, que sepas que ese amigo juana, y en función de esto me tomaré mis grandes decisiones, o para comprender, como habéis comentado en las respuestas por el chat, cuáles son las cosas que me llevan a ello y en función de esa comprensión mejorar. Y esto es lo que mueve hacer evaluación.

Y más niños, vamos a contar un poco brevemente algunas de las posibilidades. Añadía Marín a recientemente, bueno, recientemente, yo creo que hace seis años, hace unas décadas, recientemente se introducía la idea de justicia social, que también intentaré contar algunas de las cuestiones. Rendimiento de cuentas, accountability, se ha probado con el término de responsabilización, que lleva nuevo para hacer este ejercicio de ese pelo, que sepas que no se jode el juicio sumativo, es decir, hace un tercio similar a esto que me encantó también de un libro de antropología, donde se veía una especie de clasificación de los diferentes estereotipos de relaciones europeas en el siglo XVIII. Aquí está traducido y solamente por ver algunos de los ejemplos, porque no tienen desperdicio y sobre todo las proyecciones que había en esa época sobre los estereotipos, que son estupendas.

Y en el caso de español, decían de maneras activas, personalidad crédula, interés clítoris, sabio. Cómo han cambiado los estereotipos, rasgos físicos masculinos, destrezas en la escritura de la época, vestido respetables y partes activas. No me extiendo, pero hay que ver que las cosas no son tan positivas como en el caso de los españoles cuando nos acercamos a los vecinos de los austriacos, donde las evaluaciones son maneras activas. Pero si entras a la anécdota, lo que estamos viendo aquí es el ejercicio establecer criterios, una valoración quizás sistemática, pero si a través de lo que proponía Marina y también ha planteado Ramón, que podría ser, yo defino esos criterios, defina los indicadores, nos encontramos una batería, pues si los indicadores y los términos o fuentes ha recogido información, ya sea cualitativas y cuantitativas, también como ha planteado desde la visión del razonamiento, rondó de forma muy interesante.

Y con este tipo de indagación de procedimiento puede llegar a estimar el que el valor sobre, perdonadme que pongo un ejemplo de producto sobre algo. Y en función de ese ejercicio de responsabilización de contabiliza, cuál es la mejor, también como cuál es el más bondadoso, cuál es el mejor programa, mejor hospital, la mejor línea de tratamiento, mejor programa preventivo, toma una decisión, doy más dinero, cambio la metodología, etcétera. Y esto es una de las grandes funciones de la evaluación. O por ejemplo, el informe PISA en modelos educativos, lo que hace es establecer a través de un mecanismo que he comentado con anterioridad, una serie de valoraciones para acabar emitiendo un gran juicio de valor y sobre eso, que sí mismo puede ser primera valuación, puede apoyarme también para grandes decisiones.

Para el primer propósito, el primer para qué, en el caso de nuestro amigo es para decirle a nuestro amigo tacaño es que no sepas que no sé con esa publicidad que dice, no, yo no soy tonto. Bien, un rendimiento de cuentas o contribuyentes que ha pasado con su dinero, o donantes, que ha pasado ese dinero, financiadores, etc.

2. Comprender. En un pueblo de Conosur se detecta que los niños tienen un accionista de riesgo de desnutrición. Se identifica por un proyecto a través de las fuerzas y los indicadores en positivo. Hacemos ese ejercicio de contabilidad de rendimiento de cuentas de ponerlo encima de la mesa. Nos damos cuenta que la comida llega, sí, parte y lo toman y está aceptado, todos los indicadores dan informaciones positivas, pero el banco final es que la infancia está más desnutrida incluso que antes. Y esto puede ser producto, si no me pregunto más, pues el producto una evaluación tenemos determinados resultados y se quedaría en la evaluación. Pero obviamente nos preguntaríamos: pero si se está consiguiendo, si el marco teórico está funcionando, si las cosas se logran, ¿por qué se dan esas cosas? Y aparece la idea, la comprensión. En evaluación es: necesito comprender qué pasa. Y para eso, el propio dato no me aporta nada, como está en este gráfico que también lanzó los peronistas al chat, pero yo voy a resolverlo a unos segundos.

Pero antes, sí que más puede ser interesante que formular estas preguntas al chat, que es de esto, esto puede ser una foto aérea de una cama con una almohada, puede ser un cojín con un esparadrapo, puede ser una casa con un agujero, y puede ser un dato que no de la evaluación y que yo con esto, más que decir, parece una cama con una almohada o una caja con un agujero, no puedo hacer nada más. Necesito interpretar y para interpretar necesito comprender y para comprender necesito cargarlo del contexto. Pero las necesarias y ahora sí, con el contexto, habrá sentido el dato que obtenido. Por lo tanto, la evaluación de alguien requiere la comprensión.

Y tenía una visión bastante, estos que están pasando tal como han ocultado los 'santos' de Ramón o de Marina, el contexto es importante para que los datos, por muy fiables y muy valiosos que sean, cobren sentido. Bien, ese tratamiento me suma a toda la elaboración que actúan Marina del modelo lógico, que son formas de graficar el programa, como en este caso el club goza de un programa de prevención, la reducción del daño. Se intentaba entender por qué algunos objetivos se lograban y por qué otros no, y se buscó una respuesta, en definitiva, por resumir, tal como ha contado a Marina, lo que tanto saber si este protocolo, diagrama de flujo, procedimiento, intervención realmente consigue el objetivo, porque si no lo consigue, me tendré que cuestionar la forma en que estoy haciendo mi trabajo. Esto también lo da la evaluación.

Estos daños para qué y cómo, yo creo que trato de, pero la reflexión al momento de construir es que esto ya no es intuitivo, ya no puedo gestionar un servicio si no hago razones, estrategias, actividades específicas para poder comprender las cosas.

3. La mejora. Que tan lo habéis comentado con también en el tono anterioridad sobre es enviado a Diego, recuerdo el programa muy interesante como marco teórico espectacular de prisiones, que en cambiando gráfica nada de no tenía eficacia para totalidad la media de los datos de los indicadores habían planteado, no mostraban diferencias entre este y esto es del programa. Y podríamos habernos quedado ahí y cerrar el programa, en programa en temas de salud o de prevención de drogas en prisión. Pero claro, es la ración cerrar un programa de este tipo era necesario.

¿Cómo vas a aceptarlo? ¿Cómo vas a hacerlo a un centro de atención primaria? Uno a través a reduce un programa de salud, no puedes. Pero en este caso, el programa dignificar, después de la evaluación del internos, en lo que ha comentado Marina, pero la casa negra salió que el marco teórico era, parecía que habíamos parando el periódico, está fundamentado, pero y que no había ninguna limitación al acceso, estaba superado por las demandas y por las expectativas que generaba. Y el pero que no había recursos para poder atender a toda la población y por lo tanto, había una selección, una especie de filtro espontánea de la gente que estaba más motivadora con los que se intervenían, no por nada, sino porque los profesionales no daban abasto y trabajando por lo que podían con pequeño grupo más motivado con nuestros 90 que en las pequeñas acciones generales pues de sensibilización que no tenía ningún impacto.

Si yo comprendo esto, si llego esta conclusión a través de la evaluación, la recomendación está servida, porque si no, ¿qué recomendaciones? Algo más de dinero, más no se tiene, más cambios. Las recomendaciones tiene que estar apoyadas, la mejora tiene que estar apoyada la comprensión. Yo parto de la base de que no hay mejoras sin comprensión y explotan a veces me lo explico a mis aspectos de vida personal o privadas. Por lo tanto, comprender para mejorar.

Bien, a ella sabemos que este problema había dos grandes opciones: o más recursos, que se vio inviable con el tipo de contrato de definición del contexto del programa, o establecer una noción para poder intervenir con eficacia. Y es por la que aceptó. No sé cómo están ahora y cuánto propósito la justicia social. Y con esto acabo para darle espacio a las preguntas. Todos los programas, todas las políticas de salud están muy pronunciadas, enraizadas en los cambios en la persona, como decía Anónima, que ese es un elemento clave. Los objetivos finales son cambios en las personas. Aquí estamos para mejorar la vida de las personas, para reforzar aspectos o para subsanar déficits, pero también para reforzar.

En este caso, lo que se plantea es articular la valoración en función de las necesidades sociales para que la población beneficiaria, los usuarios, los receptores del programa sepan si se ha logrado implementar o validar sus derechos como ciudadanía. Y la evaluación se articula en función de estas necesidades sociales. Y no solo eso, no solamente que se articule discutiendo eso, sino que se les da la evaluación. No somos nosotros autocráticamente quien decimos esto está bien, está mal, sino que hay muchos procesos de evaluación, como comentaba también Marina, donde se pone en manos de los diferentes actores el informe de evaluación para la reivindicación, incluso una deliberación, lo que se llama consciente democrática, un ejercicio de democracia. Y esto tampoco si tu tipo, necesitó estrategias específicas.

Por lo tanto, ¿qué es lo que yo creo que da la evaluación que antes no daba? Es comprender lo que ocurre, si hacen las técnicas específicas para ello. Una vez que comprendes, puedes mejorar. Supongo que si no comprendes también, pero no de forma sustentada. Pues podrían ser, pero que puedas asegurarlo. Rendir cuenta, responsabilizada, sin más, no tiene que quedarse los tres funciones, puede ser un nuevo otro. Yo puedo valorar solamente para decir, aquí está, señores financiadores, lo que hago con su dinero, o lo que puedo mejorar. Y atención, porque también aprendemos a saber qué es lo que funciona, si este protocolo de intervención en la sociedad es eficaz o no es eficaz, está consiguiendo los resultados y no porque si no lo descartamos y vamos a otra cosa. Y eso nos permite construir conocimiento y poder sonar de evaluación. Es una disciplina profesional, pero también académica y estamos en las dos patas y podemos construir ciclos de políticas o de intervenciones, ya no inventar la rueda que hacemos una intervención, diseñamos una intervención, sino basarnos en evidencia. Las evidencias a veces es muy fuerte, pues en un análisis, en la revisión, en la sistematización de un proceso evaluativo de metaanálisis.

Por lo tanto, evaluar no es solamente valorar, sino que también es comprender, cargar de significado a las diferentes intervenciones que se plantean. Marina ha comentado, hay muchos métodos, 22, 68 diferentes propuestas, como vemos en este mar. A veces yo soy, desde cuándo, yo soy de eso, yo soy de cartas de servicios, y algo que, pues yo soy un modelo experimental, yo creo analizada, difundir, yo creo que cada propuesta tiene sus diferentes productos. Me acuerdo que está comentando está un amigo que nos están viendo el piso y leer y yo igual es que para comer la sopa hay un instrumento y dijo, yo puedo una cuchara. Y entonces me dijo, bueno, me lo demostraron muy hábil y en la cavidad un poco con cava del tenedor o lo hice muy rápido, obviamente, pero logró quitando este expediente un poco extraña.

Realmente no es la herramienta adecuada. Por lo tanto, si ya nosotros queremos responder a los diferentes encargos con diferentes herramientas, es un problema nuestro, por qué y los podemos utilizar diferentes métodos para generar diferentes productos evaluativos para diferentes usos. Estas líneas. Muchas gracias por la intervención y queríamos, sin más, son extiendo porque estos materiales, yo creo que nuestra disposición, pero creo que lo va a comentar, vamos a comentar ahora con Celia. Llego el paso a Ofelia.

Muchísimas gracias por extender, por estar escuchándonos e incluso un poquito más allá de lo que está programado. Pero ahora sí que ahora, bueno, puede ser, muchas gracias a todos y a todas las ponentes por vuestras, por haber contado vuestras experiencias. Yo creo que para todos ha resultado súper interesante. Y bueno, pues solamente esperamos que os anime y nos motiven a producir. Habéis estado atentos a empezar a transitar por lo que es el campo de la evaluación. Eso sería lo más importante, que no se quedara simplemente en una escucha, sino que de alguna manera os haya removido algo, que os provoque un poco empezar a trabajar, a conocer más sobre la evaluación.

Bueno, si yo soy un poquito el tiempo, así que bueno, estas preguntas recogidas, vamos a seleccionar dos y el resto nos comprometemos a contestarlas a las formas que han realizado. Y si hay alguien que ahora quiere también intervenir de forma del arco de captar, creo que símbolo que además de acompañar a Diego, también pasó porque no lo hará de cuestiones que surgen en la última hora, pero hemos seleccionado dos preguntas un poco de carácter más general y creemos que puede resultar interesantes para todas. Pues nos están escuchando ahora.

Una de ellas decía: si el uso de la evaluación mejora el programa o la intervención, desempate, ¿por qué creéis que hay una cierta asistencia a la aplicación, a su aplicación en las organizaciones a las que trabajamos? Si está tan claro en la bondad de la evaluación, ¿veis que hay una cierta falta de cultura de evaluación? No sé quién la puede responder, no proponían en concreto en ninguna de las personas para que las respondiera. No sé si prefiere como Juan Andrés, Marina, Diego, quizá sí.

Sí, pues simplemente a la espera de que se manifieste, ándale, se ha resuelto una idea y si queréis recoge el cable y desarrolláis. Pero a mí se me ocurre una cuestión también, se ha reflejado en práctica profesional. Yo diría que cuando la evaluación tiene que responder todas estas preguntas, es decir, cuando en la evaluación trasciende las baterías de indicadores o incluso me atrevería a decir, en los los procedimientos vinculados a los sistemas de calidad, es decir, como puntada Juanan, cuando la evaluación pretende comprender, ahí hay un proceso, hay un proceso que ya va más allá y que puede, y que puede, y que puede generar resistencias.

Yo diría que a veces casi íntimas, porque todas, todos los últimos muy propietarios de nuestros proyectos, de nuestros programas, nos ha costado horrores levantarlos y confrontarlos, problematizar lo que resulta obvio en sus cadenas de valor. No siempre es agradable, ¿no? Que venga un evaluador o una evaluadora impertinente y formule esa pregunta: "Y usted, ¿cómo esperaba que haciendo esto simplemente aparecieran esos resultados que ha redactado tener tan estratégico exactamente como está previsto?". Esta impertinencia, aunque la formula con una sonrisa de oreja a oreja, puede llegar a generar mucha incomodidad y ya llama para resistencia.

Entonces, yo creo que estas resistencias son las que hacía referencia esta persona, la participante o el participante. Creo que sobre todo aparecen cuando la evaluación hace una propuesta de profundidad de recorrido, cuando cuando quiere entrar, cuando quiere comprender y cuando necesariamente se vuelve impertinente. No hay, al menos, dejando de lado que es verdad que si nos ponemos un poco a poner así más ambiciosos a la hora de respuesta a la cuestión, es verdad que nos encontraríamos en un contexto en el que la evaluación ha sido a menudo confundida con otras prácticas más vinculadas a la auditoría de enjuiciamiento y utilizada para fines no necesariamente vinculados a la mejora. Eso seguramente ha dejado un poco en nuestra cultura más política, incluso. Entonces, ahí también como que había de dónde tirar para dar respuesta a la cuestión. Pero la petición, o sea, señalar esa es la primera cuestión más íntima que me parecía también a veces que era un poco oculta.

Muchas gracias, Ramón. Yo creo que ha quedado claro cuáles son nuestras resistencias o cuáles son las razones que provocan esas resistencias, mejor dicho. Vamos a la segunda pregunta. Dice: "Somos una entidad pequeña con pocos recursos humanos y tendríamos que priorizar qué vamos a evaluar. ¿Qué es prioritario? ¿Evaluar esta organización a nivel operativo y estructura o evaluar un proyecto o servicio concreto que damos?". Tampoco ahí no aparece la persona a la que va dirigida y en este caso, si tienen para Andrés, de submarinas, para Andrés, Juanan, Marina, se quiere ser el contexto.

Vamos, como veo, me cuesta mucho y vamos a establecer una buena afirmación categórica sobre esta pregunta, porque yo creo que para poder establecer las prioridades de nuestra entidad en concreto, tendríamos, tendría que conocerla mejor. Y creo que en cualquier caso, vosotros y vosotras vais a tener las prioridades estratégicas más claras. A mí ambas cuestiones me parecen que pueden ser súper interesantes y quizá no excluyentes a lo largo del tiempo. Entonces, me cuesta como responder de manera categórica una cosa a la otra sin conocerlos un poco en profundidad y siempre pensando que creo que vosotras verdaderas claves antes que yo sobre este punto.

Bueno, pues nada, disculpa, hace un poco la demora que pinta que hemos tenido a la hora de terminar el webinar. Solamente a comentaros que vuelva a enviar por email experiencias y referencias relacionadas con todo lo que hemos ido viendo para que las podáis revisar o consultar. Igualmente, por los correos de dirección de todos que hemos ido participando y nada más que aparecerá a todos los ponentes vuestro tiempo y vuestro conocimiento haber sido tan generoso de haberlo compartido con todos nosotros y esas personas que han asistido y nos habéis acompañado, pues igualmente gracias. Te esperamos que os haya resultado interesante y hasta pronto.

Muchas gracias y muchas gracias. [Música]