Como plantea Marianne Daher Gray (2015), los procesos de evaluación se caracterizan por ser investigaciones aplicadas que toman la teoría, métodos y técnicas para dar cuenta del cumplimiento de metas, conocer los procesos asociados a su implementación y detectar resultados esperados o emergentes. Lograr esto implica una complejidad mayor en el caso de la VcM, pues muchos de lo que caracteriza este fenómeno solo podemos observarlo al alcanzar un conocimiento profundo de las dinámicas, relaciones y discurso de los actores que concurren a su realización.

Frente a la complejidad para abordar el concepto de VcM, el diseño metodológico del modelo de evaluación toma especial relevancia, debe ser lo suficientemente flexible y sistemático para abordar las diferentes aristas del fenómeno. Al respecto la literatura (Fleet, Victorero, Lagos, & Otros, 2017) ha observado que tanto a nivel nacional como internacional lo que predomina son una diversidad de prácticas para la medición y evaluación que, en general, no comprenden o delegan a un plano secundario los elementos cualitativos, incluso en el caso de considerar la necesidad de incorporar elementos cualitativos en la evaluación estos son recogidos mediante instrumentos cuantitativos. Además, se ha identificado poca claridad tanto desde las instituciones de gobierno que deben fiscalizar como desde las IES (Instituciones de Educación Superior) apostando por una implementación simbólica de esta función universitaria, es decir apostando por la cantidad y diversidad de indicadores antes que por la definición de lineamientos claros.

“Al final, ni el volumen ni la continuidad de la vinculación con el medio constituyen, por sí mismos, criterios suficientes para la evaluación de su impacto. Se requiere seguimiento sistemático de estas acciones para proyectar el impacto sobre ámbitos específicos en base al trabajo académico y los recursos institucionales incorporados a la vinculación con el medio.”

(Fleet, Victorero, Lagos, & Otros, 2017, pág. 88)

La importancia de optar por un modelo mixto es poder observar tanto “que funciona”, como el “por qué” y “como funciona”. Así, tanto la Dirección de VcM como las distintas unidades y gestores, pueden tener información clara sobre los contextos en que se desarrollan prácticas exitosas. De esta manera, el sistema de evolución de la VcM de la UAH aboga por dejar de lado una lógica sustitutiva de prácticas, por avanzar en relevar una lógica acumulativa, la cual pone en valor las prácticas situadas y ya existentes en las distintas unidades.

De esta manera hemos apostado por un modelo de evaluación mixto pues se presenta como la mejor alternativa para debelar la forma en que opera la VcM dentro de nuestra universidad. Por modelo mixto nos referimos al cual combina en una misma etapa tanto los métodos de recolección de información cualitativos como cuantitativos (Pérez, 2011).

Para el proceso de evaluación se construyeron 3 tipos de instrumentos que constituyen los pilares del modelo de evaluación, estos buscan interactuar entre ellos y no se pueden comprender de manera aislada, sino que más bien como distintas maneras de aproximarse a un mismo fenómeno, permitiendo de esta manera comprender sus diversas dimensiones.

El primer instrumento que se aplica es el “Taller de VcM”, esto consiste en una instancia participativa donde concurren los principales actores y autoridades de la facultad correspondiente.

El segundo instrumento es una entrevista semiestructurada que, mediante el levantamiento de información cualitativa, busca profundizar en prácticas, procesos y discursos, de los principales actores de la facultad, entorno a los procesos de VcM. Las pautas de entrevistas son construidas en base a la operacionalización de las dimensiones de evaluación y diferenciadas según informante.

Por último, las fichas cuantitativas son un instrumento de autoreporte de datos e información de manera cuantitativa en base a un cuestionario que se elabora de manera diferenciada para cada informante al que se aplican las entrevistas.

Es importante considerar que tras el primer trabajo de campo, que abarcaba a 3 de las 6 facultades, se realizó un proceso de evaluación y ajuste de los instrumentos. En esta instancia se logró mejorar la aplicabilidad y lógica de los instrumentos, además se ajustó la operacionalización de algunas dimensiones incluyendo preguntas sobre indicadores de impacto interno, externo y políticas públicas.