Texto traducido y extraido del libro «The Evaluation Society » de Peter Dahler-Larsen
Siempre es una buena práctica científica delimitar el objeto de estudio mediante una definición.
Existen al menos tres perspectivas válidas para comprender las definiciones de evaluación. La primera, naturalmente, se centra en el contenido conceptual. ¿Cómo se establece la línea divisoria entre lo que es evaluación y lo que no lo es? ¿Cuál es la esencia misma de la evaluación? ¿Y cuáles son los elementos universales presentes en todas las evaluaciones? La segunda perspectiva se enfoca en el aspecto pragmático de una definición. ¿Qué pretende lograr quien formula la definición al utilizarla como herramienta? ¿Es relevante distinguir la evaluación de los juicios de sentido común, de la ciencia, de la política, de la práctica profesional o de la consultoría? ¿Es fundamental establecer la evaluación como una actividad diferenciada y autónoma de una manera que no era evidente antes de la formulación de dicha definición? ¿Existe la tentación de idealizar, simplificar, rigidizar o enaltecer la evaluación a través de la definición?
En tercer lugar, las definiciones de evaluación pueden comprenderse a la luz de su relevancia sociohistórica. Una definición de un fenómeno social debe respetar la dinámica inherente al fenómeno. Debemos evitar la trampa de definir el concepto de un fenómeno de manera restrictiva, lo que nos impediría observar las transformaciones que experimenta en términos sociohistóricos. (Si, en la década de 1950, hubiéramos formulado definiciones estrechas de conceptos como «la familia» o «los medios de comunicación», habríamos incurrido en graves deficiencias en los análisis actuales).
De manera similar, una definición de evaluación debe considerar que esta adopta diversas formas en función de los diferentes contextos y de los fundamentos normativo-ideológicos. Por lo tanto, una definición de evaluación es producto de una realidad sociopolítica específica. Sin embargo, la relación entre un concepto y la sociedad es compleja, ya que un concepto también encarna aspiraciones y expectativas sobre lo que debería ser, es decir, nuevas realidades potenciales en proceso de desarrollo (Koselleck 2007).
A continuación, examinaré diversos enfoques para definir la evaluación. Tomaré el contenido conceptual como punto de partida. Posteriormente, el libro se abrirá hacia un análisis de la evaluación como fenómeno social. De esta manera, las definiciones, y no una definición única, de la evaluación, formarán parte de la historia sociológica que narra este libro.
UNA DEFINICIÓN CONCEPTUAL-ANALÍTICA DE LA EVALUACIÓN
Scriven (1991, 139) afirma que “la evaluación se refiere al proceso de determinar el mérito, el valor o la valía de algo, o al producto de dicho proceso. El proceso de evaluación generalmente implica la identificación de los estándares relevantes de mérito, valor o valía; la indagación sobre el desempeño de lo evaluado en relación con estos estándares; y la integración o síntesis de los resultados para obtener una evaluación general o un conjunto de evaluaciones relacionadas”.
Scriven es uno de los pioneros de la evaluación moderna como un campo diferenciado y uno de los primeros en destilar analíticamente el significado de la práctica evaluativa. Su definición es relevante en varios aspectos. El objeto de evaluación, denominado «evaluando», se describe como «algo». Tal vez sea la generalización y abstracción del evaluando, y su desvinculación de cualquier actividad humana específica y sustancial, lo que permite concebir la evaluación como una actividad cognitiva autónoma. Si se deseara evaluar una pieza musical, se podría recurrir a un músico experimentado. Ahora, si se desea evaluar «algo», se requiere la intervención de un especialista en evaluación. La definición de Scriven inaugura una era en la que la evaluación puede ser lo que Giddens (1990) denominaría una práctica social desarraigada, es decir, un conjunto de conocimientos, métodos y modos de pensamiento que pueden trascender el tiempo y el espacio y aplicarse a diversas prácticas sociales. Para ello, la evaluación debe concebirse como una práctica abstracta por derecho propio. Esto es precisamente lo que logra Scriven.
La definición de Scriven también es significativa porque no especifica si la evaluación debe utilizarse para un propósito particular. Su formación como filósofo le ha permitido no verse obligado a «adaptarse a las realidades de la resolución de problemas sociales» (Shadish, Cook y Leviton 1991, 117).
MÉTODOS: DEFINICIÓN DE EVALUACIÓN CENTRADA EN LA METODOLOGÍA
Rossi y Freeman (1985, 19) definen la investigación evaluativa como la “aplicación sistemática de los procedimientos de la investigación social para evaluar la conceptualización y el diseño, la implementación y la utilidad de los programas de intervención social… [Implica] el uso de metodologías de investigación social para juzgar y mejorar la planificación, el seguimiento, la eficacia y la eficiencia de los programas de salud, educación, bienestar y otros programas de servicios humanos”.
En contraste con la definición de Scriven, Rossi y Freeman mencionan programas específicos como objetos de evaluación. También describen los propósitos concretos de la evaluación: juzgar y mejorar los programas mencionados. No obstante, la característica más destacada de esta definición es su énfasis en la aplicación de «metodologías de investigación social». Cuando la metodología de la investigación social se aplica a problemas prácticos de política, se tiene la evaluación, o más precisamente, la investigación evaluativa.
Desde esta perspectiva, la evaluación puede adquirir legitimidad a través de su fundamento en la metodología científica. Por otro lado, puede ser objeto de críticas si se realiza de manera deficiente o si se encuentra con controversias metodológicas.
UNA DEFINICIÓN DE EVALUACIÓN CENTRADA EN LOS PROPÓSITOS
La evaluación de programas es la recopilación sistemática de información sobre las actividades, características y resultados de los programas para emitir juicios sobre el programa, mejorar la eficacia del programa o informar decisiones sobre la programación futura (Patton 1997, 23).
Aunque Patton, naturalmente, podría utilizar métodos para llevar a cabo la evaluación, parece que cualquier método sistemático será válido si contribuye a la consecución del propósito. Patton es reconocido por su enfoque de evaluación centrado en la utilización. En ese sentido, su definición resulta coherente. Los verbos juzgar, mejorar e informar describen los principales propósitos de la evaluación.
Las definiciones orientadas a un propósito permiten que la evaluación adopte múltiples formas. Dependiendo del propósito específico en una situación determinada, la evaluación se desarrollará de una manera particular. La evaluación presenta diversas facetas, según las circunstancias. Como corolario, es probable que la evaluación sea objeto de debate, ya que las partes interesadas pueden tener sus propias perspectivas sobre la mejor manera de utilizarla.
UN ENFOQUE COMBINATORIO DE LA DEFINICIÓN DE EVALUACIÓN COMO PRÁCTICA EN UN CONTEXTO
La consecuencia de esta visión contextual y orientada a las contingencias se refleja en algunas definiciones contemporáneas de evaluación que buscan combinar elementos clave de manera más o menos flexible.
Por ejemplo, Rossi y Freeman, ahora junto con Lipsey, se refieren a “el uso de métodos de investigación social para investigar sistemáticamente la efectividad de las intervenciones de maneras que se adapten a sus entornos políticos y organizacionales y estén diseñadas para informar la acción social con el fin de mejorar las condiciones sociales” (Rossi, Freeman y Lipsey 2004, 16). Aunque los métodos de investigación social aún se mencionan explícitamente, ahora no solo se aplican, sino que se adaptan a diversos entornos políticos y organizativos.
Evert Vedung (1997, 3) define la evaluación como «una valoración retrospectiva meticulosa del mérito, el valor y la valía de la administración, la producción y el resultado de las intervenciones gubernamentales, con la intención de desempeñar un papel en futuras situaciones de acción práctica».
La mayoría de las definiciones integradoras de evaluación contemplan cuatro elementos fundamentales que toda evaluación debe abordar:
- (1) un objeto de evaluación,
- (2) un juicio de valor basado en criterios específicos,
- (3) un enfoque o metodología sistemática para la recopilación de información sobre el desempeño del objeto de evaluación en relación con dichos criterios, y
- (4) un propósito o uso previsto para la evaluación. Existe un amplio consenso en que la evaluación, en esencia, consiste en una forma sistemática y metodológica –y por ende, «asistida»– de indagar y valorar una actividad de interés público con el fin de influir en la toma de decisiones o en las acciones relacionadas con dicha actividad o actividades similares