Santos Joel Flores Ascencio. Investigador Independiente, Maestro en Políticas Públicas por El Colegio de Jalisco, actualmente labora en el Ayuntamiento de Zapopan.
En los últimos años se ha dado un incremento en el número de programas sociales
diseñados y financiados por los gobiernos de los municipios mexicanos; sin
embargo en la mayoría de los casos no se concluye el proceso de las políticas
públicas, ya que por diversas causas dichos programas no son sometidos a
evaluaciones. En este artículo se plantean las bases metodológicas para la
implementación de un esquema de evaluación de los programas
In recent years, the number of social programs designed and funded by local
governments in Mexico has increased. However, in most of these cases the public
policy process is not thoroughly followed: for a number of reasons, most of
those programs are seldom subjected to evaluations. This article delineates the
methodological basis for the implementation of a evaluation framework for the
programs
Durante los últimos años se han realizado esfuerzos importantes en México en el ámbito de la evaluación de políticas y programas públicos, sin embargo, es preciso advertir que aún falta mucho por hacer. Si bien es cierto que en los gobiernos estatales y federal se han dado los Primeros pasos hacia la institucionalización de la práctica evaluativa de las políticas y programas sociales, a nivel de los municipios, esta es una actividad poco socorrida en virtud de las condiciones institucionales imperantes en este orden de gobierno, lo que condiciona de manera importante sus posibilidades técnicas y financieras.
En términos generales se puede decir que la evaluación es componente clave del proceso de las políticas públicas, aunque en la práctica se ha relegado y dejado de lado por múltiples razones que van desde las de orden práctico -como puede ser la insuficiencia de recursos para realizarla-, hasta las de índole político -que suelen restar importancia e, incluso, generar molestia o incomodidad entre los tomadores de decisiones ante la probabilidad de que sus hallazgos resulten inconvenientes a sus intereses.
Esta contradicción entre el “ser” y el “deber ser” de la evaluación se acrecienta en los gobiernos locales, donde las circunstancias propias de los municipios en México la hacen poco viable, por lo que éstos suelen enfocarse en el monitoreo y seguimiento desde una perspectiva mecanicista, dejando de lado las posibilidades de conocimiento que proporcionaría la evaluación de sus programas y acciones.
En este amplio contexto, en el presente artículo se propone una alternativa práctica a este desafío, para lo cual se diseñó una estrategia de investigación aplicada para valorar la pertinencia de impulsar al interior del gobierno municipal de Zapopan la institucionalización de un sistema de evaluación de los programas sociales municipales. Tal valoración se realiza con base en la sistematización de la información de la experiencia, aplicada en dos casos específicos vigentes en el municipio de Zapopan: los programas Por ti, adulto mayor y Mujeres jefas de familia y en condición vulnerable.
La selección de estos casos obedece a dos circunstancias que los vuelven idóneos para corroborar la pertinencia de la práctica evaluativa: por un lado, su permanencia al menos durante dos periodos constitucionales, en virtud de su ratificación por parte de la administración municipal 2012-2015 y, por el otro, el hecho de que no se han evaluado a pesar de haberse previsto esta posibilidad en sus respectivas reglas de operación, atendiendo a la obligatoriedad establecida por la legislación general vigente en materia de desarrollo social.
En virtud de estas consideraciones, es que se buscó responder en un Primer momento a la pregunta ¿cuáles son las condiciones que posibilitarían la práctica evaluativa de los programas sociales municipales en el gobierno de Zapopan, Jalisco, más allá de la obligación legal vigente en todo el país? Para responder a este cuestionamiento, en un Primer momento se realizó una revisión de la literatura acerca de los conceptos básicos de la evaluación en el contexto particular de la perspectiva de políticas públicas.
En este escenario, en un segundo momento, se presenta una descripción de las condiciones sociales que configuran la realidad municipal de Zapopan y su evolución durante los años recientes; ello se hace con el fin de evidenciar la pertinencia de los diversos programas sociales desarrollados durante las administraciones municipales de los periodos 2010-2012 y 2012-2015, con particular énfasis en los dos programas que se estudian en este artículo.
En un tercer apartado se fundamentan y describen las características específicas del sistema de evaluación para los programas sociales municipales bajo estudio. Para ello, se recupera y sistematiza la información relevante derivada y producida por el municipio de Zapopan durante los años recientes.
El trayecto sugerido en este artículo, posteriormente nos lleva a la propuesta del sistema de evaluación de los dos programas sociales municipales bajo estudio;
Dentro de la literatura existen autores que se identifican con la idea de considerar a las políticas públicas como un ciclo, en tanto que otros se decantan por definirlas como un proceso. Al respecto, Aguilar señala que la política pública “es un proceso que se desenvuelve por etapas, cada una de las cuales posee sus actores, restricciones, decisiones, desarrollos y resultados propios, influye en las demás y es afectada por lo que sucede en las otras”.
Aunque según Ramos, Sosa y Acosta, desde mediados del siglo XX se han considerado los aportes de la evaluación como integradores de los resultados y efectos de los componentes de las políticas públicas, no es sino hasta la era de la globalización cuando se ha entendido a la evaluación como una herramienta estratégica, tanto para el sector público como para el privado.
En la actualidad, la mayoría de los autores coinciden en que toda política pública debe ser evaluada, pero vale la pena examinar el concepto de evaluación desde una perspectiva general para después analizar cómo puede ser entendida y utilizada en un contexto de políticas públicas; entonces, puede afirmarse que la evaluación se da en numerosos ámbitos de las organizaciones, ya sean privadas o públicas, con un fin, si no único, sí determinante: auxiliar en la toma de decisiones.
No existe una definición universalmente aceptada para el concepto de evaluación, aunque la mayoría de los autores coinciden en ciertos elementos. Según la Real Academia Española, el significado de evaluar es “señalar el valor de algo”, así como “estimar, apreciar, calcular el valor de algo”,
aquella investigación aplicada, de tendencia interdisciplinaria, realizada mediante la aplicación de un método sistemático, cuyo objetivo es conocer, explicar y valorar una realidad, así como aportar elementos al proceso de toma de decisiones, que permitan mejorar los efectos de la actividad evaluada.
Ya en el contexto de evaluación de políticas, Ramos y Villalobos señalan que “consiste en la
afirmación de un juicio de valor sobre los productos y los efectos de las
políticas públicas”,
Por su parte, Salcedo fortalece la idea de que la evaluación de políticas públicas busca medir los efectos que éstas tienen y además hace una división con relación a los tipos de evaluación en este contexto, al considerar evaluación propiamente dicha a aquella que “pretende conocer, descubrir, explicar los efectos o impacto de la gestión pública”, en tanto que define como “auditoría del desempeño” a la investigación que “se instaura para fiscalizar el cumplimiento de los objetivos y metas de una política pública a partir de la rendición de cuentas”.
Así mismo, dado que con este trabajo se persigue la instauración de un sistema de evaluación para dos programas sociales, es pertinente la revisión de la teoría relacionada con la evaluación de programas. Al respecto, Vara define a los programas sociales como un “conjunto específico de acciones humanas y recursos materiales, diseñados e implantados organizadamente en una determinada realidad social, con el propósito de resolver algún problema que atañe a un conjunto de personas”;
Por su parte, Grover en Sosa deduce que “la evaluación puede entenderse como el sistemático examen de un programa para proveer información sobre toda la gama de efectos de corto y largo plazos que tiene sobre los ciudadanos”.
En suma, se observa cierta coincidencia entre los elementos definitorios de la evaluación de políticas públicas y la de programas sociales; con respecto de estos últimos, los autores consultados incluso ofrecen mayor grado de especificidad en cuanto a las diferentes etapas del proceso.
Desde la perspectiva de este artículo, se considera más pertinente la utilización de la definición que aporta la OCDE,
Zapopan es el segundo municipio más poblado del estado de Jalisco, con 1 243 538 habitantes -según el censo de 2010-,
A pesar de su crecimiento económico y demográfico, actualmente cuenta con 190 localidades rurales;
En ciertos poblados de Zapopan se conservan tradiciones y costumbres ancestrales, como lo son las festividades anuales de los
En las últimas décadas, Zapopan ha pasado de ser un municipio con preponderancia del sector primario a convertirse en un polo importante de industria, comercio y servicios; se han establecido en su territorio algunos de los centros comerciales más visitados, campus universitarios y zonas industriales.
La presión urbana en ciertas zonas del municipio, como Tesistán, el bosque La primavera, el bosque El Nixticuil y la zona de la carretera a Colotlán -originada por la especulación inmobiliaria-, ha ocasionado la proliferación de fraccionamientos y colonias demandantes de servicios públicos. Además, la geografía de la zona metropolitana ha conformado los cinturones de miseria en los municipios vecinos a Guadalajara, siendo la región conocida como
Fuente: Elaboración propia con datos de la dirección de Programación (2010).
Tipo
Descripción
Número de colonias
Residencial
Sin problemas de servicios públicos, con infraestructura moderna y funcional. Casas grandes con jardines amplios y densidad poblacional baja. Nivel socioeconómico y educativo alto; A menudo existe control en los accesos, vigilancia privada y autosuficiencia en servicios. La organización vecinal recae en asociaciones civiles. Zonas exclusivamente habitacionales con centros comerciales y educativos cercanos.
65
Media
Comunidades con viviendas de muy buen nivel, con todos los servicios funcionando. Cuentan a menudo con parques públicos o jardines muy bien cuidados. Las más nuevas cuentan con accesos restringidos. Pueden contar con zonas comerciales dentro de las colonias. Los habitantes son en su mayoría de clase media alta y de buen nivel educativo.
75
Campestre
Fraccionamientos de buen nivel, con casas tipo cabañas, que son habitados solo en períodos vacacionales y fines de semana.
20
Popular
Colonias habitadas por personas de clase media y media/baja. Densidad poblacional alta. Cuentan con buena infraestructura pública, centros educativos dentro de los polígonos de la colonia, al igual que comercio formal e informal. En ellas se permite el paso de transporte público y la instalación de tianguis. Pueden existir problemas sociales tales como vandalismo y pandillerismo, deterioro de calles y fallas en algunos servicios.
197
Marginación
Colonias de densidad alta localizadas Principalmente en los límites de la mancha urbana, habitadas por población de clase socioeconómica baja y con dificultades para subsistir en muchos casos. Existen carencias de infraestructura urbana, como agua, drenaje y electricidad; las calles se encuentran en mal estado, en muchos casos intransitables. Los niveles de delincuencia y drogadicción son altos; El comercio se puede ver en las calles, existiendo abundantes puestos callejeros y comercio ambulante. La inmensa mayoría de las viviendas no están terminadas y están habitadas en obra negra.
96
Rural
Comunidades ubicadas dispersamente en el municipio, no
integradas a la zona urbana. Poblados y rancherías que
conservan tradiciones y costumbres específicas; la población
es reducida y los pobladores entre ellos se conocen. En
muchos casos no cuentan con servicios instalados como el
agua y drenaje, pero los suplen con pozos naturales y fosas
sépticas. Los pobladores se dedican a la agricultura y
ganadería principalmente.
31
No habitacional
Zonas en las que prácticamente no existen viviendas, sino industrias, comercio u oficinas.
13
Sin dato
9
Con relación a la situación política, este municipio fue gobernado ininterrumpidamente por el Partido Revolucionario Institucional (PRI) hasta 1995, cuando el Partido Acción Nacional (PAN) obtuvo la mayoría de los votos, conservando su hegemonía hasta el año 2004, cuando el PRI regresó al gobierno. En 2007 el PAN de nuevo consiguió la victoria y el PRI lo relevó en 2010 y en 2012 alcanzó de nuevo la mayoría, aunque en esa elección el Partido Movimiento Ciudadano (MC) consigue por vez primera una importante votación que les permitió contar con tres regidores en el Ayuntamiento. En la elección de 2015, el PRI y el PAN pierden presencia ante MC, que resulta ganador en el municipio; asimismo, se elige al primer candidato independiente a diputado en la historia del estado de Jalisco, en el distrito x con cabecera en Zapopan.
Si bien Zapopan se destaca como uno de los municipios jaliscienses con más actividad económica y buenas condiciones de vida, es también uno de los quince del país con un mayor número de pobres y el segundo en el estado, según datos del CONEVAL.
En 2010 existían en Zapopan un total de 295 643 personas que subsistían en condiciones de pobreza, equivalentes a 22.8% de sus habitantes. De éstos, 28 012 -que representan a 2.2% de la población- vivían en situación de pobreza extrema en ese año.
Con relación a las cifras de marginación, al comparar la situación de Zapopan con respecto a periodos anteriores, el Consejo Nacional de Población (CONAPO) dio a conocer que en el 2010 el índice de marginación se ubicó en -1.91704, lo que representó una mejoría con relación a -1.684421 que se obtuvo en 2005 (
El Consejo Estatal de Población en Jalisco (COEPO) generó cifras de marginación a nivel de lo
que se conoce como Área Geoestadística Básica Urbana (AGEB),
Ante un escenario de grandes contrastes socioeconómicos como el de Zapopan, la autoridad municipal, además de seleccionar las zonas geográficas que requerían atención especial dadas sus circunstancias de marginación, identificó a los grupos sociales más vulnerables. Ello se realizaba con el fin de impulsar estrategias y programas focalizados en ellos, según consta en el “Eje 3: Inclusión y equidad” del
El reconocimiento del problema público y su focalización permitieron la asignación de una cantidad considerable de recursos públicos para política social en Zapopan. Según Guillén, con este tipo de acciones, los gobiernos municipales buscan generar “un efecto de corrección en los desbalances sociales, a pesar de la limitada escala de estos programas, que evidentemente depende del grado de desarrollo municipal y de los recursos financieros de los ayuntamientos”.
Este programa (MJFCV) fue concebido por el equipo de transición de Héctor Vielma Ordóñez, antes del arranque de su periodo de gobierno (2010-2012).
Asimismo, se planteó como universo a toda mujer habitante de Zapopan que subsistiera en condiciones de vulnerabilidad, con ingresos insuficientes para atender las necesidades básicas de su familia. La meta inicial de atención fue de 10 mil beneficiarias, quienes debieron cumplir con requisitos como ser mujer, habitar en Zapopan, presentar alguna situación de vulnerabilidad, no recibir apoyo alimentario o económico de algún otro programa social y llenar el formato de registro del programa -que incluía estudio socioeconómico. Inicialmente se proyectó que los componentes del programa fueran apoyos económicos, en especie, actividades productivas y de capacitación, así como asistencia médica y legal.
La modalidad de apoyos económicos constaba de la entrega cuatrimestral de mil pesos, mismos que deberían servir para mejorar la cobertura de necesidades básicas; los apoyos en especie suponían la entrega mensual de una despensa con productos para el consumo básico; las actividades productivas y de capacitación se conformaron por instrucción a través de diversos talleres, vinculación posterior a una bolsa de trabajo de acuerdo con el tipo de adiestramiento y canalización para la obtención de microcréditos para emprender un negocio. Asimismo, se pretendía proporcionar asistencia médica, psicológica y legal a las mujeres inscritas en el programa.
Sin embargo, las reglas de operación fueron difíciles de cumplir,
En el transcurso del año 2011 las inscripciones al programa MJFCV se realizaron directamente en las colonias con los niveles más altos de marginación en el municipio, recabándose más de 50 mil solicitudes, de las que solamente 10 mil fueron aceptadas de acuerdo con su alto grado de vulnerabilidad, mismo que se obtuvo de los resultados arrojados por un cuestionario socioeconómico levantado al momento de la inscripción de las interesadas.
Durante 2011 y 2012, se otorgó a las beneficiarias un apoyo de mil pesos cuatrimestrales depositados en una tarjeta de débito, así como una despensa mensual; adicionalmente, las participantes seleccionaron de un catálogo el taller de capacitación de su preferencia, para así cumplir con la obligación de asistir a cursos y pláticas, asentada en las ROP.
Así, el programa operó de manera parcial durante los años 2011 y 2012, puesto que el componente de revisiones médicas nunca se puso en marcha formalmente, como tampoco se eligieron los comités de promoción, que harían las veces de vigilancia y promoción comunitaria (
Fuente: Elaboración propia con datos del Gobierno Municipal de Zapopan, Jalisco, Reglas de Operación del programa Mujeres jefas de familia y en condición vulnerable (2011). * Los comentarios sobre la implementación se obtuvieron del análisis empírico y las entrevistas realizadas a funcionarios.
Mecanismo
Descripción en ROP
Comentarios sobre la implementación*
Operación del programa
La operación consta de las siguientes etapas:
Todas las etapas se ejecutaron, excepto la de evaluación del programa.
Difusión
Se realizará por medio de una convocatoria, carteles, así como los medios que se determinen idóneos (como difusión en programas de radio y televisión local) dentro de las colonias o localidades seleccionadas para la inscripción de las jefas de familia.
Fue realizada principalmente por personal del
gobierno municipal, ya que no se contrató publicidad en
medios.
Recepción de solicitudes
Las solicitudes serán recibidas por personal asignado por parte de la dirección general de Desarrollo Social y Humano, las cuales serán estudiadas por dicho personal y de acuerdo a los criterios de selección y priorización establecidos en las reglas de operación, serán seleccionadas las mujeres que integrarán el padrón de beneficiarias.
Tal como se establece en las ROP, fueron recibidas y estudiadas en esta etapa, más de 50 mil solicitudes.
Padrón de beneficiarias
Se integrará el padrón considerando los elementos escritos en las reglas de operación. Una vez integrado el padrón se procederá a una validación de la información proporcionada por las beneficiarias, de forma aleatoria, la cual se realizará en conjunto con las instancias ejecutoras.
Se capturaron todas las solicitudes, se depuraron y se seleccionaron 10 mil beneficiarias, sin embargo no se realizó la validación de información por falta de recursos.
Seguimiento médico
El Gobierno Municipal establecerá módulos de salud para dar seguimiento a las familias beneficiadas; se asignará según su ubicación física, la unidad médica a la que deben dirigirse las familias para seguimiento y consultas con las cartillas de salud que se les proporcionarán en el momento de ser seleccionadas, desde esta lógica se pretende cubrir por zonas de prioridad a la población objetivo, para ello se determinan las aspectos de salud que se atenderán, dejando establecida la responsabilidad y obligación de las beneficiarias a dar un seguimiento a las citas de salud que sean necesarias.
No se realizó seguimiento médico alguno.
Comités de promoción
Estarán integrados por vocales promotoras de educación, salud y de vigilancia, las cuales son elegidas por las titulares beneficiarias de la comunidad
No se conformaron los citados comités.
A raíz del cambio de gobierno, en octubre de 2012 se suspendió el programa de manera temporal y se convocó a las beneficiarias a una reinscripción. La nueva titular en el Instituto de la Mujer, impulsó una revisión del padrón, mismo que se organizó por zonas geográficas a fin de facilitar la entrega de apoyos, sin embargo los cursos de capacitación fueron suspendidos. La dotación de despensas continuó como se precisaba en las ROP, pero los apoyos económicos se limitaron y condicionaron, otorgándosele sólo a las mujeres sin pareja. En febrero de 2015 el padrón estaba conformado por 13 519 mujeres.
El PTAM surgió dada la insuficiencia de los programas federales y estatales para atender la problemática de la población en situación más vulnerable; es decir, a pesar de la existencia de los programas 70 y más (federal) y Vive grande (estatal), se detectó que existía aún un número importante de adultos mayores del municipio sin atender.
Así, en 2010 la dirección de Desarrollo Social y Humano comienza con los trabajos para fundamentar el programa y redactar las ROP, mismas que se dan a conocer a principios de 2011. En ellas se establece que el PTAM tiene como objetivo “mejorar la calidad de vida de los adultos mayores que viven en condiciones de pobreza y marginación en las zonas urbanas del municipio de Zapopan”.
adultos mayores a partir de 70 años y más, que vivan en condiciones de pobreza, marginación y/o desamparo en el municipio de Zapopan, que no reciban jubilación y que no sean beneficiaros de algún otro programa de transferencia monetaria o apoyo alimenticio ya sea federal, estatal o municipal.
Por otra parte, es importante puntualizar que si bien hasta 2010 existía dentro de la dirección general de Desarrollo Social y Humano un área dedicada a la atención del adulto mayor, esta se enfocaba en dar seguimiento a los programas federales y estatales; así, ante el surgimiento del PTAM se crea formalmente la jefatura de Atención al Adulto Mayor, que fue la encargada de operar el programa y seleccionar a los beneficiarios según lo establecido en las ROP.
En principio, se escogieron los primeros 2 000 adultos mayores que conformarían el padrón de acuerdo con los datos obtenidos del estudio socioeconómico aplicado en las instalaciones de la oficina de la jefatura de Atención al Adulto Mayor. Estos datos no fueron verificados en campo; a estos beneficiarios se les otorgaba una despensa mensual y un apoyo económico bimestral de 500 pesos en tarjeta de débito. La entrega de despensas se realizaba por zonas, a fin de evitar largos traslados a los beneficiarios, dada su edad avanzada.
A comienzos del año 2012, el gobierno de Zapopan acordó con la administración federal la inclusión de los beneficiarios del PTAM al programa 70 y más, por lo que el componente económico del programa municipal se dejó de aportar, dada la naturaleza monetaria del apoyo de la Secretaría de Desarrollo Social (SEDESOL). Ante esto, se decide ampliar la cobertura del programa a todo el municipio, sin importar el grado de marginación del polígono de procedencia del adulto mayor, lo que redundó en el incremento del número de beneficiarios.
Con relación a los componentes del programa, a partir de 2012 sólo se otorgan la despensa mensual y la atención médica a quien lo solicita, no así la vinculación productiva, el apoyo económico ni el de defunción (
Fuente: Elaboración propia con datos del Gobierno Municipal de Zapopan, Jalisco, Reglas de Operación del programa Por ti adulto mayor (2011). * Los comentarios sobre la implementación se obtuvieron del análisis empírico y las entrevistas realizadas a funcionarios.
Componente
Descripción según ROP
Comentarios sobre la implementación*
Apoyos económicos
a) Entrega bimestral de $500.00 para la cobertura de sus necesidades básicas.
Se otorgaron los apoyos tal y como se establece en las ROP hasta el año 2012, cuando se suspenden debido a la integración de los beneficiarios de este programa al de 70 y más del gobierno federal.
Asistencia alimentaria
Entrega bimestral de una despensa con productos de consumo básico.
Desde el inicio del programa se otorga este apoyo.
Actividades productivas
a) Generar una base datos con las capacidades laborales de los adultos mayores que deseen y tengan las condiciones de salud necesarias para reintegrarse a la vida laboral.
No se han dado hasta la fecha este tipo de actividades dentro del programa.
Asistencia médica
Atención médica de primer nivel, a través de visitas programadas periódicamente a las colonias identificadas con un grado de marginación alto y muy alto.
Existe personal médico que atiende a los beneficiarios que así lo solicitan, dentro de las instalaciones de la dirección general de Desarrollo Social y Humano.
Existen evidencias de que desde el periodo 1995-1997 de la administración municipal se dio el interés de monitorear las actividades y resultados de las dependencias. Según Ricardo Montes,
Para la alimentación de la base de datos del SPIE existían formatos estandarizados, que se llenaban por cada área y se entregaban de acuerdo con una calendarización determinada. Al final, el uso principal de los datos del SPIE era el de facilitar la integración de los informes de gobierno anuales del presidente municipal. El SPIE estuvo vigente hasta el año 2003, es decir, durante el primer ciclo de gobiernos emanados del PAN.
Por otra parte, durante el periodo 2001-2003, el gobierno del doctor Macedonio Tamez firmó un convenio con la Asociación Mexicana de Municipios, A. C., con el fin de participar en el Sistema de Indicadores del Desempeño (SINDES), que estaba conformado por 70 indicadores desarrollados colectivamente entre los gobiernos participantes y la Asociación Internacional de Administración de Ciudades y Condados (ICMA por sus siglas en inglés), para así medirse y compararse con otros municipios.
Cada indicador del SINDES contaba con una ficha descriptiva, en la que se incluía su nombre, objetivo, fórmula, unidad de medida y significado, entre otros datos. Zapopan participó en el SINDES hasta el año 2003, dado que la administración de Arturo Zamora (2004-2006) decidió suspender su membresía. Los indicadores y mediciones tuvieron poca repercusión en ese periodo, ya que según Ricardo Montes “los indicadores se alinearon a los objetivos para la calidad que en ese momento requerían las 6 áreas implicadas en sistemas de gestión de calidad: dirección de Padrón y Licencias, Alumbrado Público, Cementerios, Rastro Municipal, Aseo Público y Agua Potable y Alcantarillado”.
Las reformas a la
Los sujetos obligados deberán preservar sus documentos en archivos administrativos actualizados y publicarán, a través de los medios electrónicos disponibles, la información completa y actualizada sobre el ejercicio de los recursos públicos y los indicadores que permitan rendir cuenta del cumplimiento de sus objetivos y de los resultados obtenidos.
Así pues, durante el gobierno de Juan Sánchez Aldana (2007-2009) se asienta en el
La dirección de Calidad y Planeación de Proyectos, área entonces dependiente de la Oficialía Mayor Administrativa, coordinó la creación del Sistema de Indicadores Zapopan (SIZ), mismo que en 2009 estaba conformado por cerca de 400 indicadores (
Fuente: Elaboración propia con datos del Gobierno Municipal de Zapopan, Jalisco; Dictamen de comisiones y propuesta de acuerdo del Ayuntamiento del 29 de septiembre de 2009.
Dirección General
Total de Indicadores
Tesorería
7
Oficialía mayor administrativa
20
Oficialía mayor de padrón y licencias
6
Promoción económica y turismo
37
Servicios públicos
52
Ecología y fomento agropecuario
37
Obras públicas
12
Secretaría general
35
Sindicatura
31
Seguridad pública, protección civil y bomberos
50
Inspección de reglamentos
8
Desarrollo social y humano
53
Instituto de cultura
10
DIF
27
COMUDE
9
Total
394
El SIZ continuó operando a pesar de los cambios de administración y hasta el año 2015 seguía vigente, sin embargo, a partir de 2010 no se le dio impulso alguno y desde esa fecha solamente se ha mantenido la plataforma y se actualizan los indicadores que la contienen de manera periódica.
Por otra parte, la oficina de Coordinación de Gabinete, dependiente del presidente municipal, lleva a cabo el monitoreo y evaluación tanto del
En cuanto a evaluaciones externas, Leonardo Gatica y Ricardo Montes identificaron al ejercicio denominado Agenda desde lo local, operado por el Instituto Nacional para el Federalismo y el Desarrollo Municipal (INAFED) de la Secretaría de Gobernación.
Agenda desde lo local, está conformado por 39 indicadores y 270 parámetros que miden las condiciones mínimas que no deben dejar de existir en el ámbito local; estos son evaluados por personal del gobierno municipal, que señala la evidencia para cada caso y ubica cada indicador en una métrica tipo semáforo, en la que el color rojo representa un estado no deseable en la situación del municipio, el amarillo indica un escenario donde existen acciones de mejora pero no de manera permanente o continua y el color verde señala una situación mínima aceptable en materia de desarrollo municipal.
Una vez realizado el autodiagnóstico, instituciones independientes validan de manera neutral los resultados, tomando en consideración la evidencia presentada por el municipio y turnan los resultados al INAFED, donde éstos se analizan y se expiden los certificados a los gobiernos que cumplan con los estándares establecidos.
Desde 2008 y hasta 2013, Zapopan participó en la evaluación de “Agenda desde lo local”, obteniendo siempre la certificación del INAFED.
Un sistema es un conjunto de elementos organizados y relacionados, que interactúan entre sí para la consecución de un fin; asimismo, la evaluación en sí es un sistema, tal como lo explica Vega:
La evaluación es a su vez un sistema, pero con la característica que es un sistema cognitivo, es decir, mide el comportamiento efectivo del proyecto de acuerdo con el espacio en que éste se realiza. Como tal, la evaluación genera un conocimiento respecto a lo que está evaluando. Los elementos que debe tener el sistema evaluativo están en relación a los elementos que contiene el sistema programa y/o proyecto.
Así pues, se buscó que la propuesta que se presenta a continuación, aportara un engranaje de elementos evaluativos que conformen como tal un sistema que genere información de calidad con el propósito principal de auxiliar en el proceso de toma de decisiones atendiendo la singularidad de los casos de estudio.
Dado que se pretende la consolidación del sistema de evaluación, se buscó un nombre pertinente para el mismo a fin de facilitar el proceso de implementación y su posterior posicionamiento dentro de la administración municipal de Zapopan. Se propone denominarlo
El objetivo del SIEPSO es evaluar los programas Mujeres jefas de familia y en condición vulnerable y Por ti, adulto mayor, a fin de contar con información que facilite y sustente la toma de decisiones sobre los mismos.
Como premisa, se buscó integrar en el SIEPSO los enfoques cuantitativo y cualitativo de la evaluación de forma complementaria (
Una vez realizada la investigación aplicada, se propone que el sistema de evaluación se conforme por tres componentes (
Monitoreo: Indicadores para evaluar el desempeño y resultados de los programas Percepción: Incluye la encuesta de la que se obtendrán datos sobre la percepción subjetiva de los beneficiarios. Adicionalmente, contiene estudios de grupos de enfoque, con los que se conocerán las fortalezas y debilidades desde la perspectiva del beneficiario y se obtendrán recomendaciones acerca de los programas. Impacto: A través de métodos cuasi experimentales como la regresión discontinua y comparaciones apareadas, se obtendrán datos sobre los cambios en las condiciones socioeconómicas de los beneficiarios atribuibles a los programas estudiados.
Fuente: Elaboración propia.
Tipo de evaluación
Método
Insumos
Producto
Periodicidad
Observaciones
Monitoreo
Indicadores de desempeño
Datos sobre la operación del programa
Una ficha por cada indicador resultante
Variable. Cada indicador tiene su propia periodicidad.
El sistema de evaluación contiene los indicadores necesarios para evaluar el desempeño y resultados de los programas.
Percepción
Encuesta de percepción
Padrón de beneficiarios actualizado, instrumento probado (encuesta), personal que lo aplique, lo capture y procese.
Informe de resultados de la encuesta.
Anual
El sistema de evaluación puede arrojar resultados y datos sobre los cambios en la percepción de los beneficiarios.
Grupos de enfoque
Padrón de beneficiarios actualizado, personal capacitado para llevar las sesiones, grabarlas y presentar resultados (o contrato con empresa especializada).
Informe de resultados.
Anual
El sistema de evaluación se vale de esta técnica para obtener recomendaciones para el programa, así como para conocer sus fortalezas y debilidades desde la perspectiva del beneficiario.
Impacto
Regresión discontinua (Mujeres jefas de familia y en condición vulnerable)
Listado de interesados en los programas, con los puntajes que sirvieron para definir beneficiarios, padrón actualizado, equipo de evaluación debidamente capacitado.
Informe de resultados de la evaluación de impacto
Quinquenal
El sistema de evaluación genera datos sobre los cambios en las condiciones socioeconómicas de los beneficiarios atribuibles a los programas estudiados.
Comparaciones apareadas (Por ti adulto mayor)
Bases de datos de solicitantes y beneficiarios, equipo de evaluación debidamente capacitado.
Informe de resultados de la evaluación de impacto
Quinquenal
El sistema de evaluación genera datos sobre los cambios en las condiciones socioeconómicas de los beneficiarios atribuibles a los programas estudiados.
Conocer el desempeño de los programas sociales es factible utilizando indicadores, aunque no existe un consenso en la literatura con relación a si este tipo de mediciones debe llamarse evaluación o monitoreo; sin embargo, lo que es indiscutible es que la información resultante de estas prácticas puede ser determinante para la toma de decisiones.
Para el desarrollo del
El resultado es la creación de 12 indicadores, de los cuales 5 son compartidos entre ambos programas, 5 son exclusivos del programa MJFCV y 2 de PTAM. Estos indicadores se dividen en dos tipos, según lo que buscan medir: de gestión y de resultados (
Fuente: Elaboración propia
Nombre del indicador
Programa
Tipo
Objetivo
Porcentaje de apoyos económicos realmente otorgados a los beneficiarios del programa con respecto al número de apoyos proyectados
MJFCV, PTAM
Gestión
Medir la eficacia de la entrega del recurso económico contemplado en el programa
Porcentaje de apoyos en especie realmente otorgados a los beneficiarios del programa con respecto al número de apoyos proyectados.
MJFCV, PTAM
Gestión
Medir la eficacia de la entrega de despensas contempladas en el programa
Porcentaje de beneficiarias que tomaron los cursos de capacitación impartidos con respecto al número total de beneficiarias del programa.
MJFCV
Gestión
Medir la eficacia en la asistencia a los cursos de capacitación impartidos.
Variación porcentual anual en el número de consultas médicas brindadas a beneficiarios.
MJFCV, PTAM
Gestión
Medir el porcentaje de la variación del número de consultas médicas brindadas a beneficiarios del programa en el año en curso respecto al número de consultas médicas brindadas a beneficiarios en el año anterior.
Variación porcentual anual en el número de asesorías jurídicas brindadas a beneficiarias.
MJFCV
Gestión
Medir el porcentaje de la variación del número de asesorías jurídicas brindadas a beneficiarias del programa en el año en curso respecto al número de asesorías jurídicas brindadas a beneficiarias en el año anterior.
Promedio de beneficiarias asistentes por grupo a cada curso de capacitación brindado.
MJFCV
Gestión
Conocer el tamaño promedio de los grupos de cada curso de capacitación brindado.
Porcentaje de participantes que han recibido beneficios directos de los cursos y talleres otorgados por el programa.
MJFCV
Resultados
Medir el porcentaje de personas que han conseguido un nuevo empleo, se han autoempleado, y/o han reducido sus gastos gracias a los cursos y talleres impartidos dentro del programa
Porcentaje de beneficiarios empleados por empresas vinculadas con el programa con respecto al número total de beneficiarios del programa en búsqueda de empleo.
PTAM
Resultados
Medir la eficacia del programa en la colocación de adultos mayores en puestos de trabajo
Variación anual del porcentaje de beneficiarios que perciben mejoría en su situación económica
MJFCV, PTAM
Resultados
Medir la variación anual del porcentaje de beneficiarios del programa que perciben mejoría en su situación económica con respecto a cuando no tenían el programa.
Promedio de la diferencia en el ingreso del hogar de los beneficiarios del programa
MJFCV, PTAM
Resultados
Medir el promedio de la diferencia en el ingreso del hogar de los beneficiarios del programa en el presente año con respecto al ingreso manifestado en el año de inscripción
Variación en el porcentaje de mujeres zapopanas en situación de vulnerabilidad.
MJFCV
Resultados
Medir la diferencia en el porcentaje de mujeres que subsisten en situación de vulnerabilidad en Zapopan en la última medición con respecto a medición próxima anterior.
Variación en el porcentaje de adultos mayores que subsisten en situación de pobreza.
PTAM
Resultados
Medir la diferencia en el porcentaje de adultos mayores que subsisten en situación de pobreza en Zapopan en la última medición con respecto a medición próxima anterior.
Con respecto del componente de
Para lo anterior se redactaron nueve preguntas, de las cuales seis son simples y tres compuestas.
Como herramienta del SIEPSO, se sugiere que el levantamiento de la información sea anual, dado que ese lapso es razonable para la detección de cambios en tendencias, si es que se llegaran a tomar decisiones con base en los resultados de la primera aplicación.
Dado que se conoce el número de beneficiarios de ambos programas, se supone la aplicación de la fórmula para poblaciones finitas con el propósito de obtener el tamaño de la muestra. Así, tomando como base el padrón actual de beneficiarios de cada programa, 95% de confiabilidad y un margen de error de +-5, el número de encuestas a aplicar para el programa MJFCV es de 374, en tanto que para el PTAM es de 347 (ver cuadro metodológico en la
Fuente: Elaboración propia.
Programa
Integrantes del padrón
Tamaño de la muestra
Confiabilidad
Método de muestreo
Mujeres jefas de familia y en condición vulnerable
13,519
374
95% con error de +-5
Aleatorio simple
Por ti, adulto mayor
3,600
347
95% con error de +-5
Aleatorio simple
Total
17,119
721
El método de muestreo a utilizar es el aleatorio simple, mismo que asegura que todos los beneficiarios tengan la misma posibilidad de ser elegidos; dado que los padrones de ambos programas se encuentran en
Otra de las técnicas cualitativas propuestas para operar en el SIEPSO es la de
Su integración en el SIEPSO se da, ya que con esta técnica es factible la evaluación cualitativa tanto de retos como de aciertos de los programas, así como la detección de recomendaciones, sugerencias y el conocimiento del grado de satisfacción de los beneficiarios. El punto de partida de los grupos de enfoque del SIEPSO es una matriz FODA, misma que genera información con relación a las fortalezas, oportunidades, debilidades y amenazas de los programas. Se aconseja que el grupo focal se realice anualmente para cada programa por separado; el procedimiento para su ejecución consta de tres fases:
Debido a las características socioeconómicas de los beneficiarios, se recomienda que el cuestionario se redacte en lenguaje sencillo y coloquial. Se sugiere elegir diez beneficiarios de cada programa, cuidando que existan las diferencias suficientes entre ellos para conformar un grupo relativamente heterogéneo. En el caso de PTAM se propone elegir un hombre y una mujer por cada zona del municipio (centro, norte, sur, Tesistán y rural). Para MJFCV una beneficiaria menor y otra mayor a los 30 años de edad de cada una de las cinco zonas. Es deseable que a cada beneficiario seleccionado para el estudio se le ofrezca un incentivo en especie, Es deseable que el moderador sea una persona con experiencia en manejo de grupos y con conocimientos sobre el contexto socioeconómico y cultural de los beneficiarios. El sitio ideal para llevar a cabo las sesiones es una Con el fin de asegurar el éxito de las sesiones, se aconseja llevar a cabo un ensayo en el que el moderador acuda al aula designada y verifique que tanto la instalación como los materiales son los adecuados y funcionan correctamente.
El moderador debe dar la bienvenida a los participantes, presentarlos, decirles el objetivo de la sesión y clarificar la mecánica de comunicación. El moderador realizará las preguntas en el orden establecido, así también, detectará las ocasiones en las que se puede profundizar en la información generada. Para ello se valdrá del pizarrón y el material que haya preparado previamente. Es importante evitar las distracciones y las discusiones que no aporten al objetivo de la sesión. Una vez finiquitada la orden del día, el moderador agradecerá a los participantes su colaboración y les hará entrega del obsequio. Acto seguido, realizará una despedida y concluirá la sesión. El personal auxiliar recogerá los materiales generados durante el ejercicio.
El análisis de datos puede darse a manera de agrupamiento de significados y contenidos,
identificando los temas principales y los patrones que se presenten.
Asimismo, existe software especializado con el que se podría
realizar el análisis cualitativo de forma automática, (por ejemplo,
ATLAS.ti). Una vez realizado el procesamiento de datos, éstos deben presentarse en un informe narrativo, en el que se enfaticen los hallazgos y se establezca la matriz FODA.
La
A continuación se presenta un esbozo con las generalidades de la evaluación de impacto para los programas MJFCV y PTAM, sin embargo es importante clarificar que más adelante en este artículo se reflexionará sobre la factibilidad de la evaluación de impacto para los casos de estudio.
Se propone que el SIEPSO incluya la posibilidad de evaluar el impacto de los programas dados sus objetivos, que buscan generar mejoras en la calidad de vida de las personas; sin embargo, la propia teoría de la evaluación de impacto manifiesta que no todos los programas son susceptibles de su utilización. Al respecto, el CONEVAL solicita que se elabore el
Los objetivos de la evaluación consisten, respectivamente, en estimar en qué medida el programa MJFCV es efectivo en el incremento del ingreso de las beneficiarias, y en estimar en qué medida el programa PTAM es efectivo en la disminución de niveles de pobreza y marginación de los beneficiarios.
Por cada uno de los programas evaluados se integraron distintos padrones que están resguardadas en la dirección general de Desarrollo Social y Humano del municipio de Zapopan.
El diseño de la
Según señala Rosario Ruiz,
De acuerdo con la información proporcionada por Emerita Arias,
Por lo anteriormente descrito, se deduce que el diseño de MJFCV cumple con los requerimientos para el método de regresión discontinua, recomendado por Gertler “para los programas en los que se clasifica a los posibles beneficiarios mediante un índice continuo y estos son seleccionados según superen o no alcancen un umbral previamente definido”.
Los instrumentos a utilizar son los cuestionarios que se incluyen en las ROP de ambos programas, dado que ofrecen los datos socioeconómicos de línea de base, mismos que son los que prevalecían antes de implementar los programas.
Lo que se propone como estrategia de muestreo, es la selección de un grupo con datos recabados al momento de recibir las solicitudes; la muestra será igual para el grupo de control que para el de tratamiento; en el caso del programa MJFCV el grupo de control se tomará del umbral de las personas rechazadas cercanas a ser admitidas, pero que por cuestiones de presupuesto no hayan alcanzado a serlo y para que tenga validez externa e interna se debe dar en forma aleatoria, ya que se produce un grupo de control equivalente al de tratamiento, es decir, de ese conjunto cercano a recibir el apoyo, se hará una aleatorización que permita tener un grupo con características similares al de tratamiento. Asimismo, se deben realizar los cálculos pertinentes para asegurar la potencia de la muestra necesaria para detectar efectos estadísticamente significativos.
Por otra parte, para el programa PTAM se deberán elegir individuos con características similares entre los solicitantes que se aceptaron y los que se rechazaron como beneficiarios del programa, tal como lo requiere el método de comparaciones apareadas (
Una vez determinada la estrategia de muestreo, se aplicarán los cuestionarios de seguimiento en los grupos de tratamiento y control a fin de observar si hay impactos y de qué tipo. El tiempo transcurrido desde el levantamiento de la información de base es de cinco años (2010-2015), adecuado para una evaluación de impacto y para poder observar cambios significativos si es que existieran.
Ya realizada la aplicación de la evaluación, se procederá a la captura y análisis de la información obtenida, lo que debe brindar datos que lleven a deducir si el programa ha tenido un impacto o no.
Al final, si se decide evaluar el impacto de estos programas, se sugiere que el procedimiento se lleve a cabo por parte de un organismo externo, con el fin de asegurar la veracidad e imparcialidad de la evaluación, así como reducir los riesgos políticos y cuestionamientos a los resultados de la misma.
Dado que este documento busca presentar un sistema de evaluación de los programas MJFCV y PTAM del gobierno municipal de Zapopan, viable técnica, económica y políticamente, es determinante conocer la factibilidad del SIEPSO como se ha propuesto hasta ahora.
Por lo que hace a la
Fuente: Elaboración propia.
Tipo de evaluación
Técnica a utilizar
Necesidades técnicas
Análisis de recursos
Factibilidad
Monitoreo
Indicadores
Bases de datos
Existe información suficiente en las bases de datos para alimentar los indicadores
Alta
Software
Además de excel, se puede utilizar la plataforma SIZ, vigente en el Municipio.
Alta
Equipo de computación
Existen en la dirección de Desarrollo Social y Humano los equipos suficientes para el seguimiento de indicadores.
Alta
Recursos humanos
Existe personal capacitado y con experiencia para llevar a cabo el seguimiento de indicadores.
Alta
Percepción
Encuesta
Padrón de beneficiarios
Con la información incluida en los padrones de beneficiarios se puede llevar a cabo el muestreo.
Alta
Software
En la dirección de Programación está instalado en varios equipos el programa SPSS.
Alta
Recursos humanos
Existe personal capacitado y con experiencia tanto para llevar a cabo el trabajo de campo como la captura e interpretación de la información.
Alta
Vehículos
Existen los vehículos necesarios en la dirección de Desarrollo Social y Humano para trasladar al equipo de encuestadores a través del municipio.
Alta
Papelería
El presupuesto anual de las dependencias asegura recursos para papelería.
Alta
Grupos de enfoque
Padrón de beneficiarios
Con la información incluida en los padrones de beneficiarios se puede llevar a cabo la selección de participantes.
Alta
Software
Existe software básico para el análisis, pero se sugiere adquirir el programa Atlas.ti
Media
Recursos humanos
Existe personal capacitado y con experiencia tanto para llevar a cabo las sesiones de trabajo como la captura e interpretación de la información.
Alta
Instalaciones
Existen instalaciones adecuadas en edificios municipales para llevar a cabo las sesiones del grupo de enfoque.
Alta
Equipamiento de instalaciones
Existen en diferentes áreas del gobierno municipal los requerimientos técnicos necesarios para adecuar las instalaciones para el grupo de enfoque.
Alta
Impacto
Regresión discontinua (MJFCV)
Bases de datos
Existe información suficiente en las bases de datos para la realización de la regresión discontinua.
Alta
Encuestas de línea de base
Existe información de línea de base tanto en físico como en archivos electrónicos. Existe además la aplicación de un cuestionario socioeconómico aplicado a las beneficiarias durante su reinscripción al programa, mismo que no está capturado.
Media
Software
Los padrones se manejan en excel. No existe un software adecuado para el manejo de tales cantidades de información.
Baja
Recursos humanos
Se tendría que distraer recursos humanos de otras áreas para poder llevar a cabo el levantamiento de encuestas.
Baja
Papelería
El presupuesto anual de las dependencias asegura recursos para papelería.
Alta
Vehículos
Existen los vehículos necesarios en la dirección de Desarrollo Social y Humano para trasladar al equipo de encuestadores a través del municipio.
Alta
Comparaciones apareadas (PTAM)
Bases de datos
Las bases de datos están dispersas. La información más confiable es el padrón de beneficiarios actualizado.
Baja
Encuestas de línea de base
Los estudios socioeconómicos no se encuentran digitalizados.
Baja
Software
Los padrones se manejan en excel. No existe un software adecuado para el manejo de tales cantidades de información.
Baja
Recursos humanos
Se tendría que distraer recursos humanos de otras áreas para poder llevar a cabo el levantamiento de encuestas.
Baja
Papelería
El presupuesto anual de las dependencias asegura recursos para papelería.
Alta
Vehículos
Existen los vehículos necesarios en la dirección de Desarrollo Social y Humano para trasladar al equipo de encuestadores a través del municipio.
Alta
Dado lo anterior, se observa una factibilidad alta tanto para el componente de monitoreo como para el de percepción, dado que se cuenta con los recursos necesarios para realizarlos dentro de la administración municipal, sin embargo se aprecian dificultades en la evaluación de impacto, tanto en aspectos de información disponible de ambos programas, como por cuestiones de recursos humanos y tecnológicos; estos últimos pueden ser cubiertos si se contrata a una agencia externa para llevarla a cabo.
Gatica y Ruiz daban cuenta de las dificultades técnicas para la evaluación de impacto de estos programas,
Por lo que hace a la
Cuando no hay cambios sustanciales en el presupuesto solicitado de un año a otro para una misma actividad, no suele haber conflicto en la asignación de recursos, sin embargo, cuando se trata de políticas, programas o acciones nuevos, es muy posible que surjan dificultades para obtenerlos. En la
Fuente: Elaboración propia
Tipo de evaluación
Técnica a utilizar
Análisis de recursos
Factibilidad
Monitoreo
Indicadores
El costo de alimentación de datos de los indicadores es relativamente bajo, dado que no se requieren recursos humanos, computacionales u operativos adicionales a los que ya se tienen en la administración municipal.
Alta
Percepción
Encuesta
Se cuenta con los recursos humanos, tecnológicos y de transporte necesarios para llevar a cabo el levantamiento y análisis de la información.
Alta
Grupos de enfoque
La mayor parte de los recursos necesarios para llevar a cabo las sesiones de grupos de enfoque se tienen. Solamente se deben considerar gastos extras para la adquisición del software Atlas.ti, los premios e incentivos a otorgar a los participantes y el servicio de cafetería y alimentos en las sesiones.
Alta
Impacto
Regresión discontinua (MJFCV)
Comparadas con otras técnicas de evaluación, se deduce que las de impacto implican un alto costo, sea su aplicación interna o externa. Se debe planear el presupuesto de la evaluación para integrarlo a los programas operativos anuales, y se debe cabildear el recurso en las sesiones del Ayuntamiento.
Baja
Comparaciones apareadas (PTAM)
Baja
Es innegable la importancia del factor político en el proceso de evaluación, por lo que de su
Así pues, la voluntad política es determinante a la hora de evaluar, sin embargo se daría una factibilidad alta para la aprobación del SIEPSO y sus componentes si se realiza una propuesta que sea aceptada por las diferentes fracciones partidistas que conforman el Ayuntamiento, sobre todo si se justifican las erogaciones y se logra presentar un proyecto que no requiera una alta asignación presupuestal, es decir, la evaluación de percepción y el monitoreo tienen una alta viabilidad política, sin embargo la evaluación de impacto requerirá un mayor trabajo de negociación, lo cual también implica tiempo y en una evaluación
El análisis realizado hasta el momento da cuenta de la alta factibilidad de la implementación del SIEPSO, principalmente en sus componentes de monitoreo y percepción, sin el consumo de recursos adicionales a aquellos con los que ya se cuenta en el gobierno municipal; a continuación se presenta la propuesta de operación del sistema:
Se sugiere que la dirección de Programación, dependiente de la dirección general de Desarrollo Social y Humano sea la que opere el SIEPSO; adicionalmente, las ROP de ambos programas la señalan como el área responsable de la evaluación. En ella existe personal con perfil y experiencia adecuados para la implementación del sistema, principalmente en los componentes de monitoreo y percepción.
Para que el SIEPSO se pueda operar desde el área de Programación, es deseable que el personal comisionado que aparece en plantilla en otras áreas, sea asignado a ésta, es decir, que forme parte del organigrama para que se asegure su permanencia en el proceso; que los servidores públicos del área reciban capacitación constante sobre temas de evaluación, por lo que se sugiere la gestión de un convenio de colaboración con el CONEVAL, a fin de optimizar recursos. Asimismo, se pretende contar con un equipo de cómputo actualizado y que incluya las licencias para el software necesario -SPSS, STATA, ATLAS.ti, ARCGIS-y gestionar la capacitación respectiva del personal en estos programas.
Asimismo, es aconsejable que personal de la dirección de Innovación Gubernamental diseñe la plataforma del SIEPSO, principalmente en su parte de indicadores y percepción, con el fin de facilitar su alimentación, presentación y consulta.
Se propone que la dirección de Programación asegure la asignación de los recursos necesarios para la operación del SIEPSO en el proceso de negociación presupuestal, tales como un vehículo, licencias de software, papelería e impresos, entre otros.
Por otra parte, debe considerarse que para la realización de evaluaciones de impacto se requerirá presupuesto adicional, ya sea para llevarla a cabo de manera interna o mediante la contratación de un organismo externo.
El éxito y trascendencia de cualquier acción gubernamental en buena medida depende de su fundamento legal; si el SIEPSO se adopta oficialmente por reglamento, recibirá los recursos y estabilidad necesarios para su implementación. Al respecto, se sugiere la gestión de la modificación del artículo 116 del
El diseño de sistemas y mecanismos de evaluación para programas sociales municipales es posible, tal como se demuestra en este trabajo con los casos expuestos, si se logran conjugar los esfuerzos políticos, técnicos y económicos de una administración municipal. El impulso necesario para la realización de evaluaciones en gobiernos locales, lo da la certidumbre de la correcta utilización de los recursos públicos en programas de naturaleza social; el cumplimiento de la normatividad vigente es también un aliciente que puede llegar a dar peso a las decisiones sobre evaluación y en casos como los estudiados, llegar a buscar su institucionalización. Lo anterior, aunado al análisis de factibilidad presentado, responde a la pregunta planteada al inicio de este artículo.
Así pues, además de la configuración del sistema de evaluación que se propuso como objetivo, durante la elaboración de este trabajo se obtuvieron ciertos hallazgos, los cuales se presentan a continuación:
La Ley General de Desarrollo Social provocó un auge en el surgimiento de programas sociales a nivel municipal: antes del año 2007 el gobierno de Zapopan no contaba con programas sociales propios y las acciones de asistencia social eran impulsadas por el Sistema DIF Municipal. La facultad de generar y operar programas sociales que se dio a los municipios con el surgimiento de la Ley General de Desarrollo Social en el año 2004, facilitó la creación y adopción de políticas públicas de carácter redistributivo en los gobiernos locales, lo que originó un auge importante de las mismas en Zapopan a partir de la administración 2007-2009. Existen esfuerzos de medición y evaluación en Zapopan desde la administración 1995-1997: hay evidencias de que las autoridades municipales en Zapopan han demostrado interés en el seguimiento y evaluación del desempeño de las diferentes dependencias, particularmente desde el periodo 1995-1997, llegando a consolidarse acciones importantes como el Sistema de Indicadores Zapopan (SIZ), que opera actualmente. Hay incumplimiento a la normatividad vigente en materia de evaluación en los casos de estudio: a pesar de que los programas sociales deben ser evaluados según lo dispone la Ley General de Desarrollo Social, en los casos de estudio esta práctica no se ha llevado a cabo; asimismo, la ausencia de mediciones contraviene las propias reglas de operación de estos programas, que establecen que deben evaluarse y además bosquejan el cómo esta tarea debe realizarse. Existe alta factibilidad para la implementación de evaluaciones de percepción y monitoreo de los programas sociales en Zapopan: El diseño de componentes de un sistema de evaluación para los programas PTAM y MJFCV dio cuenta de la alta viabilidad técnica, económica y política para la realización de evaluaciones a los programas sociales municipales en Zapopan. El éxito de esta práctica depende en buena medida de la voluntad política de los actores involucrados y su capacidad de gestión de recursos. Hay dificultades para evaluar el impacto de los programas PTAM y MJFCV: se detectaron algunos desafíos que pudieran hacer que la realización de evaluación de impacto para los programas estudiados sea difícil. Entre ellos se encuentran los siguientes: 1) la evaluación de impacto conlleva cierta inversión de recursos, lo que implica una ardua tarea de negociación presupuestal dados los escasos beneficios políticos que traen este tipo de mediciones; 2) el periodo de los gobiernos municipales es tan sólo de tres años, situación que hace improbable que en una misma administración se implemente un programa y se mida su impacto; 3) el diseño de la evaluación de impacto no se realizó desde las reglas de operación o antes de la implementación de los programas, situación que impide que se haya planeado la integración del escenario contrafactual, lo que supone serias dificultades técnicas para medir los efectos al carecer de grupos de control adecuados.
Así pues, la implementación de un sistema de evaluación para los programas PTAM y MJFCV es muy probable que sea factible en el corto plazo siempre y cuando éste se integre por métodos y técnicas que no impliquen retos técnicos, económicos y políticos difíciles de sortear en un periodo administrativo municipal de tres años.
Este estudio mostró que los componentes de percepción y monitoreo son más viables que el de impacto. Ahora bien, los efectos de los programas son medibles y es deseable conocerlos, por lo que si los principales actores involucrados presentan una actitud de apertura ante la evaluación de impacto, esta podría planearse e institucionalizarse en el caso de programas sociales; la manera de asegurarlo es que esto se formalice a través de un reglamento.
En este documento se propuso medir los efectos directos de los casos de estudio con algunas técnicas como la regresión discontinua y las comparaciones apareadas, sin embargo, en casos futuros es preferible diseñar a la par tanto los programas como su evaluación de impacto, para así asegurar el seguimiento puntual de los grupos de tratamiento y control.
Al final, se presenta el Sistema de Evaluación de Programas Sociales, como una proouesta realista, estructurada de tal manera que permite al Ayuntamiento contar con esta herramienta con los recursos de los que actualmente se dispone.
El sistema propuesto se desprende del trabajo de tesis realizado para obtener el grado de Maestro en Políticas Públicas por El Colegio de Jalisco, y representa sólo un Primer esfuerzo de evaluación de estos programas, que busca aportar al proceso de políticas públicas y al cumplimiento de los requerimientos normativos que obligan a su utilización.
Luis F. Aguilar,
James Anderson,
José María Ramos, José Sosa y Félix Acosta,
“Evaluar”, en Real Academia Española,
Guillermo Briones,
Harbans S. Bhola,
Ernesto Cohen y Rolando Franco,
Myriam Cardozo Brum,
José María Ramos y Alberto Villalobos, “La evaluación del desempeño en México: experiencias y retos para el desarrollo local”, en Ramos, Sosa y Acosta,
Paul Gertler
Carol Weiss,
Julio Franco Corzo,
Roberto Salcedo,
Salcedo,
Salcedo,
Arístides Vara Horna,
José Sosa, “Bases conceptuales para el abordaje de la política federal de evaluación en México: una propuesta analítica”, en Ramos, Sosa y Acosta,
María Bustelo Ruesta, “La evaluación en el marco del análisis de políticas públicas”, en Salcedo,
Félix Acosta, Evaluando la política social y el desempeño del gobierno en México: Tensiones y dificultades institucionales”, en Ramos, Sosa y Acosta,
OECD, Development Assistance Committee, “Principles for Evaluation of Development
Assistance”, disponible en:
INEGI, “Censo de población y vivienda 2010. Tabulados del cuestionario básico”, disponible en:
Fernando Martínez Reding,
INEGI, “Censo de población y vivienda 2010. Principales resultados por localidad (ITER)”,
disponible en:
Dirección de Programación, Gobierno Municipal de Zapopan. Centro de Información Municipal. “Clasificación de colonias”.
CONEVAL Consejo Nacional de Evaluación de la Política de Desarrollo Social, “Resultados de
pobreza por municipios 2010”, disponible en:
CONAPO-Jalisco, “Población total, indicadores socioeconómicos, índice y grado de marginación, lugar que ocupa en el contexto nacional y estatal por municipio, 2010”, disponible en:
La AGEB representa un polígono geográfico definido por inegi, mismo que agrupa manzanas y viviendas.
COEPO-Jalisco, “Población total, indicadores socioeconómicos. Índice y grado de marginación urbana y lugar que ocupa en el contexto nacional y estatal, 2010”, disponible en:
Gobierno Municipal de Zapopan, Jalisco, “Plan municipal de desarrollo Zapopan 2012-2015”,
disponible en:
En su momento, Tonatiuh Guillén reconoció este tipo de focalización de la política social
local, al señalar que “los esfuerzos municipales tienden a concentrarse en
poblaciones precisas, seleccionadas por criterios de prioridad definidos de
antemano”. Según este autor, existe una tendencia en la política social
municipal hacia la atención a grupos vulnerables de niños, jóvenes, mujeres
jefas de familia y ancianos, apreciación que coincide con los grupos definidos
por el gobierno de Zapopan. Tonatiuh Guillén, “Municipio y política social:
experiencias y nuevo paradigma en México”, disponible en:
Guillén, “Municipio y política social”, 6.
Entrevista de Santos Joel Flores Ascencio al doctor Leonardo Adalberto Gatica Arreola, tesorero municipal de Zapopan. Zapopan, Jalisco, 17 de marzo de 2015.
Gobierno Municipal de Zapopan, Jalisco.
Entrevista de Santos Joel Flores Ascencio al doctor Leonardo Adalberto Gatica Arreola, tesorero municipal de Zapopan. Zapopan, Jalisco, 17 de marzo de 2015; Entrevista de Santos Joel Flores Ascencio a la maestra María del Rosario Ruiz Hernández, directora de Ingresos de Zapopan. Zapopan, Jalisco, 18 de febrero de 2015.
Las ROP tuvieron que adecuarse dado que surgieron dificultades para hacer cumplir la obligatoriedad de los cursos de capacitación y las revisiones médicas; asimismo, algunos requisitos solicitados inicialmente cambiaron, pues dejaban fuera a jefas de familia menores de edad, por ejemplo.
Cabe señalar que la información socioeconómica asentada no se verificó debido a que no se contaba con recursos para hacerlo, tomándose como cierta la información proporcionada por las solicitantes.
Gobierno Municipal de Zapopan, “Información fundamental programas sociales Enero-Febrero
2015”, disponible en:
Entrevista de Santos Joel Flores Ascencio al doctor Leonardo Adalberto Gatica Arreola, tesorero municipal de Zapopan. Zapopan, Jalisco, 17 de marzo de 2015.
Gobierno Municipal de Zapopan,
Gobierno Municipal de Zapopan,
Las reglas de operación del programa fueron redactadas por personal de la dirección de Programación.
Entrevista de Santos Joel Flores Ascencio a Emerita Arias, responsable del programa Por ti, adulto mayor. Zapopan, Jalisco, 20 de abril de 2015.
Entrevista de Santos Joel Flores Ascencio al licenciado Ricardo Montes Martínez. Zapopan, Jalisco, 28 de febrero de 2014.
Los indicadores del SIZ se publicaron en internet en una plataforma desarrollada
Entrevista de Santos Joel Flores Ascencio al doctor Leonardo Adalberto Gatica Arreola, tesorero municipal de Zapopan. Zapopan, Jalisco, 17 de marzo de 2015; Entrevista de Santos Joel Flores Ascencio al licenciado Ricardo Montes Martínez. Zapopan, Jalisco, 28 de febrero de 2014.
Secretaría de Gobernación-Instituto Nacional para el Federalismo y el Desarrollo Municipal
(INAFED). “¿Qué es agenda desde lo local?”, disponible en:
Secretaría de Gobernación-INAFED, “¿Qué es agenda?”.
Pedro Vega Morales, “Teoría de sistemas y evaluación de programas sociales”,
Las preguntas simples son aquellas de elección única, ya sean dicotómicas o politómicas. Por otra parte, en las compuestas se examinan con la misma pregunta, diversos aspectos de los programas utilizando una escala nominal.
Se omitió en el caso de PTAM la parte del apoyo económico, dado que este dejó de otorgarse.
Las aplicaciones se calificaron como exitosas dado que el encuestado comprendió las preguntas de la herramienta, y la contestó de manera satisfactoria.
Alicia Hamui-Sutton y Margarita Varela, “La técnica de grupos focales”, disponible en:
Puede ser una despensa adicional o el que se determine en su momento.
Se sugiere confirmar la asistencia de los invitados previamente para asegurar la validez del estudio.
También se aconseja que conozca o en su defecto, estudie los pormenores de los programas, tenga facilidad de palabra y capacidad de análisis a fin de explorar las posibilidades que surjan durante la conversación.
Se recomienda que el moderador calcule la duración de la sesión a fin de informar anticipadamente a los participantes del tiempo que le deben dedicar al estudio.
Para el programa MJFCV se generó la siguiente información: “Padrón de solicitantes del programa”, el cual es una base de datos en
Gertler
De acuerdo con el estudio socioeconómico o encuesta de línea de base que contestaban los interesados al momento de inscribirse.
Entrevista de Santos Joel Flores Ascencio a la maestra María del Rosario Ruiz Hernández, directora de Ingresos de Zapopan. Zapopan, Jalisco, 18 de febrero de 2015.
“Proxy-mean” se refiere a la utilización de los bienes del hogar para estimar su grado de bienestar económico.
Entrevista de Santos Joel Flores Ascencio a Emerita Arias, responsable del programa Por ti, adulto mayor. Zapopan, Jalisco, 24 de abril de 2015.
Gertler
CONEVAL, “Guión del análisis de factibilidad para llevar a cabo una evaluación de impacto”, disponible en:
Entrevista de Santos Joel Flores Ascencio al doctor Leonardo Adalberto Gatica Arreola, tesorero municipal de Zapopan. Zapopan, Jalisco, 17 de marzo de 2015; entrevista de Santos Joel Flores Ascencio a la maestra María del Rosario Ruiz Hernández, directora de Ingresos de Zapopan. Zapopan, Jalisco, 18 de febrero de 2015.
Entrevista de Santos Joel Flores Ascencio al doctor Leonardo Adalberto Gatica Arreola, tesorero municipal de Zapopan. Zapopan, Jalisco, 17 de marzo de 2015.