Mapeamento de metodologias de avaliação de projetos sociais
Resumo
As organizações sociais desenvolvem programas que contribuem para o bem-estar social e o atendimento de lacunas do setor público, ao fomentar o exercício da cidadania de forma direta e autônoma. O conhecimento dos impactos destes programas é fundamental na comunicação com os diferentes stakeholders. Tendo em vista isso, o artigo objetiva mapear as metodologias de avaliação dos impactos de programas sociais a partir de uma pesquisa bibliográfica descritiva-explicativa. No desenvolvimento do trabalho foram consultadas as bases SciELO, Scopus e BDTD no sentido de investigar a produção científica sobre o tema avaliação de programas sociais ao longo dos últimos dez anos. Constatou-se que poucos trabalhos acadêmicos foram desenvolvidos e publicados, assinalando a necessidade de fomentar a cultura da avaliação, especialmente para colaborar com os gestores das organizações durante o processo avaliativo dos impactos dos programas desenvolvidos.
Downloads
Referências
AHMADIA, Gabby N.; GLEW, Louise; PROVOST, Mikaela; GILL, David; HIDAYAT, Nur Ismu; MANGUBHAI, Sangeeta Mangubhai. Integrating impact evaluation in the design and implementation of monitoring marine protected areas. Philosophical Transactions of the Royal Society B. Biological Sciences, v. 370, n. 1681, 2015.
ANDRIOLA, Wagner Bandeira; GOMES, Carlos Adriano Santos. Programa um computador por aluno (PROUCA): uma análise bibliométrica. Educar em Revista, Curitiba, n. 63, p. 267-288, 2017.
ASSUMPÇÃO, Jairo José; CAMPOS, Lucila Maria de Souza. Avaliação de projetos sociais em ONGs da Grande Florianópolis: um estudo sobre modelos relacionados ao foco de atuação. Revista de Administração Pública. v. 45, n. 1, p. 209-242, 2011.
ATHEY, Susan.; IMBENS, Guido Wilhelmus. Identification and inference in nonlinear difference-in-differences models. Econométrica. v. 74, n. 2, p. 431-497, 2006.
BAHN, Susanne; GILES, Margaret. Evaluation of the Neurodegenerative Conditions Coordinated Care Program (NCCCP) in Western Australia: Barriers to better service provision. Evaluation and Program Planning. v. 35, n. 1, p. 40–46, 2012.
BARRETO, Jorge Otávio Maia. Projeto QualiSUS-Rede: da análise estratégica à percepção dos atores sobre os desafios para a implementação das redes de atenção à saúde no Brasil. 2019. Tese (Doutorado em Saúde Coletiva) - Universidade de Brasília, Brasília, 2019.
BENGO, Irene; ARENA, Marika; AZZONE, Giovanni; CALDERINI, Mario. Indicators and metrics for social business: a review of current approaches. Journal of Social Entrepreneurship, v. 7, n. 1, p. 1-24, 2016.
BENNIE, Andrew; MARLIN, Demelza; APOIFIS, Nick; WHITE, Rhiannon. ‘We were made to feel comfortable and … safe’: co-creating, delivering, and evaluating coach education and health promotion workshops with Aboriginal Australian peoples. Annals of Leisure Research, 2019.
BIRMAN, Eliane. Avaliação de egressos de projetos sociais: o que sabemos sobre o pós-projeto? 2016. Dissertação (Mestrado em Engenharia de Produção) – Instituto Alberto Luiz Coimbra de Pós-Graduação e Pesquisa de Engenharia (Coppe) da Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2013.
BRANDÃO, Daniel; CRUZ, Célia; ARIDA, Anna Lívia. Métricas em Negócios de Impacto Social: Fundamentos. São Paulo: ICE/MOVE, 2014.
BREYER, Rafael Falcão. Programa Segundo Tempo: um estudo sobre os objetivos e os processos de avaliação e de construção de indicadores de impacto. 2017. Dissertação (Mestrado em Ciências do Movimento Humano) – Universidade Federal do Rio Grande do Sul, Rio Grande do Sul, 2017.
CABRAL, Eloisa Helena de Souza. Valores e espaço público: referenciais e instrumentos para a avaliação de projetos sociais. Revista de Administração Pública, Rio de Janeiro, v. 45, n. 6, p. 1917-1941, nov./dez., 2011.
CARDOSO, Maria Lúcia de Macedo; COSTA, Delaine Martins. O que a perspectiva antropológica tem a dizer sobre a avaliação de projetos sociais apoiados pela cooperação internacional? Horizonte Antropológico, Porto Alegre, v. 20, n. 41, p. 117-140, 2014.
CILENTO, Ivo. Gestão de projetos no terceiro setor: avaliação de projetos sociais na economia solidária. 2019. Dissertação (Mestrado em Gestão Pública e Cooperação Internacional) –
Universidade Federal da Paraíba, João Pessoa, 2019.
CORTÊS-NETO, Ewerton Dantas, ALCHIERI, João Carlos; MIRANDA, Hênio Ferreira de; DANTAS-CAVALCANTI, Francisco Ivo. Elaboração de indicadores de sucesso em programas de saúde pública com foco sócio-esportivo. Revista Salud Pública, Bogotá, v. 12, n. 2, p. 208-219, abr., 2010.
CRUZ FILHO, Paulo Roberto Araújo. Avaliação e mensuração de impacto. In: ANASTÁCIO, Mari Regina; CRUZ FILHO, Paulo Roberto Araújo; MARINS, James. (Org.). Empreendedorismo social e inovação social no contexto brasileiro. Curitiba: PUCPRESS / Editora Universitária Champagnat, 2018. p. 31-50.
DEBRAY, Elizabeth; McDERMOTT, Kathryn; FRANKENBERG, Erica, BLANKENSHIP, Ann Elizabeth. Lessons from a federal grant for school diversity: Tracing a theory of change and implementation of local policies. Education Policy Analysis Archives, v. 23, n. 83, 2014.
DINIZ, Luciano Matias; VOESE, Simone Bernardes. Avaliação de programas sociais: Uma análise da relação do programa bolsa família e o desenvolvimento municipal. Revista Espacios, v. 37, n. 30, 2016.
DUGAND, Adriana Gaviria; BRANDÃO, André Augusto Pereira. A Teoria da Mudança como Ferramenta Avaliativa do Desenho dos Programas Sociais: o caso das ações estruturantes para Comunidades Quilombolas. Meta: Avaliação, v. 9, n. 25, p.110-140, 2017.
FABIANI, Paula; REBEHY, Sofia; CAMELO, Rafael; VICENTE, Francisco José; MOSANER, Marcelo. Avaliação de Impacto Social metodologias e reflexões. São Paulo: IDIS, 2018.
GASPARINI, Max Felipe Vianna; FURTADO, Juarez. Avaliação de Programas e Serviços Sociais no Brasil: uma análise das práticas no contexto atual. Serviço Social & Sociedade, São Paulo, n. 117, p. 122-141, jan./mar., 2014.
GIL, Antonio Carlos. Como elaborar projetos de pesquisa. 4ª. Ed. São Paulo: Atlas, 2008.
GONZÁLEZ, Carlos Villarroel; GÓMEZ, Fernando Cabrales; PRADO, María Angélica Ramírez. Metodología de evaluación de impacto aplicada al programa regional de apoyo al emprendimiento de Corfo, Chile. Interciencia, v. 44, n. 8, p. 461-468, 2019.
GOUVEIA, Charlete Nayana Nunes Alves. Avaliação da eficácia e efetividade do Programa de Erradicação do Trabalho Infantil a partir da perspectiva dos usuários e agentes. 2013. Tese (Doutorado em Psicologia Social) - Universidade Federal da Paraíba. Paraíba, 2013.
GUTIÉRREZ, Juan Pablo; Erika Atienzo; BERTOZZI, Stefano; McPherson Sam. Effects of the Frontiers Prevention Project in Ecuador on sexual behaviours and sexually transmitted infections amongst men who have sex with men and female sex workers: Challenges on evaluating complex interventions. Journal of Development Effectiveness, v. 14, n. 2, p. 158-177, 2013.
IMBENS, Guido Wilhelmus; LEMIEUX, Thomas. Regression discontinuity designs: A guide to practice. Journal of Econometrics, v. 142, p. 615–635, 2008.
INTERNATIONAL FINANCE CORPORATION. Our People & Practices. London: IFC ANNUAL REPORT, 2016.
JANNUZZI, Paulo de Martino. Avaliação de programas sociais: conceitos e referenciais de quem a realiza. Est. Aval. Educ., São Paulo, v. 25, n. 58, p. 22-42, maio/ago., 2014.
JANNUZZI, Paulo de Martino. Avaliação de Programas Sociais no Brasil: Repensando práticas e metodologias das metodologias avaliativas. Planejamento e Políticas Públicas, n. 36, jan./jul., 2011.
JREIGE, Cintia Miziara. Programa de Residência Multiprofissional em Saúde: Um estudo sobre os efeitos na crença, satisfação e comprometimento. 2013. Dissertação (Mestrado em Psicologia Social do Trabalho e das Organizações) – Universidade de Brasília. Brasília, 2013.
KINPARA, Daniel Ioshiteru. Abordagem Multinível na Avaliação do Programa Bolsa Família. 2013. Tese (Doutorado em Psicologia Social, do Trabalho e das Organizações) – Universidade de Brasília, Brasília, 2013.
LELIS, Lorena Vieira Costa. Transferência condicional de renda e políticas de desenvolvimento rural no Brasil: Explorando potenciais sinergias entre Bolsa Família e o Projeto Pró-Gavião. 2016. Tese (Doutorado em Economia Aplicada) – Universidade Federal de Viçosa, Viçosa, 2016.
LILLIS, Deirdre. Systematically evaluating the effectiveness of quality assurance programmes in leading to improvements in institutional performance. Quality in Higher Education, v. 18, n. 1, p. 59-73, abr., 2012.
McINNES, Melayne Morgan; OZTURK, Orgul Demet; McDERMOTT, Suzanne, MANN, Joshua. Improved Targeting of Social Programs: An Application to a State Job Coaching Program for Adults with Intellectual Disabilities. Eastern Economic Journal, v. 42, n. 2, p. 252-269, 2016.
MENEZES, Gustavo Silva. O impacto dos programas sociais na qualidade de vida de seus participantes. 2017. Tese (Doutorado em Psicologia) – Universidade Salgado de Oliveira, Rio de Janeiro, 2017.
MENEZES, Gustavo Silva; MOURÃO, Luciana. Programa Minha Casa Minha Vida sob a perspectiva da qualidade de vida. Psicoperspectivas, Valparaíso, v. 16, n. 3, p. 149-163, nov., 2017.
MONTEIRO, Cláudia do Rêgo; SILVA, Leticia Ester Cruz da., ELLIOT, Ligia Gomes. Avaliação de Impacto Social da Comunidade Vida e Paz: Um exercício de meta-avaliação. Meta: Avaliação, v. 9, n. 27, p. 503-531, set./dez., 2017.
MOREIRA, Gustavo Carvalho. Externalidades do Programa Bolsa Família sobre a violência doméstica contra a mulher no Brasil. 2014. Dissertação (Mestrado em Economia Aplicada) –
Universidade Federal de Viçosa, Viçosa, 2014.
MURAD, Elisa Pereira. Desenvolvimento de métricas para avaliação dos impactos relacionados às ações da Organização não Governamental - Amigos de Itajubá. 2017. Dissertação (Mestrado Profissional) – Universidade Federal de Itajubá, Itajubá, 2017.
NEVES, Marília Chimendes da Silva. Fatores para avaliação de projetos sociais. 2015. Dissertação (Mestrado em Engenharia de Produção) – Universidade Federal de Pernambuco, Recife, 2015.
NEWELL, Sallie.; GRAHAM, Anne. Using an Empowerment Evaluation Approach with Community-based Programs: Reflections from the Front Line. Evaluation Journal of Australasia, v. 12, n. 2, p. 15-17, 2012.
OLSEN, Sara; GALIMIDI, Brett. Social venture technology group. Catalog of approaches to impact measurement. Assessing social impact in private ventures. Version 1.1. New York: The Rockefeller Foundation, 2008.
PINTO, Cristine. Variáveis Instrumentais. In: MENEZES FILHO, Naercio Aquino; PINTO, Cristine Campos de Xavier (Org). Avaliação Econômica de Projetos Sociais. São Paulo: Itaú Social, 2012. p. 145-166.
POSPIESZNA, Paulina. Democracy assistance and women’s political empowerment in post-conflict countries. Democratization, v. 22, n. 7, p. 1250-1272, jun., 2014.
RIBEIRO, Gilberto. O que o futuro reserva para a avaliação de impacto? In: Relatório: Avanços, conquistas e orientações para o futuro 2017. Disponível em: https://aliancapeloimpacto.org.br/wp-content/uploads/2020/02/alianca-avancos-conquistas-orientacoes-web.pdf. Acesso em: 15 out. 2020.
RIBEIRO, Marcelo Silva de Souza; RIBEIRO, Carla Valois. Saúde e Prevenção nas Escolas (SPE): elementos para avaliação de projetos sociais em Juazeiro, Bahia, Brasil. Interface, Botucatu, v. 19, n. 53, p. 337-348, mar., 2015.
RICHARDSON, Roberto Jarry. Pesquisa social: métodos e técnicas. 4ª. Ed., São Paulo: Atlas, 2017.
ROCHA, Mirian Aparecida. Impacto do Programa Bolsa Família sobre os padrões de consumo das famílias brasileiras. 2015. Tese (Doutorado em Economia Aplicada) – Universidade Federal de Viçosa, Viçosa, 2015.
ROCHE, Chris. Avaliação de impacto dos trabalhos de ONGs: aprendendo a valorizar as mudanças. 2ª. Ed. São Paulo: Cortez, ABONG, 2000.
ROSENBAUM, Paul; RUBIN, Donald. The central role of the propensity score in observational studies for causal effects. Biometrika, v. 70, n. 1, p. 41-55, abr., 1983.
SAUMA, Enzo; VERA, Sonia; OSORIO, Karim; VALENZUELA, Deinny. Design of a methodology for impact assessment of energy efficiency programs: measuring indirect effects in the Chilean case. Energy Efficiency, v. 9, n. 3, p. 699-721, 2016.
SERAPIONI, Mauro. Conceitos e métodos para a avaliação de programas sociais e políticas públicas. Sociologia, Porto, v. 31, p. 59-80, jun., 2016.
SILVA, Luciana Pires da. Construção e validação de instrumento de avaliação dos projetos sociais do Programa Petrobras Socioambiental. 2015. Dissertação (Mestrado em Avaliação) - Fundação Cesgranrio, Rio de Janeiro, 2015.
SILVA, Ricardo Kleiber Lima. Avaliação da implementação do plano de mobilidade urbana em Natal – RN. 2018. Tese (Doutorado em Ciências Sociais) – Universidade Federal do Rio Grande do Norte, Rio Grande do Norte, 2018.
STERN, Elliot; STAME, Nicoletta; MAYNE, John; FORSS, Kim; DAVIES, Rick, BEFANI, Barbara. Broadening the range of designs and methods for impact evaluations. Working Paper 38. London: Department for International Development, 2012.
TAÑO, Bruna Lidia. A constituição de ações intersetoriais de atenção às crianças e adolescentes em sofrimento psíquico. 2017. Tese (Doutorado em Educação Especial) –
Universidade Federal de São Carlos, São Carlos, 2017.
UNGAR, Michael; DUQUE, Luiz; HERNANDEZ, Dora. Can focus groups be used for longitudinal evaluation? Findings from the Medellin early prevention of aggression program. International Journal of Multiple Research Approaches, v. 5, n. 1, p. 40-51, 2014.
VASCONCELOS, Marisa de. Projeto Criança Feliz: um estudo de caso da aplicação da cosmovisão calvinista de ação social. 2014. Dissertação (Mestrado em Ciência da Religião) –
Universidade Presbiteriana Mackenzie, São Paulo, 2014.
VELDMAN, Paul. Learning Social Metrics from International Development. Columbia University. 2009. Disponível em: https://www.frbsf.org/community-development/files/Veldman.pdf. Acesso em: 27 out. 2019.
WHITE, Howard. An introduction to the use of randomised control trials to evaluate development interventions. Journal of Development Effectiveness, p. 30-49, Mar. 2013. Disponível em: https://www.tandfonline.com/doi/full/10.1080/19439342.2013.764652. Acesso em: 27 out. 2019.
ZARYCHTA, Alan; KRISTER, Anderson; ROOT, Elisabeth; MENKEN, Jane; GRILLOS, Tara. Assessing the impacts of governance reforms on health services delivery: a quasi-experimental, multi-method, and participatory approach. Health Services and Outcomes Research Methodology, v. 19, n. 4, p. 241-258, 2019.
Copyright (c) 2021 Perspectivas em Diálogo: revista de educação e sociedade
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
Este trabalho está licenciado com uma 