1 Introdução

Nas últimas décadas, o aumento da preocupação com as questões voltadas à sustentabilidade ocorreu tanto em âmbito nacional quanto internacional, devido à crescente diversidade de eventos e movimentos mundiais nesse sentido (BONJARDIM, PEREIRA, GUARDABASSIO, 2018). No que se refere à Gestão de Resíduos Sólidos Urbanos (GRSU), o Brasil avança em busca de cenários melhores, mas os desafios são muitos, especialmente em países em desenvolvimento, como destaca Ghesla et al. (2018).

A Lei nº 12.305 de 2 de agosto de 2010, conhecida como Política Nacional de Resíduos Sólidos (PNRS), regulamentada pelo Decreto nº 7.404 de 23 de dezembro de 2010, representa o marco regulatório da gestão dos resíduos sólidos no país. Segundo Baptista (2015), em muitas cidades brasileiras, não houve um planejamento no setor e, portanto, os lixões permaneceram presentes no país, sem qualquer tipo de estrutura sanitária.

Fratta, Toneli e Antonio (2019) apontam que a GRSU precisa ser monitorada e avaliada rigorosamente para que seja eficiente no processo e eficaz nos resultados a curto, médio e longo prazos. Portanto, é necessário diagnosticar a situação dos RSU e, assim, definir estratégias considerando as fragilidades identificadas em cada situação. Neste contexto, as ferramentas de gestão podem minimizar certas fragilidades do processo e o uso de indicadores pode ser uma, entre outras opções, para analisar os modelos de gestão dos RSU, possibilitando, inclusive, adequação da gestão aos preceitos da sustentabilidade (PEREIRA, CURI, CURI, 2018).

De acordo com o artigo 19 da PNRS, é de responsabilidade do município prever medidas para análise de desempenho operacional e ambiental dos serviços públicos de limpeza urbana e manejo dos RSU (BRASIL, 2010), em que os indicadores e ferramentas de gestão são alguns exemplos úteis a este propósito. Como afirmam Menikpura, Gheewala e Bonnet (2012), questões ambientais, aspectos legais e de saúde humana estão inerentes à GRSU e, portanto, possuem estreita relação com a infraestrutura urbana e gestão pública. A falta de algumas etapas do serviço urbano, como o gerenciamento de RSU, gera à sociedade poluição ambiental e perdas econômicas, às vezes, com pouca viabilidade de recuperação ambiental (POLETTO et al., 2016).

É neste âmbito que a presente pesquisa se torna relevante, em assegurar a qualidade de vida urbana, pois proporciona o monitoramento de atividades e análise de desempenho, cuja definição está associada aos procedimentos adotados na gestão de resíduos sólidos por meio de indicadores (VENTURA, REIS, TAKAYANAGUI, 2010). Desta forma, a maior contribuição científica foi a concepção da ferramenta, a qual contêm 50 indicadores qualitativos, aplicáveis a qualquer município brasileiro, com interesse ao monitoramento da gestão de seus resíduos. Ademais, o estudo gerou um conjunto de procedimentos sequenciais sobre os métodos implementados para subsidiar novas pesquisas, em áreas correlatas.

O principal objetivo da pesquisa foi estruturar o modelo conceitual da ferramenta de avaliação da GRSU, com distintos métodos, a partir das iniciativas recomendadas pela PNRS. A intenção de mensurar a situação destas iniciativas deve-se à busca pela sustentabilidade na escala municipal, entendida como a implementação de políticas públicas para o desenvolvimento econômico integrado à exploração racional de recursos naturais, a fim de garantir estes bens para as futuras gerações (ORGANIZAÇÃO MUNDIAL DA SAÚDE, 2015).

A ferramenta, denominada Sistema de Avaliação para Gestão e Gerenciamento de Resíduos Sólidos Urbanos (SAGReS), foi estruturada em planilha Excel com programação VBA (Visual Basic for Applications) e o dashboard com os indicadores ilustra os pontos a serem melhor gerenciados. Pode ser utilizada em computadores com versão a partir do Microsoft Office 2016. O SAGReS foi aplicado em dois municípios do interior paulista, cujos resultados podem ser consultados em Suquisaqui (2020). A análise da aplicação da ferramenta compreende outros métodos, os quais não fazem parte do escopo deste artigo.

2 Métodos, técnicas e instrumentos de pesquisa

A pesquisa foi estruturada em 4 principais etapas, cujo detalhamento encontra-se no Quadro 1.

2.1 Levantamento bibliográfico

Foi a partir do levantamento bibliográfico e documental que os indicadores integrantes à ferramenta foram selecionados. Para isso, a busca de informações se baseou em dois métodos distintos, com o objetivo de selecionar trabalhos com base científica para serem utilizados na concepção da ferramenta: levantamento documental e Revisão Bibliográfica Sistemática (RBS).

O levantamento documental foi realizado por meio da busca de relatórios, inventários, legislações, teses, dissertações, entre outros documentos, em órgãos públicos, empresas e secretarias de governo. Essa fase foi imprescindível para conhecimento de aspectos relacionados aos temas da pesquisa, assim como foi importante para a identificação e definição de novos indicadores para cada iniciativa.

Segundo Bereton, Kitchenham, Budgen, Turner e Khalil (2007), a técnica RBS possui caráter narrativo e é baseada na aplicação de métodos científicos. Além disto, permite ao pesquisador/gestor realizar avaliação rigorosa e confiável do tema específico, possibilitando elaborar a síntese de informações de interesse (BIOLCHINI et al., 2005). Para isso, é necessário um conjunto de passos, técnicas e ferramentas específicas (CONFORTO, AMARAL, SILVA, 2011).

O protocolo para realização da RBS na presente pesquisa foi baseado no trabalho de Ospina (2018). As bases de dados selecionadas foram Scopus, Web of Science e Compendex, as quais estão acessíveis no sistema da CAPES e classificadas como as principais bases da área de engenharia civil.

A fase seguinte foi a definição das strings utilizadas na pesquisa, cuja escolha se baseou em tentativas, pois dependem da definição, teste e adaptação dos termos, segundo Conforto, Amaral e Silva (2011). Isso se deve à necessidade de testar a combinação dos termos juntamente com os operadores lógicos de busca. Além disso, as strings foram definidas em inglês para que o número maior de artigos pudesse ser encontrado, como se observa no Quadro 2.

O recorte temporal foi o primeiro filtro da RBS estabelecido para obter a seleção de artigos com data a partir do ano 2000. Posteriormente, foi realizada a leitura dos resumos dos artigos selecionados, com a finalidade de investigar se os mesmos poderiam ser relevantes à presente pesquisa. Para ser considerado relevante, os artigos precisavam abordar: i) discussões com o tema pesquisado; ii) indicadores do tema ou; iii) ambos.

2.2 Seleção de indicadores

Essa etapa consistiu na leitura de artigos, com o intuito de encontrar indicadores específicos para cada tema. A seleção foi melhor direcionada para parâmetros qualitativos, cujas informações encontravam-se mais disponíveis por iniciativa ao invés de dados quantitativos.

Para garantir confiabilidade ao método da seleção de indicadores, as pesquisadoras consideraram os seguintes critérios: i) os indicadores devem ser de fácil entendimento, útil, mensurável, segundo Suquisaqui e Hanai (2017), bem como ii) devem ser viáveis à implantação e ao monitoramento e, facilitar a atualização de dados, segundo Ventura, Reis e Takayanagui (2010).

O Quadro 3 ilustra, com maior clareza, a definição dos critérios de seleção dos indicadores.

Apesar de todos os procedimentos apresentados até este item, a quantidade de artigos publicados sobre indicadores para algumas iniciativas foi muito baixa ou inexistente. Nesse contexto, foi necessário incluir uma nova etapa à pesquisa para definir novos indicadores às mesmas.

2.3 Definição de novos indicadores

A nova etapa consistiu na obtenção de informações relevantes a cada iniciativa. Para isto, outros procedimentos foram realizados para identificar aspectos inerentes a novos indicadores. Dessa forma, realizaram-se reuniões presenciais com as pesquisadoras, troca de ideias com outros pesquisadores e revisão de literatura para identificar tais aspectos que, posteriormente, resultaram na proposição de novos indicadores, considerando os critérios definidos no Quadro 2. Em seguida, foi realizada a etapa de consulta aos especialistas para verificar a relevância dos indicadores à ferramenta.

2.4 Avaliação dos indicadores pelos especialistas

Foram selecionados 12 especialistas da área de resíduos sólidos para avaliar os indicadores propostos. O perfil dos especialistas incluiu consultores, docentes, profissionais liberais, prestadores de serviço e gestor do serviço público. As avaliações ocorreram de forma individual para cada especialista.

O método utilizado para avaliação dos indicadores foi dividido em duas partes: i) avaliação de indicadores por especialistas pelo método Analytic Hierarchy Process (AHP); ii) análise de consistência das respostas dos especialistas pelo método de Saaty. O método AHP realiza comparações em pares e se propõe a responder duas perguntas (LEITE, FREITAS, 2012): (1) quais são os critérios de maior importância? e, (2) qual a proporção dessa importância?

Essa metodologia consiste em decompor um problema em diversos fatores por meio da construção de uma hierarquia, de forma que os decisores consigam definir prioridades entre as alternativas, comparando-as em pares, baseado na escala numérica de Saaty (VENTURA, 2009). A Escala Fundamental de Saaty (1977) define e explica os valores de 1 a 9, atribuídos para as decisões em comparação por pares de elementos. Entretanto, existem adaptações desta escala, e afim de facilitar os julgamentos dos especialistas, para essa pesquisa, a escala utilizada foi de 1 a 7, como ilustra o Quadro 4.

Para o método AHP , a diagonal principal da matriz é obrigatoriamente formada pelo número 1, uma vez que a comparação de um fator com ele mesmo tem igual importância. A diagonal representa a linha que separa os valores atribuídos ao indicador e seu inverso. Por exemplo, o valor do indicador A em relação ao indicador B é X, então o valor de B para A é 1/X.

A matriz de julgamento de AHP, quando preenchida, é definida por Saaty (1977) como ilustrada na Figura 1:

Finalizado seu preenchimento, a matriz teve seus valores normalizados, por meio do somatório dos elementos de cada coluna das matrizes de julgamento e, posteriormente, divisão de cada elemento da coluna pelo valor do somatório. Com a matriz normalizada, foi realizado o cálculo das médias de cada uma das linhas da matriz e, finalmente, estes valores foram postos em ordem crescente para se definir a prioridade global das comparações (ZATTA et al., 2019).

Os resultados de cada iniciativa foram agrupados em única tabela, de modo que cada célula teve como resultado a média aritmética dos pesos atribuídos por cada participante. Assim, foi calculada a média aritmética por linha, cujo resultado final representou a posição ocupada pelo indicador e, consequentemente, sua classificação final. Entretanto, esta etapa ocorreu somente para as avaliações classificadas como consistentes, conforme tópico a seguir.

2.5 Análise de consistência dos dados

A aplicação do método AHP tem como desvantagem a possibilidade de inconsistência dos pesos atribuídos pelo avaliador, como afirma Ventura (2009), e dessa forma, os resultados devem ser verificados para garantir respostas coerentes. De acordo com Saaty (1977), melhorar a consistência não significa obter uma resposta mais próxima da realidade, mas sim, verificar se a relação estimada na matriz está mais próxima de ser logicamente relacionada do que de ser selecionada aleatoriamente.

Saaty (1977) afirma que, quando o índice de consistência aponta que há grandes distorções neste teste, então, é muito provável que o resultado obtido não seja confiável e que as referidas informações não possam ser utilizadas no modelo. Para verificar se as respostas dos especialistas foram consistentes, foram seguidos os passos a seguir (SAATY, 1977). A Tabela 1 exemplifica os cálculos descritos.

a. Utilizou-se a matriz AHP padronizada dos especialistas, como foi explicado no item 3.3.1;

b. A partir desta matriz, foi calculada a média das linhas, resultando no vetor média das linhas;

c. Posteriormente, foi calculada a soma de produtos do vetor média pelo elemento, por linha, da matriz original (sem ser a padronizada), gerando assim o vetor coluna;

d. O vetor λ foi calculado por meio da divisão de cada elemento do vetor coluna pelo respectivo vetor média.

e. Para obter o valor do vetor λmax, bastou calcular a média dos valores de cada elemento do vetor λ;

f. Para finalizar os cálculos, foi necessário identificar o Índice Randômico (IR) da matriz. Esse valor foi padronizado por Saaty (1991) e depende do número de elementos da matriz (n) como na Tabela 2;

g. Em seguida, foi calculado o Índice de Consistência (IC) da matriz, definida pela Equação 1:

h. Por fim, a Razão de Consistência (RC) foi calculada seguindo a Equação 2. Segundo Saaty (1991), para que as respostas dos especialistas sejam coerentes, RC deve ser menor ou igual a 0,10. Quanto mais próximo de zero for essa razão, mais consistente a matriz estará.

Neste sentido, para a presente pesquisa, considerou-se que as matrizes AHP de especialistas com inconsistência deveriam ser excluídas da avaliação. Isto permitiu avaliar somente as respostas consistentes e hierarquizar a importância dos indicadores a elas associadas. Portanto, as notas baixas obtidas pelo julgamento dos especialistas significaram que determinado indicador é menos importante que outro, o que não justifica sua exclusão da ferramenta.

Dessa maneira, não houve problema em desconsiderar as avaliações inconsistentes. Para as iniciativas com mais de uma avaliação consistente, foi realizada a média das notas de tais avaliações, gerando uma matriz única para esta iniciativa. A partir desta matriz, foram realizados os cálculos de normalização e, posteriormente, hierarquização dos resultados para finalizar a lista ordenada de importância dos indicadores. Para as iniciativas que obtiveram somente uma avaliação consistente, foi utilizada a hierarquização obtida diretamente do especialista.

2.6 Elaboração da ferramenta

As cinco iniciativas inseridas na ferramenta foram baseadas nas recomendações da PNRS: aterro sanitário, coleta seletiva, consórcio público, compostagem e logística reversa. Cada uma delas foi estruturada com 10 indicadores específicos para cada tema. A finalidade da ferramenta foi identificar as principais lacunas dentro de cada uma das iniciativas, para que o gestor público possa viabilizar ações e sanar as deficiências encontradas.

Somente após a avaliação dos especialistas e com a seleção de indicadores, a ferramenta foi elaborada em planilha eletrônica. Os indicadores de cada uma das iniciativas foram avaliados por meio de três critérios, conforme o Quadro 5: existência da informação, qualidade da informação e, nível de importância da informação.

Os indicadores foram avaliados por meio de pontuações baseadas na escala de Likert. Tal escala é utilizada para medir atitudes, fornecendo ampla resposta para uma questão ou afirmação, segundo Jamieson (2004). Por isto, normalmente, emprega-se escala com variação ímpar para atribuição do valor a cada critério de concordância ou discordância do indicador analisado, conforme Pereira (1999). Nesta pesquisa, a escala adotada foi:

a. Valor 3 – Alto: o indicador analisado tem baixa possibilidade de atender ao critério. Isso implica que é improvável ou pouco provável que a atividade ou o serviço seja realizado.

b. Valor 2 – Médio: o indicador tem média possibilidade de atender ao critério. Isso implica que há probabilidade moderada de ocorrência da atividade ou do serviço ser realizado.

c. Valor 1 – Baixo: o indicador tem elevada possibilidade de atender ao critério. Isso implica que há elevada probabilidade de ocorrência da atividade ou do serviço ser realizado.

A partir de cada um dos três critérios estabelecidos, as pontuações para determinado indicador foram multiplicadas, resultando em amplo conjunto numérico, variando de 1 (1x1x1) a 27 (3x3x3). A Figura 2 ilustra a escala de classificação final do indicador, após multiplicação das pontuações dos três critérios. Portanto, quanto maior for o valor resultante da multiplicação das notas para determinado indicador, pior será a situação analisada, exigindo atenção rigorosa do gestor para estabelecer ações prioritárias que integrem aquele indicador à gestão municipal de RSU.

3 Resultados

Os resultados, apresentados a seguir, foram estruturados conforme as etapas metodológicas, detalhadas anteriormente.

3.1 Resultados da RBS

Para ilustrar essas informações, a Tabela 3 apresenta o número de artigos encontrados em cada uma das bases de dados utilizadas.

Observou-se que o componente “consórcios públicos” não apresentou documentos relacionados à pesquisa, o que exigiu a busca de outros termos, como cooperação intermunicipal e consórcio intermunicipal.

Pelo trabalho de Ventura e Suquisaqui (2020), os consórcios internacionais atuam com estrutura jurídica similar a organizações da iniciativa privada, ou seja, de forma distinta aos consórcios públicos brasileiros. Tal fato pode ter interferido na busca, pois restringiu-se aos casos públicos.

3.2 Resultados da avaliação dos especialistas

O Quadro 6 ilustra o resumo dos resultados da avaliação dos especialistas por meio do método AHP e da posterior análise de consistência de Saaty. Com base nos métodos propostos, a ferramenta foi denominada como Sistema de Avaliação para Gestão de Resíduos Sólidos Urbanos (SAGReS).

3.3 Resultado da concepção da ferramenta SAGReS

O modelo conceitual do SAGReS foi constituído em programação VBA em Excel, contemplando a seguinte estrutura: Capa, Página Inicial; Como utilizar a ferramenta?; Iniciar Avaliação; Avaliação por iniciativas; Definição dos indicadores; Relatório final em PDF. A Figura 3 ilustra a interface para avaliação da iniciativa “Aterro Sanitário”.

Os resultados obtidos por iniciativa foram apresentados em um único documento em PDF, o qual possibilita a visão geral das informações consideradas pelo avaliador no SAGReS. Os resultados de cada iniciativa foram representados graficamente, como ilustra a Figura 4.

4 Conclusões

O modelo conceitual para o SAGReS teve o propósito de auxiliar os gestores públicos na tomada de decisão para intensificar as iniciativas nela presentes. Por meio dos indicadores, os profissionais da área de RSU podem obter uma visão mais específica de ações pontuais para que a gestão da iniciativa, como um todo, possa ser aprimorada.

A descrição detalhada dos métodos utilizados para atingir o objetivo proposto foi necessária para o esclarecimento dos passos metodológicos. Os procedimentos esclarecidos geraram uma série de etapas úteis a futuros trabalhos, pois podem servir de roteiro de pesquisa. Os maiores desafios foram, inevitavelmente, a escassa quantidade de trabalhos científicos e técnicos com indicadores qualitativos e, sobretudo, a ausência de instrumentos elaborados especificamente para avaliação da gestão de RSU no país.

Novos indicadores qualitativos podem ser inseridos no SAGReS, diferentemente de indicadores quantitativos, os quais não foram utilizados no modelo conceitual. Futuros estudos podem associar estes indicadores como aperfeiçoamento da ferramenta e, assim, ampliar a avaliação do RSU. Para a inserção de indicadores quantitativos, sugere-se que eles estejam disponíveis em plataforma digital e sejam de uso generalizado para os municípios brasileiros. Como exemplo, os indicadores do Sistema Nacional de Informações sobre Saneamento (SNIS) podem ser úteis à ferramenta, na versão atualizada.

A Gestão Integrada de Resíduos Sólidos (GIRS) compreende um conjunto de ações que considera as dimensões política, econômica, ambiental, cultural e social, conforme artigo 3º da PNRS. Os indicadores aqui propostos atenderam ao conceito de Gestão de Resíduos Sólidos, o qual não, necessariamente, engloba as dimensões supracitadas.

Recomenda-se que o SAGReS seja validado pelo pesquisador, antes de sua aplicação no objeto de estudo. Neste caso, é fundamental que haja o fornecimento da ferramenta ao gestor para que esta validação esteja em consonância com a realidade municipal e possa suprir a ausência de dados em plataforma digital. Por fim, sugere-se que, ao final das avaliações das iniciativas, seja proposto o plano de ação aos gestores, de modo que a decisão seja orientada pela multiplicação dos critérios de ponderação dos indicadores (1 a 27).

Agradecimento

Este artigo compreende parte dos resultados da pesquisa de mestrado, com financiamento de bolsa pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) - Código de Financiamento 001.

Referencias

BAPTISTA, V. F. As políticas públicas de coleta seletiva no município do Rio de Janeiro: onde e como estão as cooperativas de catadores de materiais recicláveis? Revista de Administração Pública. v. 46, n. 1, p. 141-164, 2015.

BERETON, P.; KITCHENHAM, B. A.; BUDGEN, D.; TURNER, M.; KHALIL, M. Lessons from Applying the Systematic Literature Review Process within the Software Engineering Domain. The Journal of System and Software, v. 80, p. 571-583, 2007.

BIOLCHINI, J.; MIAN, P. G.; NATALI, A. C. C.; TRAVASSOS, G. H. Systematic review in software engineering. System Engineering and Computer Science Department COPPE/UFRJ, Technical Report ES, v. 679, n. 5, p. 1-30, 2005.

BONJARDIM, E. C.; PEREIRA, R. S.; GUARDABASSIO, E. V. Análise bibliométrica das publicações em quatro eventos científicos sobre gestão de resíduos sólidos urbanos a partir da Política Nacional de Resíduos Sólidos – Lei nº 12.305/2010. Desenvolvimento e Meio Ambiente. v. 46, p. 313-333, 2018.

BRASIL.  Decreto nº 7.404 de 23 de dezembro de 2010. Regulamenta a Lei no 12.305, de 2 de agosto de 2010, que institui a Política Nacional de Resíduos Sólidos, cria o Comitê Interministerial da Política Nacional de Resíduos Sólidos e o Comitê Orientador para a Implantação dos Sistemas de Logística Reversa, e dá outras providências. Brasília, 2010. Disponível em: <http://www.planalto.gov.br/ccivil_03/_ato2007-2010/2010/Decreto/D7404.htm>. Acesso em: 8 nov. 2018.

BRASIL. Lei nº 12.305 de 2 de agosto de 2010. Institui a Política Nacional de Resíduos Sólidos; altera a Lei no 9.605, de 12 de fevereiro de 1998; e dá outras providências. Brasília, 2010. Disponível em: <http://www.planalto.gov.br/ccivil_03/_Ato20072010/2010/Lei/L12305.htm>. Acesso em: 8 nov. 2018.

CONFORTO, C. E.; AMARAL, D. C.; SILVA, S. L. Roteiro para revisão bibliográfica sistemática: aplicação no desenvolvimento de produtos e gerenciamento de projetos. In: Congresso Brasileiro de Gestão de Desenvolvimento de Produtos.  8., 2011, Porto Alegre, Anais [...]. Porto Alegre, 2011.

FRATTA, K. D. S. A.; TONELI, J. T. C. L.; ANTONIO, G. C. Diagnosis of the management of solid urban waste of the municipalities of ABC Paulista of Brazil through the application of sustainability indicators. Waste Management. v. 85, p. 11-17, 2019.

GHESLA, P. L.; GOMES, L. P.; CAETANO, M. O.; MIRANDA, L. A. S.; DAI-PRÁ, L. B. Municipal Solid Waste Management from the experience of São Leopoldo/Brazil and Zurich/Switzerland. Sustainability. v. 10, p. 1-14, 2018.

JAMIESON, S. Likert scales: how to (ab)use them. Medical Education. v. 38, p. 1217-1218, 2004.

KEIRSTEAD, J. LEACH, M. Bridging the Gaps Between Theory and Practice: A Service niche Approach to Urban Sustainability Indicators. Sustainable Development. v. 16, p. 320-340, 2007.

LEITE, I. M. S.; FREITAS, F. F. T. Análise comparativa dos métodos de apoio multicritério a decisão: AHP, ELECTRE e PROMETHEE. In: XXXIII Encontro Nacional de Engenharia de Produção. 32., 2012, Bento Gonçalves, Anais [...]. Bento Gonçalves, 2012.

MENIKPURA, S. N. M.; GHEEWALA, S. H.; BONNET, S. Sustainability assessment of municipal solid waste management in Sri Lanka: problems and prospects. Journal of Material Cycles and Waste Management. v. 14, p. 181-192, 2012.

ORGANIZAÇÃO MUNDIAL DA SAÚDE (OMS). Transformando Nosso Mundo: A Agenda 2030 para o Desenvolvimento Sustentável. Objetivos de Desenvolvimento Sustentável.  2015. Disponível em: <https://nacoesunidas.org/wp-content/uploads/2015/10/agenda2030-pt-br.pdf>. Acesso em: 10 maio 2020.

OSPINA, D. A. C. Indicadores para a integração da gestão das águas subterrâneas e no planejamento do uso e ocupação do solo. Dissertação (Mestrado em Ciências Ambientais) – Programa de Pós-Graduação em Ciências Ambientais, Universidade Federal de São Carlos, São Carlos, 2018.

PEREIRA, J. C. R. Análise de dados qualitativos: estratégias metodológicas para ciências da saúde, humanas e sociais. São Paulo: EDUSP; FAPESP, 1999.

PEREIRA, S. S.; CURI, R. C.; CURI, W. F. Uso de indicadores na gestão dos resíduos sólidos urbanos: parte II – uma proposta metodológica de construção e análise para municípios e regiões: aplicação do modelo. Engenharia Sanitária e Ambiental. v. 23, n. 3, p. 485-498, 2018.

POLETTO, M.; De MORI, P. R.; SCHNEIDER, V. E.; ZATTERA, A. J. Urban solid waste management in Caxias do Sul/Brazil: Practices and challenges. Journal of Urban and Environmental Engineering. v. 10, n. 1, p. 50-56, 2016. 

SAATY, T. L. Método de análise hierárquica. Tradução e revisão Prof Titular Wainer da Silveira e Silva (UFF – Universidade Federal Fluminense). São Paulo. McGraw-Hill, Makron Books, p. 367, 1991.

SAATY, T. L. A scaling method for priorities in hierarchical structures. Journal of Mathematical Psychology. v. 15, p. 234-281, 1977.

SUQUISAQUI, A. B. V. Elaboração e aplicação de ferramenta para avaliação da gestão e gerenciamento de resíduos sólidos urbanos para municípios brasileiros. Estudo de Caso: Municípios de Araraquara (SP) e São Carlos (SP). Dissertação (Mestrado em Engenharia Urbana) – Centro de Ciências Exatas e Tecnologia, Universidade Federal de São Carlos. São Carlos, 2020. 

SUQUISAQUI, A. B. V.; HANAI, F. Y. Indicadores de Sustentabilidade Aplicados ao contexto de gestão e planejamento ambiental de cidades na concepção de metabolismo urbano. 2017. Iniciação Científica (FAPESP) - Departamento de Ciências Ambientais, Universidade Federal de São Carlos, São Carlos.

VENTURA, K. S. Modelo de avaliação do gerenciamento de resíduos de serviço de saúde (RSS) com uso de indicadores de desempenho. Estudo de caso: Santa Casa de São Carlos – SP. Tese (Doutorado em Hidráulica e Saneamento) – Escola de Engenharia de São Carlos, Universidade de São Paulo. São Carlos, 2009.

VENTURA, K. S.; SUQUISAQUI, A. B. V. Aplicação de ferramentas SWOT e 5W2H para análise de consórcios intermunicipais de resíduos sólidos urbanos. Ambiente Construído, v. 20, n. 1, p. 333-349, 2020.

VENTURA. K. S.; REIS, L. F. R; TAKAYANAGUI, A.M. M. Avaliação do gerenciamento de resíduos de serviços de saúde por meio de indicadores de desempenho. Engenharia Sanitária e Ambiental. v. 15, n. 2, p. 167-176, 2010.

ZATTA, F. N.; MATTOS, A. L.; OLIVEIRA, R. R.; FREITAS, R. R. GONÇALVES, W.  Aplicação do Analytic Hierarchy Process na escolha de planos de saúde. Research, Society and Development. v. 8, n. 1, p. 1-25, 2019.

ZHANG, Y.; GUINDON, B. Using satellite remote sensing to survey transport-related urban sustainability part 1: methodologies to indicator quantification. International Journal of Applied Earth Observation and Geoinformation. v. 8, p. 146-164, 2006.

1 Introduction

Recently, the concern with sustainability issues has grown in national and international spheres, especially because of the growing diversity of worldwide events and actions about this discussion (Bonjardim, Pereira, and Guardabassio, 2018). Regarding the Municipal Solid Waste Management (MSWM), Brazil seeks to develop best-case scenarios despite the challenges faced particularly by developing countries Ghesla et al. (2018).

The Brazilian Law 12,305 of August 2, 2010, which is also known as the National Solid Waste Policy (NSWP), enacted by Decree No. 7,404 of December 23, 2010, represents the regulatory framework for the Brazilian solid waste management. According to Baptista (2015), the lack of urban planning in many Brazilian cities resulted in the establishment of dumps over the country, which do not have any kind of sanitary structure.

Fratta, Toneli, and Antonio (2019) point out that MSWM needs to be monitored and rigorously evaluated to efficiently impact on the procedures and bring effective results in short, medium, and long terms. Consequently, it is also necessary to diagnose the situation of MSWM and define strategies according to the weaknesses of each situation.

Management tools can minimize some of the weaknesses of the procedures. Besides, the use of indicators is an option to analyze the MSWM models and enable, above all, the adequacy of the management to sustainability precepts (Pereira, Curi, and Curi, 2018).

According to section 19 of the NSWP, the municipal administration is responsible to implement measures for the analysis of the operational and environmental performance of public urban cleaning services and the MSWM (BRAZIL, 2010). The indicators and management tools are useful examples of this practice. As Menikpura, Gheewala, and Bonnet (2012) states, environmental issues, legal and human health aspects, are inherent to MSWM and have a close relation to the urban infrastructure and public management. The lack of some stages of urban services, such as MSWM, causes environmental pollution and economic losses to society, which sometimes cannot be recovered (POLETTO et al., 2016).

This paper becomes relevant for ensuring the urban life quality once it enables the study of these activities and their performance analysis, whose concept relies on the procedures adopted in the solid waste management through indicators (Ventura, Reis, and Takayanagui, 2010). The greatest scientific contribution of the work is the conception of the tool, which contains fifty qualitative indicators and whose application is available to any Brazilian municipality, to monitor the waste management. Besides, this study has generated a range of sequential procedures for the implemented method to support new research in correlated areas.

The research aims to propose an evaluation model for the MSWM through several methods based on the initiatives recommended by the NSWP. The idea of measuring the condition of the initiatives, which we can comprehend as the implementation of public policies to the economic development along with the exploitation of natural resources, concerns the search for sustainability in municipal scale to ensure these same resources to future generations (World Health Organization, 2015).

The tool Municipal Solid Waste Management Evaluation System (SAGReS in Portuguese) was organized on an Excel spreadsheet through the VBA (Visual Basic for Applications) programming. The dashboard and its indicators suggest the points to be better managed. The tool runs on computers with Microsoft Office 2016 or above.

The SAGReS application occurred in two municipalities of the São Paulo state, in southeast Brazil, whose details are in Suquisaqui (2020). The SAGReS application analysis includes other methods that are not the focus of this paper.

2 Methods, techniques, and instruments of research

The research followed four main stages, whose details are in Table 1.

2.1 Bibliographic research

The selection of indicators for SAGReS consisted of bibliographic and documentary researches. The search for information relied on two different methods regarding the selection of scientific-based works for the conception of the tool: Documentary Research and Systematic Literature Review (SLR).

The documentary research involved the search for reports, inventories, laws, theses, and dissertations, among other documents, in public agencies, companies, and government departments. This stage was essential for us to discover the aspects related to the research themes, as well as to identify and define the new indicators for each initiative.

Bereton et al. (2007) say the SLR has a narrative character and focuses on the application of scientific methods. It allows the researcher/manager to achieve a strict and reliable evaluation of the issue while enabling the synthesis of the relevant information (Biolchini et al., 2005). This process implies a set of stages, techniques, and specific tools (Conforto, Amaral, and Silva, 2011).

The SLR protocol relied on Ospina’s research (2018). The selected databases were Scopus, Web of Science, and Compendex, which are available in the CAPES system (an institution of the Brazilian Education Ministry) and it is classified as the main bases of the civil engineering area.

The next stage was the definition of the research strings, whose choice consisted of several attempts since they depend on the definition, testing, and adaptation of the terms (Conforto, Amaral, and Silva, 2011). This occurs due to the need of testing the combination of the terms with the Boolean search operators. Besides, the strings were defined in English to find the largest number of papers could, as shown in Table 2.

The research timeframe was the first SLR filter established for obtaining papers from the year 2000 and forward. Subsequently, the abstracts of the selected papers were read to investigate the relevance to the current research, which considered: i) the discussions on the researched themes; ii) the indicators of the themes or; iii) both.

2.2 Indicators Selection

This stage consisted of reading the papers to find specific indicators for each theme. The selection better led to qualitative parameters, whose information was more available by initiative than by quantitative data.

The researchers considered the following criteria to ensure the reliability of the indicators’ selection method: i) according to Suquisaqui and Hanai (2017), the indicators must be easy to understand, useful, measurable, as well as ii) it should enable the deployment and monitoring as well as facilitate the data updating, according to Ventura, Reis, and Takayanagui (2010).

Table 3 illustrates the definition of the criteria for the selection of indicators.

Despite all the procedures for this stage, the number of published papers regarding indicators was very low or non-existent for some initiatives. In this way, it was necessary to include a new research stage to define new indicators.

2.3 Definition of new indicators

We carried out the new stage to obtain relevant information for each initiative. We also developed other procedures to identify the inherent aspects of the new indicators. Consequently, we met with other researchers, focusing on the exchange of knowledge. Besides, we conducted a literature review to identify such aspects and, subsequently, proposed new indicators considering the criteria defined in Table 2. Finally, we consulted with experts to verify the relevance of the indicators to the tool.

2.4 Evaluation of indicators by experts

We selected twelve experts from the solid waste study field to evaluate the proposed indicators. The experts’ profiles included consultants, professors, self-employed people, service providers, and public service managers. The evaluations took place individually for each expert.

The adopted method for evaluating the indicators followed two steps: i) the evaluation of the indicators by experts through the Analytic Hierarchy Process (AHP) method; ii) the analysis of the consistency of their responses according to the Saaty method. The AHP method compares the answers in pairs and proposes to answer two questions (Leite and Freitas, 2012): (1) the most relevant criteria; (2) the proportion of their relevance?

This methodology consists of splitting a problem into several elements by structuring a hierarchy in which decision-makers can define priorities according to the alternatives, comparing them in pairs based on the numerical scale of Saaty (Ventura, 2009). The Fundamental Scale of Saaty (1977) defines and explains the values from 1 to 9, which assigns the decisions in comparison to the elements in pairs. However, we adapted the scale and applied the scale from 1 to 7 to facilitate the judgments of experts, as Table 4 shows.

For the AHP method, the number 1 composes, obligatorily, the main matrix diagonal since the comparison of a factor with itself has equal importance. The diagonal represents the line that separates the assigned values to the indicator and its inverse. For example, the value of indicator A according to indicator B is X, so the value of B for A is 1/X.

The filling of the AHP judgment matrix is defined by Saaty (1977) as in Figure 1:

After filling the matrix, we normalized its values by summing each column element from the judgment matrices. Later, we divided each column element by the summed value. With the normalized matrix, we calculated the averages of each matrix line and, finally, put these values in ascending order to define the global priority of the comparisons (Zatta et al., 2019).

We put each initiative result in a single table. Each cell resulted in an arithmetic average of the attributed weights by each participant. Then, we calculated the arithmetic average, per line, whose final result meant the indicator position and, consequently, its final classification. However, this stage occurred only for assessments we considered as consistent, as the following topic will show.

2.5 Analysis of data consistency

The application of the AHP method has as a disadvantage the possible inconsistency of the attributed weights by the evaluators (Ventura, 2009). Therefore, we should verify the results to ensure consistent responses. According to Saaty (1977), the improvement of consistency does not mean getting an answer closer to reality. Instead, it means that the estimated ratio in the matrix is closer to being logically related than randomly selected.

Saaty (1977) states that when the consistency index points out that there are major distortions in this test, it is very likely that the obtained result is unreliable and the aforementioned information cannot be used in the model. To verify the consistency of the experts’ answers, we followed the steps below (Saaty, 1977). Table 5 exemplifies the described calculations.

a. Using the experts’ normalized AHP matrix, as explained in point 2.4;

b. Calculation of the average of the lines from this matrix, resulting in the average vector of the lines;

c. Calculation of the sum of products of the average vector by the element, per line, of the original matrix (other than the normalized one), generating the column vector;

d. Calculation of the vector λ by dividing each element of the column vector by the respective average vector.

e. Calculation of the average of the values of each element of the vector λ for obtaining the λmax vector value;

f. Identification of the Random Index (RI) of the matrix for finishing the calculations. This value was standardized by Saaty (1991) and depends on the number of elements (n) of the matrix as shown in Table 6;

g. Calculation of the Matrix Consistency Index (CI), defined by Equation 1:

h. Calculation of the Consistency Ratio (CR) following Equation 2. According to Saaty (1991), the CR must be less or equal to 0.10 for considering the experts’ responses. The closer this ratio is to zero, the more consistent the matrix will be.

For this research, we defined that we should exclude the inconsistency matrices of experts should from the evaluation. It allowed us to evaluate only the consistent responses and rank the importance of the indicators. Therefore, the low weights obtained by the judgment of the experts meant that a certain indicator is less important than another, which does not justify its exclusion from the tool.

There was no problem in disregarding inconsistent evaluations. For initiatives with more than one consistent result, we performed the average of the evaluations, generating a single matrix for this initiative. Based on this matrix, we obtained the normalization calculations were and, then, organized the results hierarchically to finish the importance list of the indicators. For initiatives that obtained only one consistent evaluation, we used the prioritization list we obtained directly from the expert.

2.6 Elaboration of the tool

The five initiatives inserted in the tool were based on the NSWP recommendations: sanitary landfill, selective collection, public consortium, composting, and reverse logistics. We structured each initiative with ten specific indicators for each theme. The purpose of the tool was to identify the main gaps of each initiative so that the public manager could enable actions and solve problems.

We elaborated the tool in a spreadsheet after the evaluation of the experts and the selection of the indicators. The evaluation of the indicators for each initiative followed three criteria, according to Table 7: the existence, quality, and importance level of the information.

The evaluation of the indicators used scores based on the Likert scale. This scale is applied to measure attitudes and provide answers to a question or statement (Jamieson, 2004). For this reason, a scale with odd variation is usually applied to assign the value to each agreement or disagreement criterion of the analyzed indicator, according to Pereira (1999). In this research, the scale adopted was:

a Value 3 - High: the analyzed indicator has a low possibility to fulfill the criterion. It implies that it is unlikely that the activity or service will be performed.

b Value 2 - Medium: the indicator has a medium possibility of fulfilling the criterion. It implies a moderate probability of implementation of the activity or service.

c Value 1 - Low: the indicator has a high possibility to fulfill the criterion. It implies a high probability of implementation of the activity or service.

From each of the three established criteria, we multiplied the scores of a certain indicator, which resulted in a wide numerical set ranging from 1 (1x1x1) to 27 (3x3x3). Figure 2 illustrates the indicator final raking scale after the multiplication of the three criteria scores. The higher the value of the multiplication of scores for a certain indicator, the worse is the analyzed situation, requiring the strict attention from the manager to establish priority actions that integrate the indicator into MSWM.

3 Results

The results were elaborated according to the methodological steps, detailed above.

3.1 SLR Results

To illustrate this information, Table 8 shows the number of papers we found in each database.

As we can see, the component “public consortia” did not return any document related to the research. This situation required the search through other terms, such as “inter-municipal cooperation” and “inter-municipal consortium”.

International consortia operation has a similar legal structure to private organizations, which is different from Brazilian public consortia. Such fact may have interfered in the search, once it was restricted to public cases (Ventura and Suquisaqui, 2020).

3.2 Experts’ evaluation results

Table 9 illustrates the summary of the results from the experts’ assessment through the AHP method and the subsequent consistency analysis according to the Saaty method. Based on the proposed methods, the tool was called Municipal Solid Waste Management Evaluation System (SAGReS in Portuguese).

3.3 Result of the SAGReS tool design

The SAGReS model was designed in VBA programming in Excel and has the following structure: Cover, Home Page; How to use the tool?; Start Evaluation; Evaluation by initiatives; Definition of indicators; Final report in PDF. Figure 3 illustrates the interface for evaluating the “Sanitary Landfill” initiative.

The results for each initiative were saved into a single PDF document that provides an overview of the information considered by the SAGReS evaluator. The results of each initiative have a graphical representation, as shown in Figure 4.

4 Conclusions

The conceptual model for SAGReS intends to assist public managers in the decision-making process to intensify the performance of the initiatives. Through the indicators, MSWM professionals can obtain a stricter view of specific actions to the improvement of the initiative’s management.

A detailed description of the applied methods to achieve the purpose was necessary to clarify the methodological steps. The procedures generated a range of useful steps for future researches, operating as a working guide. The greatest challenges were, inevitably, the scarce amount of scientific and technical works regarding qualitative indicators, and, above all, the absence of instruments specifically developed to evaluate MSWM in Brazil.

New qualitative indicators can be inserted in SAGReS, differently from the quantitative methods, once they were not used in the conceptual model. Future researches may associate these indicators with the improvement of the tool and expand the MSWM evaluation. For the quantitative indicators, it is recommended that they are available on a digital platform and useful to all Brazilian municipalities. As an example, the indicators of the National System of Sanitation Information (SNIS in Portuguese) may be useful to the tool in its updated version.

The Integrated Management of Solid Waste (GIRS in Portuguese) encompasses a set of actions involving political, economic, environmental, cultural, and social dimensions, according to section 3 of the Brazilian NSWP. The suggested indicators complied with the concept of Solid Waste Management, which does not necessarily encompass the aforementioned dimensions.

The authors recommend the validation of SAGReS by other researchers before its application into the object of study. In this case, it is essential to provide the access of the manager to the tool, so this validation keeps in line with the municipal reality and can support the absence of data in the digital platform. Finally, we also suggest the proposition of an action plan to these managers at the end of the initiative’s evaluations, so that decisions are guided by the results obtained in the tool.

Acknowledgment

This paper comprises some results from a master's research, with scholarship funding by the Coordination for the Improvement of Higher Education Personnel (CAPES) - Funding Code 001.

References

Baptista, V. F., 2015. ‘As políticas públicas de coleta seletiva no município do Rio de Janeiro: onde e como estão as cooperativas de catadores de materiais recicláveis?’, Revista de Administração Pública, 46(1), pp.141-164.

Bereton, P., Kitchenham, B. A., Budgen, D., Turner, M., Khalil and M., 2007. ‘Lessons from Applying the Systematic Literature Review Process within the Software Engineering Domain.’, The Journal of System and Software, 80, pp.571-583.

Biolchini, J., Mian, P. G., Natali, A. C. C. and Travassos, G. H., 2005. ‘Systematic review in software engineering’, System Engineering and Computer Science Department COPPE/UFRJ, Technical Report ES, 679(5), pp. 45.

Bonjardim, E. C., Pereira, R. S. and Guardabassio, E. V., 2018. ‘Análise bibliométrica das publicações em quatro eventos científicos sobre gestão de resíduos sólidos urbanos a partir da Política Nacional de Resíduos Sólidos – Lei nº 12.305/2010.’, Desenvolvimento e Meio Ambiente, 46, pp. 313-333.

Conforto, C. E., Amaral, D. C. and Silva, S. L., 2011. ‘Roteiro para revisão bibliográfica sistemática: aplicação no desenvolvimento de produtos e gerenciamento de projetos.’, Congresso Brasileiro de Gestão de Desenvolvimento de Produtos. 

Fratta, K. D. S. A., Toneli, J. T. C. L. and Antonio, G. C. 2019. ‘Diagnosis of the management of solid urban waste of the municipalities of ABC Paulista of Brazil through the application of sustainability indicators’, Waste Management, 85, pp. 11-17.

Ghesla, P. L., Gomes, L. P., Caetano, M. O., Miranda, L. A. S. and Dai-Prá, L. B., 2018. ‘Municipal Solid Waste Management from the experience of São Leopoldo/Brazil and Zurich/Switzerland.’, Sustainability, 10, pp.14.

Jamieson, S. 2004. ‘Likert scales: how to (ab)use them.’, Medical Education, 38, pp. 1217-1218.

Keirstead, J. and Leach, M., 2007. ‘Bridging the Gaps Between Theory and Practice: A Service niche Approach to Urban Sustainability Indicators.’, Sustainable Development, 16, pp. 320-340.

Leite, I. M. S. and Freitas, F. F. T., 2012. ‘Análise comparativa dos métodos de apoio multicritério a decisão: AHP, ELECTRE e PROMETHEE.’. In: XXXIII Encontro Nacional de Engenharia de Produção, Bento Gonçalves, Brazil.

Menikpura, S. N. M., Gheewala, S. H. and Bonnet, S., 2012. ‘Sustainability assessment of municipal solid waste management in Sri Lanka: problems and prospects.’, Journal of Material Cycles and Waste Management., 14, pp. 181-192.

World Health Organization – WHO, 2015. ‘Transformando Nosso Mundo: A Agenda 2030 para o Desenvolvimento Sustentável.’ Objetivos de Desenvolvimento Sustentável. Available at: https://nacoesunidas.org/wp-content/uploads/2015/10/agenda2030-pt-br.pdf. Accessed: 3 Mar. 2019.

Ospina, D. A. C., 2018. ‘Indicadores para a integração da gestão das águas subterrâneas e no planejamento do uso e ocupação do solo’, Master’s dissertation, Federal University of São Carlos.

Pereira, J. C. R., 1999. Análise de dados qualitativos: estratégias metodológicas para ciências da saúde, humanas e sociais., EDUSP FAPESP, São Paulo.

Pereira, S. S., Curi, R. C. and Curi, W. F., 2018. ‘Uso de indicadores na gestão dos resíduos sólidos urbanos: parte II – uma proposta metodológica de construção e análise para municípios e regiões: aplicação do modelo.’, Engenharia Sanitária e Ambiental, 23(3), pp. 485-498.

Poletto, M., De Mori, P. R., Schneider, V. E. and Zattera, A.J. 2016. ‘Urban solid waste management in Caxias do Sul/Brazil: Practices and challenges’, Journal of Urban and Environmental Engineering, 10(1), pp. 50-56. 

Presidência da República 2010, Federal Decree no. 7,404, Brazil. Available at http://www.planalto.gov.br/ccivil_03/_ato2007-2010/2010/Decreto/D7404.htm. Accessed: 20 Feb. 2019.

Presidência da República 2010, Federal Law no. 12,305, Brazil. Available at http://www.planalto.gov.br/ccivil_03/_ato2007–2010/2010/lei/l12305.htm. Accessed: 20 Feb. 2019.

Saaty, T. L., 1991. Método de análise hierárquica. McGraw-Hill, Makron Books, São Paulo.

Saaty, T. L., 1977. ‘A scaling method for priorities in hierarchical structures.’, Journal of Mathematical Psychology, 15, pp. 234-281.

Suquisaqui, A. B. V., 2020. ‘Elaboração e aplicação de ferramenta para avaliação da gestão e gerenciamento de resíduos sólidos urbanos para municípios brasileiros. Estudo de Caso: Municípios de Araraquara (SP) e São Carlos (SP). MSc Thesis, Federal University of São Carlos. 

Suquisaqui, A. B. V. and Hanai, F. Y., 2017. ‘Indicadores de Sustentabilidade Aplicados ao contexto de gestão e planejamento ambiental de cidades na concepção de metabolismo urbano.’ Scientific Initiation (FAPESP), Federal University of São Carlos.

Ventura, K. S., 2009. ‘Modelo de avaliação do gerenciamento de resíduos de serviço de saúde (RSS) com uso de indicadores de desempenho. Estudo de caso: Santa Casa de São Carlos – SP.’ PhD thesis, University of São Paulo.

Ventura, K. S. and Suquisaqui, A. B. V. 2020., ‘Aplicação de ferramentas SWOT e 5W2H para análise de consórcios intermunicipais de resíduos sólidos urbanos.’ Ambiente Construído, 20 (1), pp. 333-349.

Ventura. K. S., Reis, L. F. R. and Takayanagui, A. M. M., 2010. ‘Avaliação do gerenciamento de resíduos de serviços de saúde por meio de indicadores de desempenho.’, Engenharia Sanitária e Ambiental, 15(2), pp. 167-176.

Zatta, F. N., Mattos, A. L., Oliveira, R. R., Freitas, R. R. and Gonçalves, W., 2019. ‘Aplicação do Analytic Hierarchy Process na escolha de planos de saúde.’, Research, Society and Development, 8(1), pp. 1-25.

Zhang, Y. and Guindon, B., 2006. ‘Using satellite remote sensing to survey transport-related urban sustainability part 1: methodologies to indicator quantification.’, International Journal of Applied Earth Observation and Geoinformation, 8, pp. 146-164.