RESUMO

O caráter auto declaratório das informações fornecidas pelos prestadores de serviço ao SNIS tem gerado incerteza acerca da confiança e da exatidão destes dados, dessa forma a Metodologia Acertar apresenta procedimentos que possibilitam a auditoria e certificação dessas informações por meio das agências reguladoras, as quais também utilizam esses dados para o exercício de suas funções. A implementação dessa metodologia possibilita a padronização e o aumento da confiabilidade dessas informações que são largamente utilizadas para os mais variados objetivos. Essa metodologia possibilita ainda a aplicação direta pelas agências reguladoras, bem como a terceirização via contratação direta ou via contratação pelo prestador dos serviços. Este trabalho apresenta as primeiras experiências da ARSEC – MT que optou pela execução da metodologia de forma direta e por equipe própria e da ADASA - DF que terceirizou a execução por contratação direta; e ao final foi possível constatar que um dos resultados iniciais e comuns em ambas as situações foi o acesso a informações e procedimentos internos dos prestadores até então não verificados pelas agências reguladoras. A aplicação da metodologia foi um processo perfeitamente exeqüível, porém desafiador em ambos os casos, a capacitação e o acesso aos documentos orientativos tiveram importância significativa. O aprendizado, a interação e a cooperação entre agência e prestador mostraram-se crescentes e diversos avanços foram percebidos, bem como o direcionamento de ações necessárias para a melhoria da qualidade das informações disponibilizadas. A implementação da metodologia mostra ainda a importância de novos ciclos de capacitações para todo o público envolvido.

_{Palavras-chave: Regulação, Indicadores, SNIS, Acertar.}

INTRODUÇÃO

A regulação em um conceito mais amplo pode ser entendida como um dos instrumentos utilizados para fazer Política Pública, não exatamente no sentido de realizar ações diretamente, mas de criar regras com a finalidade de promover bem-estar ou impedir ações que possam causar externalidades negativas.

No viés econômico, a regulação pode ser vista como uma intervenção do estado em algum setor com a finalidade de corrigir distorções que possam causar prejuízos a uma das partes na relação entre mercado e consumidor. Essas distorções emergem quando as forças que deveriam autorregular o mercado falham, como por exemplo os casos de monopólios onde não há competição, seja porque o produto ofertado por determinada empresa não tenha substituto, ou ainda porque o custo da concorrência é tão alto que o monopólio é a melhor solução, é o chamado monopólio natural (BALDWIN, R., CAVE, M, 2012).

Geralmente, em função dessas falhas de mercado busca-se a regulação com o objetivo de equilibrar o setor, ou seja, além de corrigir desvios a regulação visa também garantir acesso de pessoas menos favorecidas a serviços essenciais, como o saneamento básico; bem como a serviços prestados com qualidade, extrapolando a função puramente economicista.

Segundo Pimenta (2007), resta claro no panorama da regulação que para a persecução de seus objetivos de proteção ao mercado ou de garantia a este, a disponibilização das informações econômicas e operacionais do regulado é fundamental. Para tanto, o regulador envida esforços no sentido de fazer com que o regulado disponibilize os dados que o agente público entenda como relevantes, com o intuito de minimizar os efeitos da assimetria de informação que ocorre porque o detentor do mercado monopolista é o único a conhecer todos os elementos que compõem o serviço prestado, a agência reguladora por sua vez trabalha com a informação produzida justamente por quem tem pleno interesse nas decisões tomadas.

Neste cenário o ente regulador está na desconfortável posição de estabelecer regras a um mercado com base em informações produzidas pelo detentor do monopólio, estando obrigado a trabalhar com dados obtidos e tratados exclusivamente pelos prestadores de serviços regulados (CASTRO, R., OLIVEIRA, L., 2019).

Dentre as adversidades que podem ser enfrentadas pela entidade reguladora no cenário apresentado, ainda podem observadas dificuldades no tráfego de informações, dentre elas, a recusa, a alteração para benefício próprio, o erro, etc. (PIMENTA, 2009).

Segundo Dambros et. al (2019) o acesso a informações com alto grau de confiança e exatidão é fundamental para o exercício da regulação dos serviços públicos, e a melhoria da qualidade regulatória deve ser um processo contínuo das agências reguladoras com o propósito bem executar as atividades de sua competência e responsabilidade, com foco na melhoria do desempenho e qualidade dos serviços realizados pelas prestadoras dos serviços; sendo que uma das formas verificação é através dos indicadores de desempenho, metas e qualidade dos serviços prestados a população como um todo.

A regulação do setor de saneamento tem sido amplamente discutida e recentemente com a aprovação da Lei nº 14.026/2020 que altera a Lei nº 11.445/2007, conhecida como marco legal do saneamento, a antes chamada Agência Nacional de Águas, passou a ter a competência de editar normas de referência para o setor, passando a ser denominada Agência Nacional de Águas e Saneamento Básico. Outro agente importante para o setor é o Ministério do Desenvolvimento Regional, o qual promove ações de fomento e hospeda o Sistema Nacional de Informações Sobre Saneamento – SNIS, que é um sistema que reúne informações e indicadores do Brasil todo sobre a prestação dos serviços de saneamento.

O SNIS assim como os agentes reguladores, trabalha com dados secundários, ou seja, seu sistema é alimentado por dados auto declarados pelos prestadores dos serviços de abastecimento de água e esgotamento sanitário de todo o país, sendo também atingido pelos efeitos adversos produzidos pela desvantagem ou assimetria informacional.

Pimenta (2007) comenta que uma das formas de mitigação dessa assimetria, seria a auditoria, que ajudaria o regulador a conhecer melhor o contexto de produção dos dados repassados, esse, no entanto é um trabalho que exige especialização e prática não comuns no setor do saneamento, principalmente para os processos operacionais. Além disso, auditar todas as informações declaradas pelos prestadores de todo Brasil para alimentação do SNIS seria uma tarefa hercúlea para o governo federal.

O sistema de auditoria e certificação é citado pelo marco legal do saneamento (Lei nº 14.026/2020) como um dos deveres da entidade reguladora. E tendo por base uma leitura rápida, pode-se precipitadamente deduzir que se cada regulador auditar os dados do seu prestador ou prestadores, por conseguinte as informações do SNIS também estarão certificadas. Contudo para que as certificações sejam comparáveis, a metodologia adotada no sistema de auditoria, necessariamente, deve ser a mesma.

Objetivando o desenvolvimento de metodologia de auditoria e certificação que pudesse ser aplicada em todo Brasil, o Projeto Acertar foi apresentado durante a reunião da Câmara Técnica de Saneamento Básico, Recursos Hídricos e Saúde (CTSan) da Associação Brasileira das Agências de Regulação- ABAR de maio de 2013, e foi iniciado em 2016 como fruto de uma parceria entre o atual Ministério do Desenvolvimento Regional e a Associação Brasileira de Agências de Regulação – ABAR, tendo sido financiado por meio do Programa de Desenvolvimento do Setor Água – INTERÁGUAS (BRASIL, 2018b).

No ano de 2018 foi instituída a Metodologia Acertar, regulamentada pela Portaria de nº 719 de 12 de dezembro do então Ministério das Cidades atual Ministério do Desenvolvimento Regional (MDR), estabelecendo procedimentos para auditoria e certificação de informações do Sistema Nacional de Informações sobre Saneamento (SNIS), relacionada aos serviços de abastecimento de água e esgotamento sanitário. (BRASIL, 2018a).

A referida metodologia foi baseada nos Princípios Fundamentais de Auditoria do Setor Público (ISSAI 100), norma que estabelece fundamentos aplicáveis a todos os trabalhos de auditoria do setor público, independente do seu contexto (BRASIL, 2013), bem como no Manual de Auditoria Financeira do Tribunal de Contas da União (TCU) (BRASIL, 2018b).

Como parte dos documentos orientativos, foi elaborado o Guia de Auditoria e Certificação das Informações do SNIS que apresenta a possibilidade de aplicação da mesma metodologia de auditoria em todo país, e torna possível a comparação dos resultados dos diferentes prestadores. E segundo a Metodologia Acertar, o mapeamento e entendimento dos processos de geração das informações do SNIS são realizado para que seja possível identificar os principais riscos que possam afetar a qualidade da informação. A identificação dos riscos e controles relacionados aos processos de geração das informações do SNIS foram baseadas nas metodologias COSO Enterprise Risk Management 2016, que define uma estrutura de controles internos capaz de orientar as empresas no gerenciamento de seus riscos; ISO 27001:Sistemas de Gestão de Segurança da Informação, que possibilita estabelecer, implementar, operar, monitorar, analisar, manter e melhorar o sistema de gestão da segurança da informação e COBIT 5: Governança de Tecnologia da Informação, que consiste em um modelo internacional de negócios e de gestão global para governança e gestão de TI.

A metodologia Acertar destaca que a entidade reguladora é a responsável pelo processo de auditoria, perpassando pelo diagnóstico,   avaliação de confiança e de exatidão, bem como da certificação.

Para viabilizar a execução desses trabalhos,  o guia de auditoria e certificação trouxe a possibilidade de terceirizar a execução desses serviços ou de efetuá-los com pessoal próprio da agência. Considerando as diversas configurações de agências reguladoras no país, a metodologia, que será melhor detalhada no próximo item, recomenda que em casos em que a agência faça a opção pela execução própria, a implantação pode ser iniciada pela elaboração do relatório básico de certificação que consiste na avaliação da confiança sem aplicação dos testes de controle de um grupo reduzido de informações (etapa 3 - primeiro ciclo) até que se alcance a execução de todas as etapas, culminando nas notas de certificação das informações do grupo de informações completo (etapa 5 - quinto ciclo). Para os reguladores que optem pela terceirização é recomendada a realização do ciclo completo. O objetivo deste trabalho é apresentar o processo de implementação da Metodologia Acertar realizado por duas agências reguladoras que fizeram opções distintas, sendo estas a ADASA optou pela terceirização contratando de forma direta empresa de consultoria e a ARSEC que optou por iniciar o processo pela execução própria.

A Adasa denominada Agência Reguladora de Águas, Energia e Saneamento Básico do Distrito Federal pela Lei nº 4.285, de 26 de dezembro de 2008, é autarquia dotada de regime especial e personalidade jurídica de direito público, com autonomia patrimonial, administrativa e financeira e tem como finalidade básica a regulação dos usos das águas e dos serviços públicos de competência originária do Distrito Federal (DF), bem como daqueles realizados no âmbito geopolítico ou territorial do DF que venham a ser delegados a ela por órgãos ou entidades federais, estaduais ou municipais, em decorrência de legislação, convênio ou contrato.

A Arsec - Agência de Reguladora dos Serviços Públicos Delegados de Cuiabá foi criada pela Lei Complementar nº 374 de 31/3/2015 e é dotada de autonomia orçamentária, financeira, técnica, funcional e administrativa, cuja competência é a regulação, normatização, controle e fiscalização dos serviços de abastecimento de água, esgotamento sanitário; de manejo, tratamento e destinação final de resíduos sólidos, de transporte coletivo urbano, de iluminação pública, dentre outros serviços.

METODOLOGIA

• ACERTAR

A metodologia instituída pela Portaria de nº 719/2018 do Ministério do Desenvolvimento Regional (MDR) estabelece que o processo de auditoria e certificação é composto por 5 etapas, in verbis:

“Art. 5º. O método desenvolvido para auditar e certificar as informações fornecidas pelos prestadores de serviço de abastecimento de água e esgotamento sanitário ao SNIS é composto por 5 (cinco) etapas:

1. - Mapeamento de Processos: realizado para entender os processos de geração das informações do SNIS. Este mapeamento permitirá a identificação dos principais riscos que possam afetar a qualidade da informação. Inclui-se nesta etapa elaboração de fluxogramas de processos, técnica de representação gráfica que utiliza símbolos previamente convencionados, permitindo a descrição clara e precisa do fluxo, ou sequência de um processo, bem como sua análise e redesenho;
2. - Identificação de Riscos: subsidiam a definição de controles-chaves que constituirão a base de análise do nível de confiança. Utilizam-se diretrizes do COSO (Committee of Sponsoring Organizations - Enterprise Risk Management 2016), da Norma ISO 27001 - Sistemas de Gestão de Segurança da Informação e do COBIT 5 - Governança de Tecnologia da Informação;

3. - Avaliação de Confiança: após a identificação dos riscos e controles relativos ao processo de geração das informações faz-se necessário estruturar procedimentos que possibilitem avaliar se os controles encontram-se implementados e são eficazes. Nesta etapa são aplicados os testes de controle que compõem a Avaliação de Confiança das Informações declaradas ao SNIS pelos prestadores. Cada controle avaliado possui um ou mais atributos que devem ser testados pelas entidades reguladoras;
4. - Avaliação de Exatidão: o nível de exatidão determina o quanto os números informados refletem com precisão os eventos ocorridos. Para tanto, os testes substantivos foram desenvolvidos para avaliar o nível de exatidão dos números declarados pelo prestador para cada informação. A extensão dos procedimentos substantivos depende do nível de confiança avaliado previamente. A classificação de cada informação quanto à exatidão é dada com base no desvio encontrado depois da aplicação dos procedimentos substantivos;

5. - Certificação das Informações: é estabelecida a partir da combinação das análises de confiança e de exatidão, a fim de alcançar uma avaliação única, por meio de notas. A partir da certificação deve-se sugerir recomendações e realizar o acompanhamento da implementação das melhorias.”

Das cinco etapas, as duas primeiras foram realizadas pelos estudos do Projeto Acertar e constam do Guia de Auditoria e Certificação das Informações do SNIS, de modo que cabe às Agências Reguladoras a execução das ações a partir da etapa 3: Avaliação de Confiança; seguida da Avaliação de Exatidão e Certificação das Informações conforme detalhado na figura abaixo.

Considerando as diversas configurações de agências reguladoras no país, o guia apresenta duas opções para sua execução dos processos necessários, a implementação da metodologia pela própria agência ou por meio de terceirização dos trabalhos. Quando a agência opta pela execução própria, é oferecida a oportunidade de se realizar a auditoria de forma escalonada, com execução incremental do método que se inicia com a avaliação da confiança sem a aplicação dos testes de controle de um grupo menor de informações denominado de grupo básico, até que se alcance ao final do processo a execução de todas as etapas, a emissão das notas de certificação das informações do grupo completo, conforme detalhado no quadro 1. Para os reguladores que optem pela terceirização é recomendada a realização do ciclo completo.

A forma de escalonamento apresentada no Guia é dividida em 5 ciclos e cada qual equivalente a um ano, sendo que a execução completa, corresponde ao 5º ciclo.

Quadro 1 – Forma de escalonamento da implementação da metodologia “Acertar”.

Para a divulgação da metodologia, foi criado o site chamado Acertar Brasil (http://www.acertarbrasil.com) onde se encontram todas as informações sobre o tema, como o Guia de execução e outros documentos, assim como orientações a para a execução da metodologia. Sendo nesse sítio informado que a etapa de Confiança pode ser executada de 3 em 3 anos, enquanto a Exatidão deve ser realizada anualmente.

METODOLOGIA APLICADA PELA ADASA

Dentre as opções de execução permitidas pelo Guia, a Adasa optou pela terceirização, operacionalizada por meio de contratação de consultoria individual, acompanhada em todas as fases pelos reguladores.

Foram avaliados os anos de 2018 e 2019, tendo sido o processo confiança realizado para o ano de 2018 e a exatidão avaliada nos 2 anos, conforme orientações constantes do site Acertar Brasil. Para o cálculo da certificação de 2019 foram replicados os resultados da avaliação da confiança para o ano de 2018.

A realização da auditoria foi dividida em etapas:

• 1ª Etapa: Planejamento das atividades, comunicação ao prestador de serviços e reunião de abertura.
• 2ª Etapa: Solicitação da documentação necessária a ser enviada pela concessionária para o teste dos atributos que compõem a avaliação dos controles.
• 3ª Etapa: Criação de drive com acesso restrito para compartilhamento das informações.
• 4ª Etapa: Verificação presencial de atributos para avaliação dos controles.
• 5ª Etapa: Cálculo das notas de Confiança.
• 6ª Etapa: Solicitação da documentação necessária a ser enviada pela concessionária para o teste de exatidão.
• 7ª Etapa: Verificação presencial de atributos para avaliação da exatidão.
• 8ª Etapa: Cálculo das notas de Certificação.
• 9ª Etapa: Confecção do Relatório para a Prestadora de Serviços e do Relatório para envio ao MDR.
• 10ª Etapa: Divulgação dos resultados no site da Adasa.

METODOLOGIA APLICADA PELA ARSEC

Com base nas informações obtidas nos processos de capacitações oferecidas pela ABAR e no Guia de Auditoria e Certificação das Informações publicado por iniciar a implementação da Metodologia Acertar pela própria agência, contudo identificou a necessidade adotar uma sequência de ações preliminares no sentido de padronizar informações e eliminar divergências entre documentações já utilizadas como norteadoras para a avaliação dos indicadores e metas de desempenho das atividades desenvolvidas pela prestadora dos serviços de abastecimento e de esgotamento sanitário do Município de Cuiabá.

Dessa forma a ARSEC deu início em ações com vistas a obter maior eficácia no processo de implementação de auditoria e certificação dos dados gerados pela prestadora dos serviços de abastecimento de água e esgotamento sanitário que foi dividida da seguinte forma:

1ª Etapa: Planejamento e execução de ações preparatórias

• Fomento e participação na revisão do plano de saneamento: A ARSEC participou ativamente no processo de revisão do plano municipal de saneamento básico de Cuiabá elaborado pelo município de Cuiabá por intermédio da Secretaria Municipal de Meio Ambiente e Desenvolvimento Urbano - SMADES no ano de 2011 – “PMSB 2011”, colocando em discussão a necessidade de revisão dos indicadores;
• Capacitação de servidores e gestores: Buscou-se a intensificação da participação dos servidores e gestores nos cursos , palestras, debates e câmaras técnicas promovidas pela ABAR – Associação Brasileira das Agências Reguladoras, cujos temas traziam as melhores práticas regulatórias e de gestão da informação adotadas pelas agências reguladoras;

2ª Etapa: Nivelamento e uniformização de informações e documentações norteadoras do processo de regulação e fiscalização

• Avaliação, comparação e uniformização das fórmulas e conceitos propostos nas documentações de base para a regulação e fiscalização dos serviços, sendo estas o Contrato de Concessão, PMSB revisado e SNIS;
• Avaliação das informações e indicadores encaminhados mensalmente pela Concessionária no processo de fiscalização indireta realizada pela ARSEC;
• Avaliação das informações obtidas “em campo” no processo de fiscalização direta realizada pela agência;
• Realização de reuniões de nivelamento e planejamento junto a Concessionária, prestadora dos serviços, sobre o início da aplicação da metodologia Acertar junto a prestadora dos serviços;
• Estímulo à capacitação de colaboradores da prestadora, que atendeu e destacou servidores para cursos oferecidos pela ABAR que apresentavam as práticas a serem adotadas pela Concessionária no processo de implantação do Acertar;

3ª Etapa: Reunião de verificação presencial e “on-line” para avaliação e verificação dos controles e atributos junto aos setores da Concessionária;

4ª Etapa: Elaboração do relatório de Confiança do grupo básico de informações do SNIS, referentes ao ano de 2018 com avaliações de confiança relacionadas a cada teste de controle, agrupadas de acordo com os processos. A equipe de auditoria não realizou os testes de controle nesta etapa, sendo este constituído o primeiro ciclo;

5ª Etapa: Divulgação dos resultados no site da ARSEC

RESULTADOS E DISCUSSÃO

ADASA

A Adasa optou pela aplicação referente ao quinto ciclo da metodologia (Quadro 1). Nesse

sentido, para além dos resultados que serão mostrados, por ter sido a primeira experiência nacional a realizar as avaliações completa de confiança e exatidão, considera-se relevante abordar as dificuldades e aprendizados do processo.

O modelo de execução adotado pela Adasa foi a terceirização via contratação de consultoria individual, sendo assim na intenção de buscar o profissional mais bem capacitado para o trabalho exigiu-se no primeiro edital publicado que tivesse experiência e capacitação em auditoria e saneamento básico como requisitos mínimos de contratação. Como resultado não foram obtidos currículos válidos para que a licitação fosse adiante. Para a segunda publicação, decidiu-se diminuir a exigência para a qualificação mínima e classificar como pontuação extra a capacitação e experiência em saneamento básico e/ou auditoria, além disso a nova publicação do edital foi divulgada no site da Abar. Com essa segunda publicação foram obtidos currículos válidos suficientes para que fosse possível seguir com a contratação do vencedor.

Pode-se notar quando da avaliação dos currículos que a maioria apresentou capacitação relacionada a gestão de risco, nenhuma específica em auditoria e apenas um candidato comprovou experiência em saneamento básico.

Nesse sentido, em caso de contratação, principalmente se for de consultoria individual, o regulador deve ter internalizado que sobretudo nesses primeiros anos de aplicação da metodologia pode não encontrar o profissional com todas as características desejadas, sendo assim é de suma importância que os servidores estejam bem capacitados para orientar o contratado em relação ao Acertar ou às peculiaridades da prestação dos serviços auditados.

Sobre o começo dos trabalhos é importante ressaltar que ocorreu no final de março de 2020, concomitante às primeiras medidas de enfrentamento à pandemia de COVID-19, dentre as quais o estabelecimento do teletrabalho para os órgãos da administração pública direta, indireta, autárquica e fundacional do DF (Distrito Federal, 2020). Sendo assim, um trabalho que se imaginava eminentemente presencial, teve de ser repensado e passou a ocorrer majoritariamente à distância.

Dessa forma, considerando que a auditoria busca a materialização de evidências, a dinâmica estabelecida foi: organização das informações que se desejava obter, solicitação formal ao auditado e disponibilização dos documentos comprobatórios em repositório hospedado em nuvem, criado especificamente para a troca de dados entre regulador, regulado e consultor auditor.

Uma vez definida como seria a execução dos trabalhos frente a nova realidade, as solicitações foram encaminhadas às áreas responsáveis, no entanto os documentos não

chegavam nos prazos estabelecidos, tendo sido necessários sucessivos adiamentos de prazo para que toda a informação fosse levantada.

De modo geral as justificativas para os atrasos foram relacionadas com as consequências da COVID-19 tais como redução de quadros por motivos de funcionários infectados com o vírus ou afastados de seus trabalhos por serem de grupos de risco.

Entretanto, além das razões fundamentadas na pandemia, acredita-se que houve também uma lacuna no que se refere a sensibilização dos gestores responsáveis pela produção dos dados quanto à metodologia a ser aplicada, seus objetivos e importância. Essa carência pode ter contribuído tanto para o atraso no levantamento e disponibilização das informações, bem como na produção de documentos insuficientes para evidenciar a existência do controle investigado, o que ocasionou pedidos de complementação de informação, tornando o processo ainda mais moroso.

De todo modo, entende-se que muito embora esse tenha sido um modelo implementado por força das circunstâncias, e, todavia, tenha ocorrido em ritmo mais lento que o esperado, parece ser uma dinâmica de trabalho com potencial para facilitar a aplicação da metodologia.

Superando-se a necessidade de capacitação em relação ao Acertar pelo prestador de serviços e o regulador sendo capaz de apontar a importância desse trabalho, parece ser conveniente que o dono da informação faça prova material daquilo que deseja comprovar e disponibilize de maneira remota ao regulador ou auditor contratado, que posteriormente vai a campo verificar somente o que for necessário que se faça presencialmente. Diminuindo a necessidade de visitas de campo, o que pode ser útil, em particular, às agências que regulam mais de um prestador.

No que se refere à assimetria de informações, a execução da auditoria foi um processo bastante elucidador, afinal para gerar a materialidade exigida adentrou-se em regras internas do prestador, compreendeu-se melhor o fluxo da informação e também a diferença entre setores quanto à qualidade da informação, de maneira geral foram expostas tantos as virtudes como as práticas que apresentaram espaço para melhoria, dentre as quais, a falta de alguns normativos internos e a necessidade de aperfeiçoamento de atividades relacionadas a soluções tecnológicas, dentre outras.

Ressalta-se que além da análise documental houve também dois momentos presenciais em que foram avaliadas todas as informações que necessitavam ser verificadas em campo,

etapa realizada dentro das regras de segurança estabelecidas para enfrentamento da COVID- 19.

No cumprimento dessa etapa de verificação na empresa se pode notar algum receio do prestador em relação às evidências que se necessitava gerar na forma de exigências, tais como, a de que somente o chefe de certa área passasse a informação ou estivesse presente, mesmo que o auditor estivesse sempre acompanhado de alguém da equipe da concessionária que estava coordenando o trabalho de auditoria dentro da empresa.

Suplantadas as dificuldades, os resultados compilados da primeira execução completa da metodologia Acertar são apresentados na Figura 1.

Observando-se os resultados percebe-se pouca variação entre as notas de certificação nos anos de 2018 e 2019, o que pode ser explicado por não ter havido alteração dos processos de produção dos dados nos anos avaliados, de forma que foram utilizadas as notas de confiança de 2018 para o cálculo de 2019.

Considerando ser uma metodologia inovadora no Brasil e que essa foi a primeira aplicação completa da auditoria e certificação, o panorama das notas apresentado na Figura 1 reflete o identificado durante os trabalhos, que existem tanto boas práticas como oportunidades de melhoria no concernente à qualidade das informações sobre abastecimento de água e esgotamento sanitário no Distrito Federal.

Foram produzidos os relatórios que foram enviados ao MDR, assim como houve a produção de um documento específico, mais detalhado e contendo plano de recomendações que foi encaminhado ao prestador.

E por fim, como fechamento dos trabalhos de certificação, a Adasa proporcionou apresentação específica e direcionada ao prestador de serviços, em que, além dos resultados, também foram mostradas recomendações de melhorias e foi aberto espaço para comentários e resolução de dúvidas.

ARSEC

A ARSEC optou por iniciar a aplicação da metodologia Acertar pela própria agência e realizar a auditoria de forma escalonada uma vez que já vinha buscando ações com objetivo de otimizar o processo de avaliação do desempenho e qualidade dos serviços realizados pela empresa concessionária dos serviços de operação dos sistemas de abastecimento de água e esgotamento sanitário do município de Cuiabá-MT. Até então, a avaliação estava calçada em documentações que apresentavam divergências entre metodologias e conceitos adotados, e como conseqüência, apresentava riscos que poderiam afetar a qualidade da informação.

Dessa forma, diante do cenário observado, considerou relevante adoção de medidas de uniformização antes de iniciar a implementação da referida metodologia propriamente dita. Os resultados foram notórios e significativos em todas as fases executadas até a presente etapa, e para melhor entendimento, serão melhor detalhados em tópicos conforme segue:

1. Processo de revisão do PMSB: Além de outras vantagens como conhecimento da realidade local e das expectativas dos usuários do sistema, a participação na revisão desse documento contribuiu de forma significativa para que houvesse mais clareza da agência reguladora quanto a metodologia proposta para cálculo dos indicadores que tem por objetivo mostrar a evolução e a qualidade dos serviços de abastecimento de água e de esgotamento sanitário.

A partir do acompanhamento desse documento, que é um dos elementos que norteiam a execução dos referidos serviços, torna-se possível busca pela identificação de fatores que possam induzir a erros ou falhas no processo de geração e/ou na forma de alimentação de informações que vão subsidiar o cálculo dos indicadores de desempenho.

O Plano Municipal de Saneamento Básico de Cuiabá teve sua revisão finalizada em 2018 (PMSB 2018), no qual foram incorporadas as alterações e adequações realizadas a partir

das sugestões dos diversos atores que participaram da construção desse documento, notadamente SMADES, ARSEC, Concessionária dos serviços e Sociedade Civil organizada, identificados nos processos de mobilização social, consulta e audiências públicas.

A metodologia Acertar foi parte integrante do PMSB 2018 no item acompanhamento dos indicadores de desempenho, como sugestão da ARSEC acatada pelos responsáveis pela elaboração da revisão do plano (Fundação Getúlio Vargas – FGV) e pela Concessionária, após o entendimento de se tratar de um instrumento cuja metodologia possibilita o aprimoramento do processo de avaliação do desempenho da Concessionária, melhorando a confiabilidade e precisão dos dados, informações e indicadores.

2. A capacitação dos servidores e gestores da ARSEC proporcionou maior clareza e entendimento na forma de condução do processo de auditoria das informações obtidas de forma direta e indireta; possibilitando ainda maior senso crítico no processo de identificação e avaliação dos riscos e controles associados às informações obtidas.

A Concessionária tem atendido as sugestões da ARSEC e realizado capacitação gradativa de colaboradores, o que tem facilitado nas tratativas a respeito da implementação da Metodologia Acertar.

3. Uniformização das informações e documentações tem possibilitado maior eficiência na leitura e interpretação das informações obtidas junto à Concessionária.
4. A implementação da Metodologia Acertar foi realizada por equipe própria e não exclusiva para a aplicação da metodologia foi realizada de maneira gradual conforme prevê o guia. A ARSEC foi a segunda agência reguladora a elaborar o Relatório de Certificação correspondente a Avaliação de Confiança sem os testes de controle.

As avaliações foram relacionadas a cada teste de controle, agrupadas de acordo com o seu processo. Foram avaliadas as informações obtidas junto a prestadora referente aos anos de 2018, 2019 e 2020 de acordo com a metodologia proposta.

O processo realizado até essa etapa apresenta resultados mais qualitativos, por dar início a verificação dos níveis de implementação dos controles existentes em cada setor da prestadora. E durante esse processo a agência pode ter acesso a políticas, normas e procedimentos utilizados pela Concessionária que até então eram desconhecidos pela agência, processos estes que após discussão e análise conjunta, foram objeto de revisão pela prestadora.

Dessa forma, é correto afirmar que os principais resultados obtidos referem-se ao maior conhecimento dos procedimentos internos da prestadora por parte da agencia reguladora, bem como a multiplicação da metodologia para todos os atores envolvidos no trabalho no decorrer da implementação.

O ato de se fazer a verificação da documentação necessária e existente, bem como a conferência e a correlação de cada unidade de controle com as informações relacionadas no SNIS permitiram o surgimento de debates sobre a forma de cálculo e alimentação das informações encaminhadas ao SNIS.

Além dos resultados obtidos da ação da certificação merecem ser relacionadas algumas das constatações e experiências obtidas durante o processo de implementação da metodologia Acertar, conforme segue.

• A fiscalização indireta realizada mensalmente por meio da análise das informações técnicas e operacionais geradas pela Concessionária, associada às fiscalizações diretas realizadas realizadas “in loco” nos sistemas de abastecimento de água e esgotamento sanitário facilitaram a conferência ou verificação das atividades de controle na maioria dos processos;
• A capacitação dos servidores da agência reguladora e da prestadora dos serviços são facilitadores no processo de disponibilização das informações;
• A evolução no processo de implementado pela ARSEC foi prejudicado pela pouca disponibilidade de colaboradores para realizar os levantamentos necessários, pelos impactos decorrentes da pandemia provocada pelo COVID 19 na ARSEC e na Concessionária, com o afastamento temporário de colaboradores e dificuldades de nas dependências da Concessionária.

Finalizada a elaboração do Relatório de Certificação em março de 2020, apesar de todas as dificuldades a ARSEC foi a segunda agência a concluir o referido documento. A partir dali, novas reuniões para tratar os temas foram retomadas em 2021 com objetivo de dar prosseguimento ao processo.

Merece ser ressaltado ainda que a dinâmica adotada na fase prévia ao inicio da implantação do Acertar contribuiu de forma significativa para o bom andamento dos trabalhos.

CONCLUSÃO

A melhoria da qualidade regulatória deve ser um processo contínuo das agências reguladoras com o propósito bem executar as atividades de sua competência e responsabilidade, com foco na melhoria do desempenho e qualidade dos serviços realizados pelas prestadoras dos serviços; sendo que uma das formas verificação é através dos indicadores de desempenho, metas e qualidade dos serviços prestados a população como um todo.

Nesse sentido, a Metodologia Acertar contribui de forma significativa para aproximar o regulador da realidade do prestador diminuindo os efeitos adversos da assimetria de informações; as notas finais de certificação se constituem em resultados objetivos no que diz respeito à qualidade da informação e é um indicador que pode nortear as ações do regulador e do prestador no que concerne à busca por dados confiáveis que possam retratar fidedignamente a realidade para que seja possível perseguir a melhoria da prestação do serviço.

A aplicabilidade da Metodologia Acertar, tanto por equipe tercerizada, quanto por equipe própria, apresentaram resultados satisfatórios, a luz do que foi proposto a cada tipo de implantação da metodologia.

Todavia as duas agências tenham aplicado etapas diferentes, algumas dificuldades vivenciadas foram comuns para ambas, como o aparentemente receio inicial dos prestadores em fornecer algumas das informações solicitadas, sendo um dos fatores que ocasionaram morosidade na disponibilização dos dados. Além das dificuldades atípicas decorrentes de um período de pandemia.

Da perspectiva da Adasa, mesmo percebendo ainda alguma necessidade de melhor esclarecimento sobre o Acertar por parte da empresa, e que tenha havido um trâmite interno prolongado antes da transferência dos dados ao regulador, a equipe do prestador que coordenou a execução dentro da empresa parece ter entendido a importância da metodologia e contribuiu proativamente na execução dos trabalhos.

Sob a ótica da ARSEC, as etapas percorridas trouxeram um enriquecimento em toda a equipe da agência, que com base nos cursos, treinamentos e no material disponibilizado no site Acertar Brasil, conseguiu executar a implementação exigida com equipe própria da agência. A equipe da ARSEC que executou os trabalhos de implementação do Acertar continuou a realização das tarefas rotineiras da agência e ainda participou de outros projetos correlatos objetivando a melhoria da qualidade regulatória da agência.

Diante disso, é correto afirmar também que, guardadas as devidas proporções, desde que haja capacitação dos colaboradores das agências reguladoras e das prestadoras dos serviços de saneamento básico, a implementação da Metodologia Acertar é possível de ser realizada por equipe própria, trazendo como características significativas a economia de recursos e maior “expertise” no processo.

A execução da metodologia por equipe terceirizada não exime a agência reguladora de capacitação da equipe para que seja melhor otimizado o processo e passivo de multiplicação nos ciclos posteriores.

Importante considerar que além da formas apresentadas neste trabalho, o processo de certificação também pode ser realizado de forma terceirizada através da contratação de consultoria pelo prestador de serviços.

A metodologia Acertar, além de essencial para os que trabalham com políticas públicas para o saneamento básico, propicia a obtenção de dados com qualidade e traz à sociedade maior transparência e confiabilidade nas informações publicadas pelo SNIS.

Apesar da implantação vir acompanhada de desafios, além do objetivo final a que se propõe, a aplicação da metodologia promove maior interação e cooperação entre o prestador do serviço e a agência reguladora, haja vista que a partes de unem em prol de um objetivo comum, a qualidade, rastreabilidade e confiabilidade dos dados e informações gerados e encaminhados para uso de direcionamento dos gestores, das agências reguladoras e da população em geral.

Considerando as experiências comuns vivenciadas pela ADASA e pela ARSEC, resta clara a importância de continuidade no processo de capacitações completas pelas agências e pelos prestadores, contemplando ciclos de debates entre os participantes.

REFERÊNCIAS

BALDWIN, R., CAVE, M. Understanding regulation — theory, strategy and practice. Oxford: Oxford University Press, 2012.

BRASIL, Atos do Poder Legislativo. Lei nº 14.026 de 15 de julho de 2020. In: Diário Oficial da União, Ed: 135, 2020.

BRASIL, Ministério do Desenvolvimento Regional. Portaria n. 719, de 12 de dezembro de 2018. Institui Metodologia para Auditoria e Certificação de Informações do Sistema Nacional de Informações sobre Saneamento (SNIS), relacionada aos Serviços de Abastecimento de Água e Esgotamento Sanitário. Brasília, 2018a.

BRASIL, Ministério do Desenvolvimento Regional. Projeto Acertar. Relatório Técnico Contendo o Guia de Auditoria e Certificação das Informações do SNIS. Brasília, 2018b.

BRASIL, Ministério do Desenvolvimento Regional. Projeto Acertar. Relatório Técnico Contendo o Guia de Auditoria e Certificação das Informações do SNIS. Brasília, 2018b.

BRASIL, Tribunal de Contas da União. Princípios Fundamentais de Auditoria do Setor Público (ISSAI 100). Brasília, 2017.

BRASIL, Sindicato Integrado de Normas Jurídicas do Distrito Federal. Decreto Nº 41.841, de 26 de Fevereiro de 2021. Brasília, 2021.

BRASIL. Sindicato Integrado de Normas Jurídicas do Distrito Federal. Lei Nº 4.285, de 26 de Dezembro de 2008. Brasília, 2008.

CASTRO, R. S.; OLIVEIRA, L. A. D.; CÁCERES, P. S.; JÚNIOR, A. A. N. Auditoria e Certificação de

Informações: Estudo Piloto de Aplicação da Metodologia do Projeto Acertar. In: XI Congresso Brasileiro de Regulação, 2019.

DAMBROS, I. V.; SANTOS, R.F.G.; COSTA, R. A.; SANTOS, C. A. D. Melhoria da Qualidade

Regulatória a partir da Compatibilização de Indicadores e Aplicabilidade da Metodologia Acertar. In: XI Congresso Brasileiro de Regulação, 2019.

MATO GROSSO, Câmara Municipal de Cuiabá. Lei Complementar nº 374 de 31 de março de 2015.

PIMENTA, S. G. Agências Reguladoras Brasileiras e a Questão da Assimetria de Iinformação.

In: I Encontro de Administração da Informação, p. 1–16. Florianópolis, 2007.

PIMENTA, S. G. Assimetria da informação e a gestão do conhecimento estratégico em processos regulatórios. Transinformação, v. 21, n. 2, p. 99-116, 2009.

VASCONCELOS, P. E.A.; VELOSO, L.L. O Novo Marco Legal do Saneamento e o Racismo Ambiental. Revista Direito em Movimento, v.18, n.2, 2020.

Segue o artigo completo para consulta:

Artigo escrito por:

Ildisneya Velasco Dambros - Engenheira Sanitarista, Mestra em Recursos Hídricos pela UFMT, Superintendente de Regulação e Fiscalização dos Serviços de Água e Esgotamento Sanitário da ARSEC.

Rossana Santos de Castro - Graduada em Química e Mestre em Saúde Pública, ADASA – Ag. Reguladora de Águas, Energia e Saneamento Básico do Distrito Federal