A avaliação é o momento crucial de verificar se os esforços e recursos aplicados nas parcerias com entidades privadas estão gerando os resultados esperados na saúde pública. Esse processo inicia-se ainda na fase de planejamento e estipulação do ajuste. É nesse momento que são definidas as metas de resultado, os indicadores capazes de medir a eficiência, eficácia e efetividade da parceria, e a estrutura objetiva de avaliação. Este capítulo aborda como fazer uma avaliação eficaz e como usar o conhecimento gerado para promover a aprendizagem contínua, garantindo que as lições aprendidas melhorem cada vez mais a gestão das parcerias, desde o planejamento até a fiscalização.

Avaliar significa ir além de acompanhar as atividades (o “como”); é entender o “porquê” das coisas e, principalmente, “qual o impacto” da parceria na vida das pessoas. O foco principal é medir se a parceria produziu os efeitos desejados e qual o valor gerado, bem como avaliar se as metas e objetivos acordados foram cumpridos.

1. Definição de Metas e Indicadores Claros:

A base para qualquer avaliação eficaz são metas bem estabelecidas e indicadores objetivos. A legislação (como as Leis 9.637/98, 9.790/99 e 13.019/14) exige que os instrumentos de ajuste incluam metas claras e critérios de avaliação baseados em indicadores de qualidade e produtividade. A avaliação deve se concentrar na verificação do impacto gerado pelo cumprimento das metas operacionais e de qualidade pactuadas no instrumento de ajuste. É crucial que a metodologia de estipulação de metas seja documentada e considere dados técnicos e de demanda do equipamento de saúde, evitando que metas em descompasso com a realidade comprometam a avaliação. Desafio Comum: É um risco significativo que as metas sejam estabelecidas de forma inadequada, sem considerar a realidade do serviço, ou que os indicadores não reflitam as dimensões importantes da operação do equipamento de saúde. Isso ocorre por falta de planejamento e desconhecimento dos custos, da demanda e dos padrões de qualidade.

Solução: Para evitar isso, é crucial documentar a metodologia usada para definir as metas e assegurar que os indicadores sejam claros, mensuráveis e relevantes, refletindo as
necessidades da população. Os indicadores definidos na fase de Planejamento e acompanhados no Monitoramento são a base para a avaliação. É fundamental que estes indicadores sejam claros, mensuráveis e relevantes, refletindo as dimensões críticas da operação e as necessidades de saúde da população. A ausência ou inadequação na definição desses indicadores pode
levar a uma avaliação superficial.

2. Atividade de Avaliação: O Processo Analítico

A ação de avaliar, propriamente dita, realizada pelos vários atores envolvidos no processo, confrontando os dados dos produtos gerados com as metas e objetivos, deve envolver:

• Fluxo de Avaliação (Leis 9.637/98 e 9.790/99): A entidade parceira elabora relatório de execução e prestação de contas. Estes são avaliados pela comissão de avaliação, que emite relatório técnico conclusivo à autoridade pública responsável.

• Fluxo de Monitoramento e Avaliação (Lei 13.019/14): A administração pública avalia a parceria, analisando o cumprimento de metas e o impacto social, podendo recorrer a recursos humanos, tecnológicos e apoio de terceiros. Se metas não forem alcançadas, documentos comprobatórios de despesas são analisados. Auditorias internas e externas também são consideradas. Um “relatório de monitoramento e avaliação” é gerado e homologado pela comissão de monitoramento e avaliação.

• Análise da Prestação de Contas (Lei 13.019/14): A entidade parceira encaminha relatórios de execução do objeto (REO) e financeira (REF). A equipe técnica analisa o REO, considerando o relatório de monitoramento e avaliação e visitas in loco. Se houver descumprimento de metas, o REF é analisado. O gestor emite parecer técnico, avaliando a eficácia, efetividade, impactos e sustentabilidade.

3. Ferramentas de Análise de Dados e Painéis de Acompanhamento

Para uma análise aprofundada, é essencial utilizar ferramentas de análise de dados que permitam monitorar o desempenho em relação às metas e indicadores, possibilitando ajustes baseados em evidências. A criação de painéis de acompanhamento de indicadores facilita a visualização e a compreensão dos resultados, tornando a informação acessível para a tomada de decisão.

4. Processo de Feedback Regular

A avaliação deve alimentar um ciclo de feedback contínuo, permitindo que as metas e os indicadores sejam ajustados conforme a realidade se modifica. Esse ajuste constante é vital para a relevância da avaliação.

A avaliação não é apenas um relatório final, mas uma oportunidade para que o ente público e seus parceiros aprendam e melhorem. As informações coletadas devem ser a base para refinar as ráticas de gestão e se adaptar a novos desafios.

• Produtos para a Avaliação: O processo de avaliação é alimentado por diversos documentos, tanto internos quanto gerados pela entidade parceira:

– Relatórios da Entidade Parceira: As leis exigem que a entidade apresente relatórios periódicos de execução (com comparativo de metas x resultados) e prestações de contas detalhadas sobre os gastos e receitas.
– Relatórios Internos do Ente Público: O ente público gera relatórios técnicos de monitoramento e avaliação, pareceres do gestor da parceria sobre a prestação de contas, e
relatórios de visitas in loco. Esses documentos devem abordar resultados, benefícios e impactos sociais.- Auditorias e Pesquisas de Satisfação: Relatórios de auditoria (interna e externa) e pesquisas de satisfação com os usuários são fontes valiosas de informação. Desafio Comum: Há um risco de manipulação de dados nos documentos fornecidos pela entidade ou de indefinição do conteúdo e formato desses relatórios, tanto os gerados externamente quanto internamente. Isso leva a avaliações superficiais ou baseadas em informações incorretas. Solução: É fundamental desenvolver padrões claros para o conteúdo e formato de todos os relatórios, além de estabelecer um processo rigoroso de revisão e validação para garantir a precisão e a integridade dos dados.

• Revisão e Adaptação: Com base nas informações coletadas e analisadas o ente público deve promover ajustes contínuos nos processos de transferência e gestão. Isso inclui a revisão periódica de metas e a promoção da capacitação contínua dos colaboradores, usando ferramentas digitais para cruzar dados e obter conhecimento.

• Cultura de Colaboração: Criar um ambiente onde os avaliadores podem compartilhar experiências e melhores práticas (como em grupos de discussão ou plataformas de aprendizado online) fortalece a capacidade técnica de todos e facilita a adaptação.

A eficácia da avaliação está diretamente ligada à competência técnica e à independência das equipes responsáveis. Riscos como a nomeação de gestores públicos e a
composição de comissões sem os requisitos técnicos necessários podem comprometer
seriamente a avaliação.

• Critérios Rigorosos de Seleção: Definir critérios rigorosos para a seleção de avaliadores é essencial, assegurando que possuam as qualificações e experiência necessárias para realizar avaliações eficazes. A formalização dos critérios de avaliação adotados, garantindo que sejam justificados e documentados, é uma prática que ainda requer maior atenção.

• Comissão de Avaliação Qualificada: A comissão de avaliação deve ser composta por membros com notório saber em saúde pública, gestão hospitalar ou avaliação de serviços de saúde. Essa comissão deve participar ativamente do processo de avaliação, sendo crucial que seus membros possuam conhecimento técnico adequado e acesso a recursos tecnológicos para uma análise profunda e criteriosa dos relatórios.

• Gestores Qualificados: Assegurar que um gestor qualificado seja nomeado para a parceria, com formação superior e experiência relevante na área de saúde, é um pilar para a avaliação eficaz.

O ente federado deve assegurar que a “Comissão de avaliação seja composta por membros qualificados e sem conflitos de interesse” e que a “Comissão de avaliação possua recursos tecnológicos para realizar uma análise profunda e criteriosa”.

A avaliação, para ser completa e legítima, deve incorporar a perspectiva do controle social, refletindo a voz da comunidade e a atuação de instâncias participativas.

• Envolvimento dos Conselhos de Saúde: Os Conselhos de Saúde (Municipal, Estadual) são instâncias fundamentais de controle social. Seu envolvimento na avaliação é crucial para garantir a legalidade e a adequação do modelo às necessidades da saúde pública ²⁴.

• Conselhos de Política Pública Ativos: É fundamental que o Conselho de Política Pública emita documentos formais sobre a parceria, contendo avaliações dos resultados e manifestações sobre a conveniência da transferência do equipamento de saúde. Isso corrobora a importância da governança e supervisão ativas.

• Transparência e Relatórios Públicos de Desempenho: As estruturas de governança devem ser claras e transparentes, definindo papéis e responsabilidades para supervisionar a gestão do equipamento. Além disso, a divulgação pública dos relatórios de desempenho, de forma acessível e compreensível, permite que a sociedade acompanhe os resultados e exerça seu controle ²⁵.

²⁴ A jurisprudência, como a ADI 7.629/MG do STF, reafirma a importância da participação popular e da fiscalização por parte desses conselhos.
²⁵ O Acórdão Nº 2179/2021 – PLENÁRIO do TCU enfatiza a necessidade de integral operacionalização e divulgação centralizada dos dados de transparência dos recursos, o que se alinha com a necessidade de relatórios
públicos de desempenho para avaliação.

A fase de avaliação, embora crítica, apresenta desafios que podem comprometer sua eficácia e a consequente aprendizagem. A proatividade na identificação e mitigação desses riscos é fundamental:

• Risco 1: Metas estabelecidas em descompasso com a realidade do equipamento de saúde.

– Problema: Metas que não refletem as condições reais do serviço e da população, levando a avaliações distorcidas.
– Mitigação: Implementar processos de revisão periódica e documentar a metodologia de estipulação de metas considerando dados técnicos e de demanda.

• Risco 2: Inadequação na definição dos indicadores de avaliação.

– Problema: Falta de indicadores claros, mensuráveis e relevantes para uma avaliação eficaz.
– Mitigação: Estabelecer indicadores de desempenho alinhados às dimensões críticas da operação e necessidades da população. Oferecer treinamentos em definição e uso de indicadores.

• Risco 3: Falha na definição do conteúdo e modelos de relatórios de avaliação.

– Problema: Relatórios que não fornecem as informações necessárias para uma avaliação efetiva.
– Mitigação: Desenvolver e implementar padrões claros para o conteúdo e formato dos relatórios, com processos de revisão e validação.

• Risco 4: Manipulação de dados nos documentos gerados externamente.

– Problema: Informações imprecisas ou adulteradas comprometem a integridade da avaliação.
– Mitigação: Utilizar ferramentas de controle de qualidade, realizar auditorias regulares dos relatórios e formalizar os critérios de avaliação com participação de comissão qualificada.

• Risco 5: Nomeação de gestores sem os requisitos técnicos necessários.

-Problema: Avaliação inadequada devido à falta de formação, experiência ou conhecimento específico dos responsáveis.
-Mitigação: Estabelecer e implementar programas de capacitação contínua para avaliadores, definir critérios rigorosos para sua seleção e desenvolver plataformas online para aprendizado.

• Risco 6: Comissão de avaliação composta por membros sem qualificação técnica adequada e sem recursos tecnológicos.

– Problema: Relatórios de avaliação internos de baixa qualidade devido à falta de expertise e ferramentas adequadas. o Mitigação: Criar grupos de discussão para compartilhamento de melhores práticas e assegurar que a comissão tenha os recursos e a qualificação técnica necessária.

• Risco 7: Conselho de política pública sem atuação ou atuação ineficaz.

– Problema: Perda de uma instância crucial de supervisão e avaliação da parceria.
– Mitigação: Estabelecer estruturas de governança claras e transparentes, assegurar conselhos de supervisão ativos e independentes, e definir indicadores específicos para monitorar a eficácia da governança.

Para garantir que a avaliação seja um processo contínuo de aprendizado e aprimoramento, o ente público deve verificar os seguintes itens:

• Acompanhamento dos Resultados:

– As metas e objetivos foram claramente definidos e refletem a realidade do equipamento e da população?
– Há um processo de revisão periódica das metas para garantir seu alinhamento contínuo?
– Os indicadores de desempenho são claros, mensuráveis e relevantes, e são utilizados na avaliação?
– Ferramentas de análise de dados são empregadas para monitorar o desempenho e subsidiar ajustes?
– Existe um processo de feedback regular que permite ajustes nas metas e indicadores?

• Revisão e Adaptação de Práticas:

– Programas de capacitação contínua para avaliadores e equipes de relatório estão implementados?
– Plataformas online de aprendizado e grupos de discussão são utilizados para fomentar o conhecimento?
– Padrões claros para o conteúdo e formato dos relatórios de avaliação foram desenvolvidos e são seguidos?
– Há um processo de revisão e validação dos relatórios antes de sua submissão?
– Auditorias regulares dos relatórios são realizadas para verificar a qualidade e integridade dos dados?

• Qualificação das Equipes de Avaliação:

– Critérios rigorosos são definidos para a seleção de gestores e membros das comissões de avaliação?
– A comissão de avaliação possui membros com qualificação técnica adequada e acesso a recursos tecnológicos?
– Os critérios de avaliação adotados são formalizados e devidamente documentados?

• Envolvimento do Controle Social:

– Os Conselhos de Saúde e Conselhos de Política Pública estão ativamente envolvidos na avaliação da parceria?
– O Conselho de Política Pública emite documentos formais com avaliações e manifestações sobre a parceria?
– Os resultados da avaliação são divulgados publicamente de forma acessível e compreensível para a sociedade?

Ao implementar essas práticas e utilizar o conhecimento gerado pela avaliação, o ente público consolida sua capacidade de gestão, assegurando que as parcerias com entidades privadas contribuam de forma efetiva e transparente para a melhoria contínua dos serviços de saúde oferecidos à população.