Módulo 1
Nesta unidade, vimos que a gestão da informação busca capturar, organizar e analisar os dados para transformá-los em informações estratégicas. Da mesma forma, como veremos neste módulo, o monitoramento e a avaliação também se inserem nesse contexto, como instrumentos essenciais de apoio à gestão pela sua capacidade de melhorar os serviços e, consequentemente, a tomada de decisão.
Na literatura, não há uma concordância acerca das definições de Monitoramento e Avaliação (M&A). De acordo com Sousa (2013), pode ser entendido, em sentido lato, como o conjunto de atividades – articuladas, sistemáticas e formalizadas – de produção, registro, acompanhamento e análise crítica de informações geradas na gestão de políticas públicas, de seus programas, produtos e serviços, por meio das organizações, agentes e público-alvo envolvido, com a finalidade de subsidiar a tomada de decisão quanto aos esforços necessários para aprimoramento da ação pública.
Monitorar e avaliar, apesar de distintas, são ações relacionadas e complementares. Monitorar é verificar a realização regular e sistemática das rotinas, seus resultados, comparando-os com parâmetros preestabelecidos. Avaliar é a capacidade de ponderar uma relação de causa e efeito e a possibilidade de inferir um julgamento de valor a uma intervenção ou serviço.
Os desafios para o aprimoramento da gestão do SUS justificam a iniciativa das ouvidorias em institucionalizar processos e práticas de M&A; afinal de contas, o conceito ampliado de gestão participativa está estreitamente relacionado aos mecanismos participativos de M&A da gestão, das ações e dos serviços de saúde, que desencadeiam medidas para o aprimoramento da gestão do SUS, de forma eficaz e efetiva, nas três esferas de governo.
O objetivo dessa temática é fazer uma breve apresentação de conceitos relacionados ao M&A no cenário trazido pela Lei n. 13.460/2017, com foco na qualidade dos serviços e no nível de satisfação dos usuários do SUS.
Neste material, utilizaremos o termo "serviço" como denominação genérica para qualquer atividade administrativa ou de prestação direta ou indireta de bens ou serviços à população, exercida por órgão ou entidade da administração pública.
O monitoramento é uma prática utilizada para elaborar e realizar análises a partir de mensurações rotineiras das operações, cuja coleta tenha temporalidade e sistematização dos dados. A finalidade é verificar se os serviços estão de acordo com os padrões desejados, isto é, de acordo com os objetivos e metas para os quais foram criados. Clique nas ilustrações para saber mais sobre objetivo e meta.
Portanto, monitorar é uma função inerente à gestão, que tem a finalidade de subsidiar a tomada de decisão e assegurar o controle social, a partir da condução das políticas e dos serviços públicos. Afinal...
Dessa forma, o monitoramento é baseado na observação, na coleta e na análise sistemática de dados e indicadores sobre o desempenho de um serviço. É uma ferramenta que usa informações para fazer o acompanhamento e, ao mesmo tempo, produz informações sobre o andamento das atividades.
A ação de monitorar pressupõe que no processo de implementação do serviço ocorrem situações que não foram planejadas, isto é, o gestor não previu aquela ocorrência. O monitoramento é uma ferramenta que ajuda tanto o gestor como o ouvidor a identificar e lidar com essas situações. Assim, pode cumprir várias funções como (PIECHA; VALERELLI, 2008 apud BRASIL, 2016):
Segundo Guberman e Knopp (2011 apud BRASIL, 2016), o monitoramento:
A origem da palavra "monitor" vem do latim: monitum e significa “aquele que dá conselho, que faz pensar, que adverte, que lembra” (SOUSA, 2013). O monitoramento deve ser uma prática contínua, que envolve algumas etapas (VAITSMAN, 2009 apud BRASIL, 2016). Conheça cada uma delas clicando nos itens a seguir:
O monitoramento pode retroalimentar a gestão e subsidiar a melhoria do seu funcionamento, otimizando a utilização dos recursos e a redução dos custos.
Essa etapa envolve a utilização de ferramentas e sistemas de informação.
O indicador, em geral, foca os principais pontos que afetam os serviços em suas atribuições, compromissos e padrões de atendimento. É o conjunto de variáveis que um serviço utiliza para avaliar o seu desempenho ao longo do tempo. Essas variáveis determinam o progresso do serviço, isto é, se ele está perto ou não de alcançar seus objetivos estratégicos.
Os indicadores funcionam como um termômetro, permitindo balizar o entendimento e o andamento das ações, sendo fundamentais para avaliar os objetivos, metas e resultados propostos, quantitativa e qualitativamente.
As informações produzidas na etapa anterior permitem acompanhar o desenvolvimento dos serviços e, com isso, ajustar a implementação ao que foi planejado.
Entre os principais instrumentos utilizados no monitoramento estão os indicadores; geralmente, são aplicados dentro de sistemas ou em painéis de monitoramento. Seu uso pode potencializar as atividades realizadas pelo serviço.
O monitoramento é o processo de acompanhamento da dinâmica ou progressão de um indicador, realizado por meio da comparação dos valores ao longo do tempo. Por essa razão, monitorar em tempo hábil e interpretar corretamente a variação ocorrida são fundamentais para a importância prática do indicador (SESI PR; OBSERVATÓRIO REGIONAL BASE DE
INDICADORES DE SUSTENTABILIDADE, 2010).
E nas ouvidorias?
Nas ouvidorias, a seleção dos indicadores deve propiciar um modelo capaz de avaliar:
De posse dos resultados, a ouvidoria deverá analisar e interpretar as informações obtidas, comparando-as com os objetivos e metas estabelecidas, além de outros parâmetros julgados relevantes, de forma a verificar o sucesso do trabalho e identificar as necessidades de redirecionamentos.
A Ouvidoria-Geral do SUS utiliza alguns indicadores, considerados indispensáveis para o monitoramento adequado dos processos de trabalho, como descrito no esquema interativo a seguir:
Indicadores
E como esses indicadores são construídos?
Em sua maioria, os indicadores possuem baixa complexidade de cálculo, utilizando princípios básicos da divisão e multiplicação, de modo que pessoas, mesmo sem familiaridade com o linguajar matemático, podem compreender facilmente sua construção. A descrição de indicadores será iniciada, normalmente, por expressões como número, percentual, razão, taxa, proporção, incidência, prevalência, média. Cada um terá uma lógica de construção (SESI PR; OBSERVATÓRIO REGIONAL BASE DE
INDICADORES DE SUSTENTABILIDADE, 2010).
Conforme já vimos, para a construção desses indicadores, é importante considerá-los ferramentas que possibilitam a medição de desempenho dos processos da ouvidoria de maneira quantificável, pois só assim será possível avaliar se os objetivos estão sendo alcançados, ou se existe a necessidade de correção, indicando o caminho para que as metas sejam atingidas. Com base no Manual das Ouvidorias do SUS (BRASIL, 2014b), vamos conhecer alguns exemplos relacionados à avaliação da satisfação do usuário, perfil do usuário, manifestações registradas e informações disseminadas.
Avaliar a satisfação do usuário de um serviço é, com certeza, um indicador de qualidade imprescindível, sendo as ouvidorias do SUS um instrumento valioso para implementar esse processo avaliativo. Mais que isso, a partir dos contatos com a ouvidoria, é possível avaliar a qualidade da atenção dispensada a esse usuário nos serviços de saúde.
Pode-se inferir que o usuário que procura a ouvidoria do SUS já manifestou seu juízo de valor sobre a atenção recebida no SUS, muitas vezes sem se dar conta. E isso também deve fazer parte da avaliação!
Portanto, na ocasião do contato com o usuário para transmitir a resposta à demanda registrada, é importante que a ouvidoria o convide a responder breve questionário de avaliação de desempenho, não o deixando confundir a avaliação da atuação da ouvidoria com a qualidade da resposta fornecida. Deve ficar claro o que está sendo avaliado e, quando possível, acrescentar outras perguntas mais detalhadas sobre os serviços oferecidos.
Assim, a ouvidoria deverá avaliar a satisfação do usuário nos seguintes pontos:
No que se refere ao serviço prestado, o feedback do usuário torna-se preponderante para a melhoria dos processos. Alguns aspectos a serem observados e avaliados:
Conheça algumas informações sobre a taxa de satisfação do usuário:
Conhecer o perfil dos usuários que acessam o serviço de ouvidoria é de suma importância. Afinal de contas, o potencial desses serviços vem da forma como trabalham as informações trazidas pela população.
Assim, a depender da forma como esses dados são trabalhados, as ouvidorias podem gerar relevantes informações para a gestão, dando voz ativa aos seus usuários.
Ademais, a partir desse perfil a ouvidoria pode avaliar questões relacionadas à motivação para a utilização do serviço de ouvidoria, acessibilidade, melhoria na divulgação do serviço etc.
Um exemplo interessante seria o gestor, por meio dos dados coletados pela ouvidoria, conhecer o perfil dos usuários que necessitam de medicamentos, identificando os medicamentos prescritos em uma determinada Unidade Básica de Saúde (UBS). Sexo predominante, idade, doenças, medicamentos prescritos (padronizados ou não), entre outros aspectos. Todos esses dados poderiam ser utilizados em prol da população atendida. A equipe de saúde da UBS poderia focar melhor nos tratamentos mais frequentes. A gestão, por sua vez, poderia promover o uso racional desses medicamentos e até mesmo reduzir gastos, instituindo terapias não medicamentosas para o controle dos problemas de saúde da população.
Enfim, há a necessidade do uso mais reflexivo e menos mecânico das informações oriundas das ouvidorias, o que dará ao usuário o direito de exercer a sua função de agente transformador dos serviços de saúde.
Em relação às manifestações registradas, existem diversos indicadores que trarão resultados importantes para a gestão das ouvidorias, como: total de manifestações (mensal, bimestral, semestral ou anual), canais mais utilizados, assuntos mais demandados etc.
Mas se focarmos no mínimo que uma ouvidoria deve fazer, o desempenho do serviço será medido, principalmente, pela taxa de resposta, o tempo de resposta e a taxa de reabertura das manifestações:
Indicador que mede as manifestações que foram respondidas. É calculada em valor percentual (%) em relação ao total de demandas registradas em um período. Pode ser calculada para a ouvidoria , ou por sub-rede (ponto de resposta).
O Tempo de Resposta (TR) também é fundamental, pois além da resposta propriamente dita, é necessário fornecê-la dentro do prazo legalmente estabelecido, especialmente se levarmos em consideração que o tempo é fator decisivo para diversos assuntos em saúde.
Para calcularmos o TR de uma manifestação, devemos calcular a diferença (dias) entre a data de registro e a data de fechamento. Exemplo:
Ao calcular o TR de todas as manifestações respondidas, teremos o Tempo Médio de Resposta (TMR); esse indicador medirá o tempo médio gasto para encaminhar a resposta ao usuário em um determinado período.
A taxa de reabertura, apesar de ser um indicador relacionado às manifestações registradas, também está atrelada à satisfação do usuário, uma vez que confirma a insatisfação do manifestante com a resposta fornecida pela ouvidoria (resposta equivocada, incompleta, má qualidade etc.).
É importante esclarecer que numa resposta satisfatória não necessariamente o pleito será atendido, ou seja, a resposta pode indicar a inviabilidade de atendimento à demanda do usuário.
No Módulo 1, aprendemos que, além do encaminhamento e tratamento adequado das manifestações, as ouvidorias do SUS atuam como instrumentos de disseminação em saúde.
Na verdade, todo atendimento realizado em uma ouvidoria do SUS resultará:
Isso significa que as ouvidorias fazem mais do que somente receber e responder as manifestações; o trabalho, além de resolutivo, pois busca a solução de problemas trazidos pelos usuários, tem também um perfil pedagógico, desempenhando um importante papel educativo ao esclarecer os usuários sobre seus direitos e responsabilidades.
No atendimento à população, muitas vezes a dificuldade ou impossibilidade de fruição de um serviço ocorre por falta de informação sobre a forma adequada de acesso, o que gera um conflito entre o indivíduo e o Estado. Daí a importância de disseminar e dar transparência às informações, lembrando sempre que os problemas individuais são importantes para elaboração de soluções coletivas.
A disseminação, se bem-feita, é uma vantagem não somente para o usuário, mas para a própria ouvidoria. Essas informações podem, amiúde, simplificar o atendimento, fazendo com que a ouvidoria não tenha a necessidade de registrar, tratar e encaminhar manifestações que podem ser resolvidas por meio de um simples esclarecimento.
Como exemplo, podemos citar os diversos cidadãos que entram em contato com o Ministério da Saúde (MS) para saber sobre tratamento e prevenção de doenças, aquisição de medicamentos ou para relatar a impossibilidade/dificuldade de acesso a um serviço público de saúde.
Parta do princípio que, apesar de o direito à informação estar previsto na Constituição, nem todos gozam dele. Portanto, além das perguntas de sondagem, preocupe-se sempre em repassar informações básicas, que parecem conhecidas, simples, mas que muitos não sabem, como:
Portanto, a partir das informações disseminadas, a ouvidoria também consegue materializar a percepção do usuário sobre o serviço público, gerando diagnósticos, soluções adotadas, pareceres ou gerando recomendações.
Nos serviços, a seleção dos indicadores deve propiciar um modelo capaz de avaliar a prestação de serviços públicos. A Lei n. 13.460/17, também conhecida como Código de Defesa do Usuário do Serviço Público, define que órgãos e entidades por ela abrangidos divulgarão Carta de Serviços ao Usuário (BRASIL, 2017). Essa carta tem por objetivo informar o usuário sobre os serviços prestados, as formas de acesso a esses serviços e seus compromissos e padrões de qualidade de atendimento ao público, o que deverá ser avaliado por meio de pesquisa de satisfação.
Assim, em relação ao M&A dos serviços públicos, as ouvidorias poderão basear-se também nas manifestações recebidas, elaborando, anualmente, relatório de gestão, que deverá consolidar essas informações, e, com base nelas, apontar falhas e sugerir melhorias na prestação de serviços públicos.
Esse relatório deverá conter os itens mencionados no módulo anterior.
Diferentemente do monitoramento, que tem o propósito de subsidiar os gestores com informações mais simples e tempestivas sobre a operação e os efeitos do programa, resumidas em painéis ou sistemas de indicadores de monitoramento (JANNUZZI et al., 2009, p. 124), a avaliação tem como objetivo subsidiar os gestores com informações mais aprofundadas e detalhadas sobre o funcionamento e os efeitos do serviço, levantadas nas pesquisas de avaliação (SOUSA, 2013).
Como vimos anteriormente, avaliar é a capacidade de ponderar uma relação de causa e efeito e a possibilidade de inferir um julgamento de valor a uma intervenção ou serviço. Monitorar é verificar a realização regular e sistemática das rotinas, seus resultados, comparando-os com parâmetros
preestabelecidos.
No caso da avaliação, todos esses dados e informações servirão de base para que se possam determinar os impactos daquele serviço na realidade estudada, pois sua principal preocupação é a capacidade do serviço em gerar as mudanças planejadas (BARBOSA, 2001).
De acordo com a Lei n. 13.460/2017 (BRASIL, 2017), os órgãos e entidades públicos por ela abrangidos deverão avaliar os serviços prestados. Além da qualidade e o nível de satisfação do usuário com o serviço prestado, outros aspectos também serão considerados, como:
Essas avaliações deverão ser realizadas por meio de pesquisa de satisfação feita, no mínimo, a cada ano, incluindo o ranking das entidades com maior incidência de reclamação dos usuários naquele período monitorado.
Além das pesquisas, a sistemática de monitoramento e avaliação do desempenho institucional podem contemplar e integrar informações de diversas fontes, inclusive dos relatórios de ouvidoria, estudos e levantamentos efetuados com a sociedade e com os públicos-alvo e de mecanismos de relacionamento com o público externo.
As redes sociais seriam bons exemplos, apesar de a Ouvidoria-Geral do SUS ainda não as utilizar. Com o aumento do uso da internet e dos smartphones, seriam o termômetro perfeito para saber o que a população vem falando sobre “saúde” nas redes digitais; e atuariam como suporte à ouvidoria, auxiliando no monitoramento e no atendimento, evitando, inclusive, a propagação das famosas fake news.
Ainda sobre a internet, é importante que a ouvidoria, em parceria com governos municipais, estaduais e federal, tenha sua página em algum sítio eletrônico, afinal de contas, ter um site próprio é o que podemos chamar de "presença mínima digital". Vale lembrar que a pesquisa do Google é amplamente usada por usuários que buscam soluções e serviços para seus problemas. Isso faria com que a ouvidoria, além de aumentar seus canais de atendimento, pudesse ter mais um meio para se relacionar com seus usuários, disseminar informações em saúde e avaliar o serviço prestado.
Outra possibilidade seriam as consultorias especializadas, dependendo dos recursos financeiros disponíveis. Após um briefing inicial, a empresa contratada, junto à ouvidoria, optaria pela melhor metodologia, ficando responsável pelo planejamento, realização e análise estatística dos dados coletados.
A atuação das ouvidorias no campo das pesquisas deve estar pautada no arcabouço legal. Assim, as pesquisas de satisfação surgem como importante instrumento de avaliação, uma vez que a avaliação é o feedback (a resposta) de quem vivencia o objeto avaliado.
No caso das ouvidorias, a pesquisa de satisfação deverá abranger, além dos indicadores de desempenho, o atendimento prestado pela ouvidoria e a resolutividade da manifestação, isto é, se ela foi efetivamente atendida/resolvida. Em relação aos serviços, é importante que as pesquisas disponibilizem informações sobre o nível de cumprimento dos compromissos dispostos na Carta de Serviços ao Usuário, para análise do ouvidor e do gestor, de forma a subsidiar a tomada de decisão, célere e eficaz.
No próximo módulo desta unidade, você terá acesso às metodologias utilizadas para a avaliação da qualidade dos serviços e do nível de satisfação dos usuários do SUS.
Mas, antes disso, que tal trocar sobre as avaliações nas ouvidorias com seus colegas na próxima atividade?
Esta atividade é um espaço de diálogo para a troca de experiências, informações e conhecimento. Neste módulo, aprendemos que o monitoramento tem o propósito de subsidiar a ouvidoria com informações simples e tempestivas. Isso pode ser feito por meio de indicadores que podem ser facilmente consumidos pela gestão e pela própria ouvidoria.
Assim, baseando-se nas competências essenciais e nos objetivos para os quais foi criada, você acha que a sua ouvidoria realiza a supervisão de suas atribuições a partir de análises e sistematização dos dados? Sua ouvidoria já utiliza indicadores? Os dados já apontaram alguma necessidade de mudança organizacional?
Agora, acesse o AVA e conte para a gente sua experiência. E, claro, veja as situações apresentadas por seus colegas e escolha algumas para comentar.
Com a troca de experiências essa rede de ouvidorias só se fortalece.
