Com base nas recomendações e classificação de cada
critério do programa avaliado, foi desenvolvido o julgamento final do programa,
quanto a sua consistência. Foi
considerado como consistência o grau de solidez da proposta do programa, que
permite alcançar níveis adequados de segurança nos objetivos propostos. Ou
seja, a segurança de que os objetivos propostos são alcançáveis no tempo e com
os recursos propostos.
As categorias de consistência dos programas analisados
foram definidas como:
ü Consistente
(C): apresenta níveis
de certeza amplos devido ao desenvolvimento alcançado nos critérios anteriores.
ü Consistente
com observações (CO):
apresenta níveis de certeza adequados em relação a informação obtida nas
análises dos critérios de avaliação, no entanto, existem recomendações sobre
algumas temáticas em particular.
ü Inconsistente
(I): apresenta
limitados níveis de certeza. Com base na análise dos 6 critérios de avaliação,
se observa que na maioria dos mesmos se apresentam recomendações importantes
para ser incorporadas antes que o programa tivesse sido do.
A metodologia para se classificar o
programa entre consistente; consistente com observações e inconsistente
dependeu da ponderação que cada expert fez
a respeito dos critérios de avaliação desse programa. Tal ponderação seguiu a
metodologia sugerida por MIDPLAN (2001):
- Considera-se que entre os 06 critérios de avaliação há níveis de importância diferentes. Os critérios pertinência e coerência são base para os outros critérios. A pertinência do desenho do programa é função do diagnóstico e sua solução. Já a coerência está relacionada com a lógica interna e externa do desenho requerida para a resolução do problema;
- A partir da consideração do item anterior, os critérios de eficiência, eficácia, sustentabilidade e avaliabilidade, são variáveis dependentes da pertinência e da coerência;
- Desta forma, os critérios pertinência e coerência tiveram um peso 6,0 cada um;
d. Os demais critérios (eficiência,
eficácia, sustentabilidade e avaliabilidade) tiveram peso 3,0 cada um deles.
A tabela 1
resume a pontuação atribuída aos programas avaliados pelos experts:
Com a
combinação da classificação dos critérios entre muito bom, bom e regular
pôde-se obter a valoração final do programa, de acordo com a seguinte regra:
- Um programa foi considerado consistente, se alcançou pontuação máxima de 144 pontos, sendo muito bom em todos os critérios;
- Um programa foi considerado consistente com observações, se reuniu uma pontuação entre 143 e 120 pontos;
- Um programa foi avaliado como inconsistente se alcançou uma pontuação máxima entre 119 e 96.
Desta forma,
tem-se na Tabela 2:
