Частина 3 (оцінність місцевих програм, висновок за сукупністю вдалих і невдалих показників)

Проф. Андрій Галай

Це третя, завершальна частина великого допису про якість місцевих цільових програм. Попередні частини читайте тут.

Оцінність місцевої програми

Оцінність програми – це її спроможність бути оціненою на предмет виконання та досягнення очікуваних результатів.

Скільки разів монітори Місцевого індексу отримували відповідь від посадовців: «Звичайно ми оцінюємо програми, погляньте – ось (покласти контроль на заступника мера) і ось (моніторинг виконання здійснюється шляхом періодичного/щорічного/щопіврічного звітування)»! Так от, це не якісне оцінювання. Якісне буде тоді, коли місцеві мешканці побачать у самій програмі принаймні такі позиції: якісні очікувані результати, зрозуміла система моніторингу за участі громади.

Очікувані результати мають бути конкретні (ніякого посилення спроможності задоволення базових потреб щодо сприйняття оновленої системи!) та вимірювані кількісно (надати стільки-то послуг, забезпечити утворення не менш як стільки робочих місць, досягти середньої тривалості ремонту … протягом доби тощо) або якісно (впровадити конкретний електронний сервіс, передати конкретну функцію новому виконавцю).

Насправді – якісні результати теж, як правило, вимірюються цифрами, адже їх важче сфальсифікувати.

Очікувані результати мають відповідати поставленим цілям та завданням програми, (а не бути стерильним копіпастом, що підходить (насправді, не підходить) до будь-якої програми від екологічної до впровадження електронної демократії) і демонструвати її повне виконання (а не якоїсь частини).

Зрозуміла система моніторингу – така, у якій чітко письмово описано, хто, що і як робить, чим завершується моніторинг.

Повернімося до традиційної фрази-прикладу, яку ми бачили у десятках місцевих програм: покласти контроль на заступника мера чи секретаря. Ніби все зрозуміло – хто робить? Так, але як саме ця геніальна і універсальна посадова особа це робитиме, чи достатньо лише її? Поміркуйте самі.

Ще згадаймо критерій обґрунтованості програми – до її складання дуже важливо залучати місцеву експертну громадську спільноту. Так ось, представники стейкхолдерів (місцевої експертної громадськості) мають брати участь і в оцінюванні програми. Чому – щоб забезпечити об’єктивність цього процесу.

А що поганого у системі оцінювання через звіти? Поганого нічого, але для якісної оцінки варто бути впевненим, що ці звіти засновані на зрозумілій системі критеріїв (ті самі кількісні та якісні оцінки), об’єктивні (проводяться не самою лише владою), компетентні (виконуються людьми, що тямлять у проблематиці), проводяться не лише в кінці тривалої програми (але і на проміжних етапах, щоб можна було скоригувати заходи залежно від нових обставин), завершуються обговоренням і ухваленням рішення, (а не будуть поставлені на пильну полицю).

Де шукати виконання критерію оцінності – у самій програмі, зазвичай в кінці її тексту, можливо у окремому додатку.

Гарні практики моніторингу і оцінки місцевих програм серед проіндексованих міст наразі знайти дуже важко. В якості прикладів щодо вимірюваності очікуваних результатів і потенційних ризиків зазначимо Програму розвитку освіти м. Львова на 2017 – 2020 роки; а щодо системності заходів оцінки і залучення до цього процесу стейкхолдерів (громадськості та професійної спільноти (Інститут міста)) зазначимо теж львівську Комплексну стратегію розвитку міста на 2012-2025 рр.

Як оцінювати частково якісні програми?

Концепція Місцевого індексу – чітка бальна оцінка за кожний індикатор. Оцінка кожної програми теж має завершитись балом: 0 чи 1.

Напевно немає ідеальних програм з дотриманням усіх названих критеріїв і їх елементів. Моніторинги близько 30 міст у Місцевому індексі прав людини принаймні таких наразі не виявили.

Два приклади.

Погляньмо як на ілюстрацію на вже згадану Комплексну програму «Основні напрямки соціальної політики у м. Красноармійську (Покровську) на 2016-2021 роки». Гарно виписано обґрунтування прийняття програми. У звіті моніторингу за інструментом “Місцевий індекс прав людини” її було оцінено як системну (охоплює 7 напрямів), адресну (налічує 112 пунктів) та узагальнену в єдиному документі. Програма спрямована на осіб, що перебувають за межею бідності чи у складних життєвих обставинах. Проте наведена програма не передбачає чіткого ресурсного забезпечення, пріоритетності та порядку надання допомоги. Очікувані результати програми сформульовані поверхово та не можуть бути детально оцінені. З наведених причин програма, за сукупністю показників (три негативних проти двох позитивних), була оцінена як недієва.

І навпаки: у тому ж прифронтовому регіоні Маріупольська міська цільова програма соціального захисту населення «Маріуполь з турботою про Вас» на 2017-2021 роки була визнана системною, адресною, реалістичною. Проте одночасно, з позиції контролю, було зазначено, що у програмі немає конкретного механізму та чітких критеріїв її оцінювання. У цій ситуації позитивні критерії на погляд моніторів переважили негативні (три проти двох) і програма була оцінена як дієва.

У суперечливих ситуаціях деякі монітори губляться і починають вмикати суб’єктивність: “Так, немає бюджету; так, заходи поверхові; так, видно нереалістичність, але… стараються ж, так доброзичливо розповідають, такий важливий (улюблений монітором) пункт включений серед заходів…”

Так от, не треба сентиментів – вмикаємо математику і рахуймо бали за критерії дієвості. Нарахували 2/3 дієвості – визначаємо програму дієвою, трішки менше, зважуємо більш уважно. Але якщо менше половини показників критеріїв дієвості програми – немає балу, яким би симпатичним не було місто чи його очільники.

І, звісно, пояснюємо своє рішення – із стількох ознак дієвості підтверджено стільки. Тому … (висновок).

І ще, не забуваймо доказово описувати кожний критерій. Що таке доказовість – ми вже пояснювали у іншому дописі блогу «Місцевого індексу прав людини».