İzleme ve Değerlendirme Aynı Şey Değildir.
İzleme bize "ne yapıldı?" sorusunu cevaplar: kaç kişi programa katıldı, kaç eğitim verildi, kaç işletmeye ulaşıldı, bütçenin ne kadarı kullanıldı, faaliyetler zamanında tamamlandı mı.
Değerlendirme ise farklı bir soru sorar: bu faaliyetler ne değiştirdi? Katılımcının bilgisi arttı mı? Davranışı değişti mi? İstihdam olasılığı yükseldi mi? Geliri arttı mı? Hizmete erişimi iyileşti mi?
Ve etki değerlendirmesi bir adım daha ileri gider: bu değişim gerçekten programdan mı kaynaklandı?
Faaliyetlerden Ölçülebilir Etkiye
İyi bir M&E sistemi yalnızca çıktı saymaz. Programın mantığını bütünsel olarak kurar.
Bir genç istihdam programında: input bütçe, uzman ve eğitim materyalidir; activity mesleki eğitimdir; output eğitimi tamamlayan genç sayısıdır; outcome işe giren genç oranıdır; impact ise program nedeniyle oluşan net istihdam artışıdır.
Bu ayrım yapılmazsa, başarılı uygulama ile başarılı etki birbirine karıştırılabilir.
- Inputs
- Activities
- Outputs
- Outcomes
- Impact
Değişim Teorisi
Bir değerlendirme çalışmasına çoğu zaman veri toplamadan önce başlarız: program hangi problemi çözmeye çalışıyor, hangi mekanizma üzerinden değişim bekleniyor, bu değişimin ara aşamaları neler, hangi varsayımlar doğru olmak zorunda.
Buradan Theory of Change ve sonuç zinciri oluşturulur; daha sonra göstergeler bu yapıya bağlanır. Çünkü doğru göstergeyi seçmeden yapılan izleme, sadece çok sayıda rakam üretir.
İzleme ve Değerlendirme Gösterge Çerçevesi
İyi bir gösterge ölçülebilir, yorumlanabilir, zaman içinde takip edilebilir, program mantığıyla bağlantılı ve karar açısından kullanılabilir olmalıdır.
İhtiyaç halinde output, outcome, impact, process ve quality göstergeleri birlikte tasarlanır. Ayrıca her göstergenin tanımı, payı-paydası, veri kaynağı, ölçüm sıklığı, sorumlusu ve hedef değeri net biçimde tanımlanır.
Bir baseline hikâyesi
Başlangıç Araştırması (Baseline Study)
Bir programın sonunda "başarı" göstermek kolaydır. Asıl mesele, başlangıç noktasını bilmektir.
Program başlamadan önce gençlerin %32’si istihdamdaysa ve endline’da bu oran %45’e çıkmışsa, ilk bakışta 13 puanlık artış görüyoruz. Ama hemen şu soruyu sorarız: aynı dönemde program dışındaki gençlerde ne oldu?
Eğer karşılaştırma grubunda oran %31’den %42’ye çıkmışsa, genel ekonomik koşullar da önemli rol oynamış olabilir. İşte değerlendirme bu farkları ayrıştırmaya çalışır.
Başlangıç, Ara Dönem ve Nihai Değerlendirme Araştırmaları
Bazı projelerde yalnızca başlangıç ve final ölçümü yeterli değildir. Baseline başlangıç durumunu, midline program devam ederken değişimin yönünü, endline ise program sonundaki sonucu gösterir.
Bu yapı özellikle uzun süreli sosyal politika, eğitim, sağlık ve istihdam programlarında önemlidir: ara ölçüm sayesinde yalnızca sonucu değil, programın doğru yönde ilerleyip ilerlemediğini de görebiliriz.
Bir değerlendirme hikâyesi
"Kaç kişi işe girdi?" sorusu yetmez
ILO/İŞKUR kapsamında ID’nin yer aldığı çalışmalardan biri genç istihdam programlarının etki değerlendirmesine odaklandı; kurumsal proje portföyümüzde bu çalışma doğrudan "Youth Employment Impact Evaluation" olarak yer alıyor.
Bu tür bir çalışmada yalnızca program sonrasında işe girenleri saymak yeterli değildir. 600 katılımcının 300’ü işe girdiyse programın başarı oranı %50 gibi görülebilir. Ama gerçek değerlendirme sorusu şudur: bu 300 kişinin kaçı program olmasa da işe girecekti?
İşte karşılaştırma veya kontrol grubu burada devreye girer. KİGEP etki değerlendirmesinde program yararlanıcıları ve karşılaştırma grubu birlikte izlendi. Bu fark, "sonuç" ile "etki" arasındaki farktır.
Karşı-Olgusal Analiz (Counterfactual Analysis)
Etki değerlendirmesinin merkezinde gözlemleyemediğimiz bir durum vardır: aynı kişi programa katılmasaydı ne olurdu?
Buna counterfactual (karşı-olgusal durum) denir. Aynı kişiyi aynı anda hem programa katılmış hem katılmamış olarak gözlemleyemeyiz. Bu nedenle uygun yöntemlerle karşılaştırılabilir bir grup oluştururuz: randomize kontrol grubu, eşleştirilmiş karşılaştırma grubu, benzer bölge, benzer kurum veya benzer bireyler.
Randomize Kontrollü Çalışmalar (RCT) ve Deneysel Etki Değerlendirmesi
Uygun koşullarda Randomized Controlled Trial (RCT) değerlendirme için en güçlü tasarımlardan biridir. Katılımcılar rastgele müdahale ve kontrol gruplarına ayrılır; böylece iki grubun başlangıçta karşılaştırılabilir olması güçlenir.
ID’nin proje portföyünde UNICEF kapsamında çocuk yaşta evliliklerin önlenmesine yönelik müdahalelerin RCT uygulaması, çoklu hedef gruplar, panel takip ve back-check süreçleriyle yer almaktadır.
Bu tür tasarımlarda kritik olan yalnızca randomizasyon değildir. Panel kaybı, gruplar arası bulaşma, uygulama sadakati ve veri kalitesi de aynı derecede önemlidir.
Yarı Deneysel Etki Değerlendirmesi
Gerçek dünyada her programı randomize etmek mümkün değildir. Program başlamış olabilir, katılımcılar zaten seçilmiş olabilir, etik veya operasyonel nedenlerle kontrol grubu kurulamayabilir.
Bu durumda yarı deneysel yöntemler kullanılabilir: difference-in-differences, propensity score matching, regression discontinuity, interrupted time series ve diğer karşılaştırmalı yaklaşımlar.
Ama yöntem seçiminde temel ilkemiz şudur: verinin izin verdiğinden daha güçlü bir nedensellik iddiası kurmayız.
Bir değerlendirme hikâyesi
%20 artış gerçekten başarı mı?
Bir girişimcilik programının sonunda işletmelerin ortalama istihdamı 5 kişiden 6 kişiye yükselmiş olsun. İlk bakışta: %20 artış.
Ama aynı dönemde aynı sektörde programa katılmayan işletmelerin ortalama istihdamı da 5’ten 5,8’e yükselmişse, programın gözlenen net katkısı artık farklı görünür. Dahası, programa zaten büyüme potansiyeli yüksek işletmeler seçildiyse seçim yanlılığı ortaya çıkabilir.
Bu nedenle değerlendirmede "önce-sonra farkı" görmekle yetinmeyiz. Alternatif açıklamaları test ederiz.
Program ve Proje Süreçlerinin Değerlendirilmesi
Bir program beklenen etkiyi üretmediyse bunun iki temel nedeni olabilir: program teorisi yanlış olabilir, ya da iyi tasarlanmış program kötü uygulanmış olabilir.
Process Evaluation bu ayrımı anlamaya yardımcı olur. Hedeflenen gruba ulaşıldı mı, katılımcılar programa gerçekten maruz kaldı mı, uygulayıcılar protokole uydu mu, faaliyetlerin yoğunluğu yeterli miydi, yerel koşullar uygulamayı etkiledi mi?
Böylece yalnızca "işe yaramadı" demek yerine; neden işe yaramadığını anlayabiliriz.
Karma Yöntemlerle Etki ve Süreç Değerlendirmesi
Değerlendirmelerde nicel ve nitel yöntemleri birlikte kullanmayı güçlü buluyoruz.
Nicel analiz, kadınların programa devam oranının erkeklerden düşük olduğunu gösterebilir. Ama nedenini anlamak için derinlemesine görüşmeler, odak gruplar ve paydaş görüşmeleri gerekebilir. Belki sorun program içeriği değildir; ulaşım, bakım yükü, eğitim saatleri veya işveren davranışı etkili olabilir.
Bu nedenle mixed-method değerlendirme "ne oldu?" ile "neden oldu?" sorularını aynı araştırma çerçevesinde birleştirir.
Bilgi, Tutum ve Davranış Araştırmaları ve Davranış Değişikliği Analizleri
Bazı programlarda hedef istihdam veya gelir değil; bilgi, tutum ve davranış değişimidir. Bu tür çalışmalarda KAP (Knowledge, Attitudes and Practices) göstergeleri kullanılabilir.
ID’nin UNICEF / Millî Eğitim Bakanlığı Erken Çocukluk Eğitimi KAP çalışması 12 ilde erişim ve hizmet kalitesi konularını kapsadı.
Bu tür araştırmalarda baseline-endline karşılaştırmaları bilgi puanı, tutum skoru ve davranış göstergeleri üzerinden kurulabilir. KAP göstergelerinin operasyonelleştirilmesi, skor ve indeks geliştirme ile baseline-endline değişiminin hesaplanması M&E kapasitemizin bir parçasıdır.
Verilerin Alt Gruplara Göre Ayrıştırılması
Bir programın genel sonucu olumlu olabilir. Ama alt gruplarda tablo çok farklı olabilir.
Bu nedenle değerlendirme sonuçlarını ihtiyaç halinde cinsiyet, yaş, bölge, uyruk, engellilik, gelir grubu ve kırılganlık durumu gibi boyutlarda ayrıştırırız.
Örneğin program genelinde +8 puanlık iyileşme olabilir. Ama kadınlarda +14, erkeklerde +3, kırsal bölgelerde 0 olabilir. Bu bilgi program tasarımını tamamen değiştirebilir.
İzleme Sistemleri ve Etkileşimli Gösterge Panelleri
İyi bir monitoring sistemi, proje devam ederken karar vermeyi mümkün kılar.
Bu nedenle ihtiyaç halinde KPI sistemleri, hedef-gerçekleşme tabloları, erken uyarı göstergeleri, saha ilerleme dashboardları ve Power BI raporları geliştirilebilir.
Ama dashboardun amacı renkli grafik üretmek değildir. Asıl amaç: sapmayı erken görmek ve müdahale edebilmektir.
İzleme ve Değerlendirmede Veri Kalitesi
M&E çalışmalarında ölçümler zaman içinde karşılaştırılacağı için veri kalitesi ayrıca önemlidir.
Baseline’da bir soruyu farklı, endline’da farklı sormak küçük bir değişiklik gibi görünebilir. Ama bu değişiklik, gözlenen farkın programdan mı yoksa ölçüm aracından mı kaynaklandığını belirsiz hale getirir.
Bu nedenle baseline-endline karşılaştırılabilirliği, aynı gösterge tanımları, standart veri toplama protokolleri, panel tracking, back-check ve veri doğrulama süreçlerine özel önem veririz. Ölçüm araçlarının KAP gösterge çerçevesiyle uyumlu tasarlanması ve baseline–endline karşılaştırılabilirliğinin korunması teknik kapasitemizde açık biçimde yer alır.
Değerlendirme, Yalnızca Sonuçları Ölçmek Değil, Öğrenmek İçindir.
Değerlendirmenin amacı yalnızca başarılı ve başarısız projeleri ayırmak değildir. Daha önemli soru şudur: ne öğrendik?
Hangi yaklaşım işe yaradı? Hangi grupta daha güçlü sonuç aldık? Nerede darboğaz oluştu? Hangi varsayım yanlış çıktı? Bir sonraki uygulamada neyi değiştirmeliyiz?
Bu nedenle ID’nin M&E yaklaşımı learning-oriented bir yapıya dayanır. Değerlendirme sonunda yalnızca bulgu değil; uygulanabilir öneri üretmeye çalışırız.
