QA ve QC aynı şey değildir
Bu ayrım bizim için önemlidir. Çünkü yalnızca hatayı bulmak yeterli değildir. Asıl amaç, hatanın tekrar oluşmasını engelleyen sistemi kurmaktır.
- QA — Quality Assurance / Kalite Güvence
- Hatanın oluşmasını önlemeye odaklanır.
- QC — Quality Control / Kalite Kontrol
- Oluşan hatayı tespit etmeye ve düzeltmeye odaklanır.
Kaliteyi tasarım aşamasında başlatırız
QA/QC süreci saha başlamadan önce devreye girer. Bu aşamada örnekleme planı, soru formu, skip/filter yapıları, zorunlu alanlar, mantık kuralları, kodlama yapısı, görüşme protokolü ve anketör eğitimleri kontrol edilir.
Elektronik soru formlarında mümkün olan hatalar, veri toplanmadan önce engellenmeye çalışılır. 18 yaş altındaki bir katılımcıya yalnız yetişkinlere yöneltilmesi gereken bir soru gösterilmiyorsa, bu yalnızca bir programlama detayı değildir. Bu bir kalite önlemidir.
Büyük Hataları, Küçük Ölçekli Pilot Uygulamalarda Tespit Ederiz.
Pilot uygulama QA/QC sisteminin ilk gerçek testidir. Pilot sırasında yalnızca anketin çalışıp çalışmadığına bakmayız.
Pilot sonrası gerekli revizyonlar yapılır. Çünkü 30 görüşmede fark edilen hata yönetilebilir; 10.000 görüşmeden sonra fark edilen aynı hata, veri kalitesi problemidir.
- Görüşme süresi gerçekçi mi?
- Sorular anlaşılır mı?
- Katılımcılar belirli sorularda zorlanıyor mu?
- Filtreler doğru çalışıyor mu?
- Anketörler soruları standart biçimde uygulayabiliyor mu?
Anketör Performansı ve Kalite Güvencesi
Aynı soru iki farklı anketör tarafından farklı biçimde uygulanırsa, iki farklı veri üretilebilir.
Bu nedenle anketör eğitimlerinde yalnızca soru formu okutulmaz. Ekipler; araştırmanın amacı, hedef kitle, soru sorma standardı, yansızlık, probing kuralları, hassas sorular, etik, cihaz kullanımı ve saha protokolü konularında eğitilir.
Ama eğitim tek başına yeterli değildir. Saha başladıktan sonra performansın izlenmesi gerekir.
Gerçek Zamanlı Saha Kalite Kontrolü
Dijital veri toplama sistemleri bize yalnızca cevapları değil, saha sürecinin kendisini de gösterir.
Bu nedenle günlük kontrollerde yalnızca tamamlanan anket sayısına bakmayız. İhtiyaca göre görüşme süreleri, tamamlama oranları, ret oranları, anketör bazlı dağılımlar, soru bazlı cevap örüntüleri, GPS bilgileri, zaman damgaları ve paradata incelenebilir.
Bu sayede olağandışı kayıtlar erken aşamada tespit edilir.
Gerçekçi bir örnek
En hızlı anketör gerçekten en iyi anketör mü?
Bir anketör günde 28 görüşme yapıyor. Diğerleri ortalama 12–15 görüşme tamamlıyor. İlk bakışta bu kişi çok başarılı görünebilir.
Ama kalite kontrolünde şu tablo ortaya çıkıyor: görüşme süreleri çok kısa, çok sayıda soruda aynı cevap örüntüsü var, GPS noktaları birbirine çok yakın, bazı uzun modüller neredeyse hiç değişmiyor.
Bu durumda yüksek üretkenlik, kalite göstergesi değildir. Tam tersine, risk sinyalidir. QA/QC’nin amacı tam olarak bu tür görünen başarının arkasındaki problemi yakalamaktır.
Geri Kontrol ve Görüşme Doğrulama
Geri kontrol saha kalite sisteminin temel araçlarından biridir. Tamamlanan görüşmelerin belirli bir bölümü yeniden kontrol edilir.
Katılımcıya tekrar ulaşılarak görüşmenin gerçekleşip gerçekleşmediği, temel demografik bilgiler, görüşme süresi ve bazı kritik cevaplar doğrulanabilir.
ID’nin kurumsal QA/QC sisteminde proje yapısına göre %20 ve üzeri kontrol oranları uygulanabilmektedir. Ama bizim için önemli olan yalnız oran değildir. Kontrolün risk odaklı olmasıdır.
Risk Temelli Kalite Kontrolü
Rastgele geri kontrol önemlidir. Ancak yalnız rastgele kontrol yeterli değildir.
Bazı kayıtlar daha yüksek risk taşır: çok kısa görüşmeler, olağan dışı cevap örüntüleri, yüksek tamamlanma oranına sahip anketörler, çok sayıda aynı seçenek, aynı GPS çevresinde yoğunlaşan görüşmeler, şüpheli zaman damgaları.
Aynı kayıt iki kez mi geldi?
Büyük ölçekli araştırmalarda duplicate kayıtlar farklı nedenlerle oluşabilir. Aynı kişi iki kez görüşülmüş olabilir, aynı işletme farklı anketörler tarafından ziyaret edilmiş olabilir, ya da teknik nedenle aynı kayıt iki kez yüklenmiş olabilir.
Duplicate kontrollerinde ID alanları, telefon, adres, GPS, zaman, demografik kombinasyonlar ve cevap örüntüleri birlikte değerlendirilebilir. Amaç yalnızca birebir aynı satırları silmek değildir; gerçek tekrarları tespit etmektir.
Eksik Veri Analizi ve Yönetimi
Eksik veri yalnızca boş hücre değildir. Şu soruyu sormak gerekir: neden eksik?
Katılımcı cevap vermedi mi? Anketör soruyu atladı mı? Programlama hatası mı vardı? Soru belirli bir grupta sistematik olarak mı boş kaldı?
Eğer eksik değerler belirli bir grupta yoğunlaşıyorsa, sorun yalnız veri temizleme problemi değildir. Yanlılık problemi olabilir. Bu nedenle missing data yapısını da analiz ederiz.
Aykırı Değerlerin Tespiti ve Analizi
Bir işletme 500 çalışan bildirmiş olabilir. Çoğu işletme 5–10 çalışanlıysa bu kayıt uç değer görünür. Ama bu mutlaka yanlış değildir.
Bu nedenle uç değerlerde otomatik silme yapmayız. Önce mantıksal bağlam, diğer değişkenler, işletme profili ve saha kaydı kontrol edilir.
İyi veri temizleme; olağandışı değeri silmek değil, açıklayabilmektir.
Yanıt Örüntülerinin Analizi
Bazı kalite sorunları tek bir değişkende görünmez. Ama cevap örüntülerinde kendini belli eder.
Uzun ölçeklerde hep aynı seçeneğin işaretlenmesi, her soruya orta seçenek verilmesi, olağandışı derecede düşük varyans, belirli cevap kombinasyonlarının aşırı tekrarı araştırılabilir.
Bu tür analizler, özellikle büyük veri setlerinde anketör etkisini tespit etmek için değerlidir.
Anketör ve Saha Ekibi Bazında Performans ve Kalite Analizi
Her anketörü ayrı bir performans profili olarak ele alabiliriz: ortalama görüşme süresi, ret oranı, eksik veri oranı, geri kontrol başarısı, şüpheli kayıt oranı ve tamamlama hızı karşılaştırılabilir.
Bu sayede kalite sorununun tekil kayıtlardan mı yoksa sistematik bir anketör davranışından mı kaynaklandığı görülebilir.
Saha Geri Bildirim ve İyileştirme Süreci
Kalite kontrol yalnızca rapor üretmemelidir. Bir problem tespit edildiğinde süreç sahaya geri beslenir.
Bir sorunun sürekli yanlış uygulandığı görülürse anketörlere tekrar eğitim verilir. Bir bölgede yanlış hedef kitleye gidiliyorsa saha planı revize edilir. Belirli bir kayıt grubu şüpheliyse yeniden doğrulama yapılır.
- Detect / Tespit et
- Verify / Doğrula
- Correct / Düzelt
- Prevent / Önle
Veri Temizleme ve Veri Bütünlüğü
Veri temizleme, veriyi "güzelleştirmek" değildir. Bazen yanlış anlaşılır: amaç sonuçları daha iyi göstermek değildir.
Amaç; gerçek hataları düzeltmek, belirsizlikleri işaretlemek, veri yapısını şeffaf hale getirmek ve analize hazır güvenilir bir veri seti oluşturmaktır. Her düzeltme mümkün olduğunca izlenebilir olmalıdır.
Veri Değişikliklerinin İzlenmesi ve Denetim Kayıtları
Kurumsal veri kalite sistemlerinde yapılan değişikliklerin kaydı önemlidir.
Bu nedenle ihtiyaç halinde cleaning log, correction log, version control ve issue tracker kullanılabilir. Böylece hangi kayıt değişti, neden değişti, kim değiştirdi, hangi tarihte değişti takip edilebilir.
Bu yaklaşım özellikle uluslararası projelerde veri bütünlüğü açısından önemlidir.
Veri Kalitesinin Temel Boyutları
Veri kalitesini birkaç boyutta değerlendiriyoruz. Kalite ancak bu boyutlar birlikte değerlendirildiğinde anlamlıdır.
- Veri Doğruluğu
- Veri gerçeğe ne kadar yakın?
- Veri Tamlığı
- Gerekli bilgi ne ölçüde eksiksiz?
- Veri Tutarlılığı
- Değişkenler birbirleriyle uyumlu mu?
- Veri Geçerliliği
- Değerler tanımlanan kurallara uygun mu?
- Veri Güncelliği ve Zamanlılığı
- Veri gerektiği anda kullanılabilir mi?
- Veri Tekilliği
- Her kayıt benzersiz olmalı, aynı veri gereksiz yere tekrarlanmamalıdır.
Büyük Ölçekli Araştırmalar, Bütünleşik Bir Kalite Yönetim Sistemi Gerektirir
Türkiye genelinde 81 ili kapsayan 11.062 işletmelik Dünya Bankası–KOSGEB araştırması gibi bir saha çalışmasında kalite yalnızca son veri setine bakılarak yönetilemez.
Bu tür operasyonlarda saha izleme, veri doğrulama ve back-check süreçleri yapılandırılmış QA/QC sistemi içinde birlikte yürütülür. Kurumsal doğrulama standardımızın en az %20 düzeyinde olduğu proje belgelerinde de açıkça tanımlanmıştır.
Aynı şekilde dijital routing ve validation kuralları, görüşme süreleri, completion rate, paradata, duplicate, missing data ve logical-consistency kontrolleri kalite sisteminin temel parçalarıdır.
Büyük saha operasyonu aslında yalnızca veri toplama sistemi değil; kalite yönetim sistemidir.
