Postmortem: Suçlu Bulmak Değil, Sistemi Değiştirmek

Sahadan: dört ay arayla aynı hata

Birinci olayın zaman çizelgesi şuydu:

07:50  ilk hata - mobil uygulama: "baglanti kurulamadi"
07:54  destek kanalindan bildirildi        <-- alarm YOK, musteri yakaladi
08:12  teshis: TLS sertifikasi gece 03:00'te dolmus
08:31  yeni sertifika alindi
08:58  dagitim bitti, hata orani normale dondu

       toplam 68 dakika, ~14.000 basarisiz istek

Ertesi gün postmortem’i ben yazdım. Altı sayfaydı. Zaman çizelgesi log kayıtlarından dakika dakika çıkarılmıştı, kök neden doğruydu, kimse suçlanmamıştı. Toplantıda herkes başını salladı. Gerçekten iyi bir dokümandı.

Dört ay sonra bir cuma sabahı, bu sefer iç servisler arasındaki bir sertifika doldu. Aynı hata, ikinci kez. Dokümanı açıp baktım: aksiyonlar bölümünde dokuz madde vardı ve dokuzunun da sahibi “altyapı ekibi” yazıyordu. Dokuzun ikisi kapanmıştı. Kapananlar da en kolay ikisiydi.

Bunu bilmem gerekirdi — delegasyon yazısında tam bunu anlatmıştım: sahibi herkes olan işin sahibi yoktur. Kendi yazdığım kuralı kendi dokümanımda çiğnemişim.

Postmortem ne değildir

Çoğu ekipte postmortem üç şeyden birine dönüşüyor ve üçü de işe yaramıyor:

• Mahkeme. Kimin ne yaptığı konuşulur, kök neden bir kişinin adında biter. Sonraki olayda kimse konuşmaz.
• Arşiv. Doküman yazılır, klasöre konur, bir daha açılmaz. Yazmak aksiyon sanılır.
• Tören. Toplantı yapılır, “daha dikkatli olalım” denir, dağılınır. Dikkat bir sistem özelliği değildir.

Postmortem’in tek işi şu: bu olayın aynı sebeple tekrarlanmasını imkânsız ya da pahalı hâle getirecek değişikliği bulmak. Doküman bu işin yan ürünü. Toplantının hangi soruyla açıldığı ayrı bir konu ve tek başına her şeyi belirliyor — onu psikolojik güvenlik yazısında anlattım. Burada dokümanın kendisine ve sonrasına bakıyorum.

Beş Neden üçüncü adımda kırılıyor

“Beş Neden” iyi bir araç ama neredeyse her ekipte aynı yerde tökezliyor: üçüncü soruda cevap bir insana çıkıyor ve zincir orada duruyor. Bizim olayımızda birebir şöyle oldu:

1. Neden kesinti oldu?      -> TLS sertifikasi suresi bitti.
2. Neden suresi bitti?      -> Yenilenmedi.
3. Neden yenilenmedi?       -> Hatirlatma kurulmamisti.
                               ^^^ KIRILMA: cevap bir insana cikti.
                                   Zincir burada durursa aksiyon
                                   "daha dikkatli olalim" olur.

   (dogru devam, ayni adimdan)
3. Neden yenilenmesi bir insanin hatirlamasina bagliydi?
                            -> Otomatik yenileme yoktu.
4. Neden otomatik yenileme yoktu?
                            -> Bu sertifika elle alinmisti, otomasyon disindaydi.
5. Neden elle alinanlar gorunmuyordu?
                            -> Sertifika envanteri yoktu; listeyi kimse bilmiyordu.

   AKSIYON: envanter cikar + 30 gun kala uyari kur   (tek isim, tarih)

Fark şurada: birinci zincirin sonunda bir insan var, ikincisinin sonunda eksik bir sistem. Birincisinden çıkan aksiyon uygulanamaz; ikincisinden çıkan aksiyon bir hafta sürer ve aynı sınıftaki bütün sertifikaları kapsar.

Pratik kural: cevabın bir kişinin adı ya da “unutuldu”, “gözden kaçtı”, “dikkat edilmedi” olduğu her adımda soruyu yeniden sor — “bu neden bir insanın hatırlamasına bağlıydı?” Bu tek cümle, mahkemeyi mühendislik toplantısına çeviriyor.

Tek sayfalık şablon

Altı sayfa yazmıştım ve kimse ikinci kez açmadı. Şimdi kullandığımız şablon tek sayfa ve bilerek dar; daha uzunu yazılmıyor:

POSTMORTEM - <olay adi>            <tarih>  |  yazan: <tek isim>
------------------------------------------------------------------
ETKI          : ne bozuldu, ne kadar surdu, kac kullanici / kac istek
ZAMAN CIZGISI : ilk hata -> fark edilme -> teshis -> duzeltme
                (her satirda saat; log'dan cikar, hafizadan degil)
YAKALAYAN     : alarm mi, musteri mi?
                musteri ise --> bu tek basina bir aksiyon konusudur
KOK NEDEN     : tek cumle. "unutuldu" / "dikkat edilmedi" yazmak yasak.
NEDEN SIMDI   : bu sistem aylardir ayakta; bu sefer ne degisti?
AKSIYONLAR    : en fazla 3 madde
                <ne yapilacak> - <tek isim> - <tarih> - <backlog no>

İki satırı özellikle koyduk. “Yakalayan” satırı, olayı müşterinin bulduğu durumları görünür yapıyor; bizim olayımızda alarm yoktu ve bu, kesintinin kendisinden daha büyük problemdi. “Neden şimdi” satırı ise en çok atlanan soru: sistem aylardır çalışıyordu, o gün ne değişti? Cevap çoğu zaman kök nedenin ta kendisi.

Aksiyon: tek isim, tarih, aynı sıra

Üç kural, en çok işe yarayandan başlayarak:

1. Sahip tek bir isimdir. Ekip adı yazıldığı an aksiyon ölür. Kişi hatadan değil, aksiyonun kapanmasından sorumludur — ikisi karıştırılmasın.
2. Aksiyonlar normal backlog’a girer. Ayrı liste kurma. Biz kurduk; dört ay sonra o listeyi açan kimse yoktu. Aynı sıraya girerse en azından önceliklendirme masasında savunmak zorunda kalıyorsun.
3. En fazla üç madde. Dokuz aksiyon yazmak, hiçbirini yapmamanın kibar yolu. Üç madde seçmek zorunda kalınca hangisinin gerçekten tekrarı engellediğini düşünüyorsun.

Ne izlemeli?

Postmortem kültürünün iyi gidip gitmediğini hissederek ölçemiyorsun. Dört sayı yetiyor:

Bir de sayılmayan ama bakılması gereken bir şey var: olayı kim yakaladı? Son on olayın kaçını alarm, kaçını müşteri bildirdi? Bizde bu oran bir dönem 10’da 6 müşteriydi. Postmortem’lerin hiçbirinde bu yazmıyordu, çünkü şablonda o satır yoktu. Ölçmediğin şey konuşulmuyor.

Bende işe yaramayanlar

Üç şeyi denedim, üçü de tutmadı. Yazıyorum, çünkü büyük ihtimalle sen de deneyeceksin:

• Şablonu zenginleştirmek. “Katkıda bulunan faktörler”, “alternatif senaryolar”, “öğrenilen dersler” bölümleri ekledim. Doküman uzadı, okunma sıfıra indi. Şablonu genişletmek kaliteyi artırmıyor, doldurmayı angaryaya çeviriyor.
• Her olaya postmortem. Bir dönem 20 dakikanın altındaki her aksaklığa da postmortem yazdırdık. Altıncı haftada doküman kalitesi çöktü. Şimdi eşik net: müşteriyi etkileyen ya da 30 dakikayı geçen olaylar — bir de kök nedeni bilinmeyen her olay, süresi ne olursa olsun.
• Aksiyonları ayrı listede takip etmek. En pahalı hatam buydu. Liste kendi başına bir mezarlığa döndü; normal backlog’a taşıyınca kapanma oranı kendiliğinden yükseldi.

Kontrol listesi

Sonuç

İkinci sertifika olayından sonraki postmortem toplantısı 25 dakika sürdü. Doküman tek sayfaydı, üç aksiyon vardı, her birinin bir ismi ve bir tarihi. Üçü de kapandı — biri bir hafta gecikmeyle.

İlk postmortem’den daha iyi bir doküman değildi. Hatta daha kötüydü: daha az detay, daha az analiz, daha az sayfa. Ama ilk dokümanın yapmadığı tek şeyi yaptı. Sistemi değiştirdi.

Şunu ölç, gerisini boş ver: aynı kök neden ikinci kez çıktı mı? Çıktıysa ilk postmortem yapılmamıştır. Yazılmıştır — ki bu başka bir şey.