INCIDENT MAP
+▦↗Recovery flow
Failure boundaryEvidence that restores control.
Scope captured ↗
Evidence mapRecovery scope
RUNTIME
Uygulama
PRODUCTION KURTARMA
Canlı sistemde bir sorun yaşandığında sonraki karar önemlidir. Başarısız yayınları, uygulama hatalarını, veritabanı sorunlarını ve entegrasyon arızalarını inceleyerek ne olduğunu anlamaya, etkilerini değerlendirmeye ve uygulanabilir bir kurtarma yolu belirlemeye odaklanıyorum.
İlk adım aceleyle yeni bir değişiklik yapmak değildir. Mevcut bulguları değerlendirmek, kritik verileri ve iş akışlarını korumak, gereksiz riskler yaratmayacak bir müdahale planı oluşturmaktır.
Uygulama
Yayın süreci
Veri
Entegrasyonlar
Neyin değiştiğini ve sorunun nerede ortaya çıktığını anlamak için logları, son yayınları, hata örüntülerini ve sistem davranışını inceleyin.
Sorunu ağırlaştırabilecek değişikliklerden önce etkilenen servisleri, verileri ve kritik iş akışlarını belirleyin.
Kurtarma yolunu seçmeden önce yedekleri, geri dönüş olanaklarını, bağımlılıkları ve operasyonel sınırlamaları değerlendirin.
Müdahaleden önce somut bulgular
Canlı sistem arızalarında birbiriyle bağlantılı birçok belirti görülebilir; ancak altta yatan nedenler daha sınırlı olabilir. İnceleme, nelerin etkilendiğini, nelerin değiştiğini, hangi bulgulara güvenilebileceğini ve sonraki güvenli adımların neler olduğunu ortaya koymalıdır. Doğru teşhis, zor bir durumun daha büyük bir soruna dönüşmesini önlemeye yardımcı olur.
01 — Arıza Müdahalesi
Sorunun etkisi anlaşıldığında öncelik kontrollü müdahaledir. Bu, arızalı bir bileşeni ayırmayı, bilinen bir yapılandırmaya dönmeyi veya daha kapsamlı düzeltmelerden önce kritik işlevleri yeniden kullanılabilir hâle getirmeyi gerektirebilir. Her adımın açık bir gerekçesi ve değerlendirilmiş bir riski olmalıdır.
INCIDENT CORE
Kurtarma kararlarını varsayımlara değil; arıza zaman çizelgesine, doğrulanmış belirtilere ve sistemin mevcut durumuna dayandırın.
Olası nedenleri belirlemek için uygulama loglarını, yayın geçmişini, çalışma ortamı yapılandırmasını ve bağımlılıkları birlikte inceleyin.
Geri yükleme, önceki sürüme dönüş, bileşen ayırma veya hedefli düzeltme seçeneklerini veri bütünlüğü, uyumluluk ve operasyonel risk açısından değerlendirin.
Etkilenen servisleri, güvenilir sinyalleri ve olası arıza yollarını belirleyin.
Ek etkileri sınırlandırın ve mümkün olduğunda kritik işlevleri yeniden çalışır hâle getirin.
Uygun kurtarma yolunu belirleyin ve ardından kritik işleyişi doğrulayın.
Bulguları ve çözülmemiş riskleri belgeleyin; ardından arızayla ilgili izleme veya kurtarma kontrollerini iyileştirin.
Bir uygulama hatasının arkasında başarısız bir yayın, yapılandırma değişikliği, çalışmayan bir bağımlılık veya harici servis bulunabilir. Bu bağlantıları anlamak, görünen belirtiyle asıl nedeni ayırmaya ve daha odaklı bir kurtarma planı oluşturmaya yardımcı olur.
UygulamaArızanın görünen yönünü anlamak için çalışma zamanı hatalarını, başarısız istekleri, uygulama loglarını ve kritik iş akışlarını inceleyin.
VeritabanıBağlantılar, sorgular, migration'lar, kilitler, persistence, yedekler ve veri bütünlüğü.
EntegrasyonlarArızaya katkıda bulunabilecek API isteklerini, webhook'ları, bağımlılıkları ve veri alışverişlerini inceleyin.
AltyapıAltyapının etkili olabileceği durumlarda barındırma ortamını, kaynakları, ağı, container'ları ve servis sağlığını inceleyin.
Kritik işlevleri yeniden çalışır hâle getirmek önemli bir adımdır. Ancak süreç, neyin yanlış gittiğini, hangi belirsizliklerin sürdüğünü ve sonrasında nelere dikkat edilmesi gerektiğini de ortaya koymalıdır. Kurtarma, geride açıklanamayan yeni bir arıza yerine uygulanabilir bulgular bıraktığında daha değerlidir.
Belirtileri, son değişiklikleri, logları, bağımlılıkları ve etkilenen iş akışlarını inceleyin. Müdahaleden önce doğrulanmış bulgularla varsayımları ayırın.
Kritik servislere öncelik verin ve ek etkileri sınırlandırın. Gerekçelendirilmiş değişiklikleri uyguladıktan sonra işletmenin ihtiyaç duyduğu işlevleri doğrulayın.
Bulguları, çözülmemiş riskleri ve gerekli takip çalışmalarını belgeleyin. Arızayla ilişkili kontrol, izleme veya kurtarma süreçlerini iyileştirin.
Teknoloji Altyapısı
Loglar, yayın geçmişi, uygulama teşhis araçları, veritabanları, altyapı ve izleme sistemleri bir arızanın farklı yönlerini gösterir. Doğru yaklaşım, belirli bir aracı veya çözümü baştan seçmek yerine mevcut bulguları ve sistemin koşullarını anlamakla başlar.
Zorunlu çerezler siteyi destekler. Analytics ve Reklam Ölçümü birbirinden bağımsız isteğe bağlı tercihlerdir ve siz seçene kadar kapalıdır.