Agentcraft®

Çalışan deneyimi · Önizleme

Sistem Güvenilirliği MühendisiSistemlerini sağlıklı tutar. Toparlanma gücünü sınar.

Sağlığı, CPU, RAM ve disk performansını sürekli izler. İzole dayanıklılık ortamında arızalar simüle eder. Darboğazları ve tek hata noktalarını bulur; CEO ile iyileştirmeleri planlar.

Sistem Güvenilirliği Mühendisi
Agentcraft®Sistem Güvenilirliği Mühendisi

Kesintiden önce güvenilirlik

Sistemini tanır. Kesintilerden öğrenir.

Servis hedeflerini, bağımlılıkları ve tatbikatlardan çıkan dersleri sonraki kontrole taşır. Hangi bilgileri hatırlayacağını sen yönetirsin.

Servis hedeflerini ve bağımlılıklarını paylaş

Erişilebilirlik, gecikme ve kurtarma hedeflerini, kaynak sınırlarını ve izole dayanıklılık ortamını tanımla. SRE’ın servis bağımlılıklarını ve geçmiş kesintilerin öğrettiklerini öğrenir.

BİRLİKTE YAPTIKLARINIZDAN ÖĞRENİR
SRE’ımBirlikte yaptığınız işlerden öğrenir

“Kurtarmayı ancak servis sağlığı ve veri tutarlılığı doğrulandıktan sonra tamamlanmış saymaya karar verdik. Sonraki tatbikatlarda da bu kriteri kullanayım mı?”

Örnek konuşmadır. Seçimin yalnızca bu önizlemede kullanılır.

Bir konuşma yeterli

Örnek hazır görevler

Sistem sağlığını, kaynak baskısını veya felaketlere hazırlığı sor. SRE’ın ölçümler, kanıtlar ve sıradaki önemli iyileştirmelerle yanıtlasın.

Sistemlerimizin sağlığı nasıl?

Sen

Son 24 saatin servis sağlığını özetle. Erişilebilirliği, hataları ve gecikmeyi hedeflerimizle karşılaştır.

SRE’ım

Erişilebilirlik hedef içinde; ancak yoğun yükte API gecikmesi eşiği aştı. Etkilenen zaman aralığını günlük özetten ayrı gösterdim.

Servis sağlığı · Son 24 saat

  • Erişilebilirlik · Günlük %99,9 hedefe karşı başarılı kontrol oranı %99,95.
  • Hatalar · API isteklerinin %0,2’si sunucu hatası verdi; %0,5 eşiğinin altında.
  • Gecikme · Yoğun saatte p95, 400 ms hedefe karşı 640 ms; disk ve veritabanı beklemeleri incelenmeli.

Performans Darboğazını Analiz Et

Yazılım Mühendisi

İlgili akışta yavaş yanıtlar görüyorum. CPU, RAM ve disk metriklerini trafik ve kuyruklarla karşılaştır; sınırlayan kaynağı kanıtlarıyla belirle.

SRE’ım

En güçlü kanıt CPU kapasitesinden çok veritabanı I/O beklemesini işaret ediyor. Ölçümler aynı yoğun yük aralığını kapsıyor.

Kapasite incelemesi · Yoğun yük aralığı

  • CPU ve RAM · CPU en fazla %48; bellek %62’de sabit, gözlenen swap kullanımı yok.
  • Disk · Alan kullanımı %71; yazma gecikmesi ve kuyruk derinliği API gecikmesiyle birlikte yükseliyor.
  • Sonraki adım · Kapasite değişikliği seçmeden önce yavaş sorguları ve disk aktarım sınırlarını tekrarlanabilir yük testinde karşılaştır.

Felaket senaryolarına hazır mıyız?

Sen

Dayanıklılık ortamındaki son arıza simülasyonlarını özetle. Hangi kurtarma hedefleri geçti, hangileri kaldı ve neler test edilmedi?

SRE’ım

Üç senaryonun ikisi kurtarma hedeflerini karşıladı. Worker kaybında süre aşıldı; tam bölge kesintisi bu tatbikatın kapsamı dışındaydı.

Felakete hazırlık · Tatbikat sonuçları

  • Geçti · Uygulama yeniden başlatma ve geçici bağımlılık gecikmesi, kararlaştırılan sınırlar içinde toparlandı.
  • Kaldı · Rastgele worker kaybında 5 dakika hedefe karşı 7 dakikada toparlanıldı; sentetik veri tutarlı kaldı.
  • Kapsam · Yalnızca izole ortam. Bu sonuçlarla bölgesel geçiş veya canlı ortam kurtarması doğrulanmış sayılmaz.

Tek Hata Noktalarını Değerlendir

Yazılım Mimarı

Servis bağımlılıklarını çıkardım. Tek hata noktalarını ve yedekliliği incele; CEO’ya sunmamız gereken iyileştirmeleri belirle.

SRE’ım

Kuyrukta doğrulanmış geçişi olmayan tek aktif düğüm var. Tatbikatta kaybı sipariş işlemeyi durdurdu; bu yüzden ilk dayanıklılık önceliği bu.

Tek hata noktaları · Öncelikler

  • Etki · Kuyruk erişilemezken siparişler worker’lara aktarılamıyor.
  • Mevcut koruma · Yedek var, ancak geri yükleme süresi kurtarma hedefini aşıyor; yedek tek başına erişilebilirlik sağlamıyor.
  • Plan önerisi · CEO, Architect ve Engineer ile yedeklilik tasarımını önceliklendirsin; geçiş ve tutarlılık kontrolleri kabul kriteri olsun.

Son Kesintiyi Analiz Et

CEO

Kesinti sonrası işleri önceliklendirmek için kanıta ihtiyacım var. Logları, metrikleri ve sürüm geçmişini incele; doğrulanan nedenlerle varsayımları ayır, önleyici işler öner.

SRE’ım

Bağlantı havuzu doygunluğu istek kuyruklarının büyümesiyle aynı anda görülüyor. Son değişiklik sorgu süresini artırmış olabilir; yalnızca zamanlama nedenselliği kanıtlamaz.

Kesinti incelemesi · Kanıt ve sonraki adımlar

  • Zaman çizelgesi · 14.05 gecikme yükseldi; 14.08 istekler zaman aşımına uğradı; 14.18 kuyruk normale döndü.
  • Kanıt · CPU %50’nin altındayken havuz kullanımı sınırda kaldı.
  • İnceleme · Kök nedeni kesinleştirmeden önce Engineer ile yükü yeniden üret ve sürümler arasında sorgu izlerini karşılaştır.

Kurtarma planımız ne?

Sen

Bu servis için kurtarma planını hazırla. Sırayı, kurtarma hedeflerini ve başarıyı nasıl doğrulayacağımızı göster; değişiklik uygulama.

SRE’ım

Başlama koşulları ve doğrulama adımları açık bir kurtarma önerisi hazırladım. Canlı ortamda işlem yapılmadı.

Kurtarma planı · İnceleme önerisi

  • Hazırlık · Etkilenen kapsamı, kurtarma noktasını ve onaylı servis sürümünü doğrula.
  • Sıra · Bağımlılığı geri getir, servisi kurtar; tutarlılık kontrollerinden sonra işlemeyi sürdür.
  • Kabul · Kurtarma süresini ve veri kaybını kararlaştırılan hedeflerle karşılaştır; kapatmadan önce sağlığı ve kuyruktaki işleri doğrula.

Konuşmalar ve çıktılar kurgusal örneklerdir. Bu önizleme görev başlatmaz veya hesaplarını bağlamaz.

Metrikler, kesintiler ve kurtarma kanıtları

Senin için bir çok araç kullanabilir

Servis davranışını açıklamak için altyapı metriklerini, uygulama hatalarını, sürüm geçmişini ve güvenilirlik işlerini birleştirir.

  • AWSYayın bağlamı
  • SentryHatalar ve teşhis
  • GitHubKod ve incelemeler
  • JiraGörevler ve kabul kriterleri

İzleme eşiklerini ve izole dayanıklılık ortamını belirle. Arıza üretimi kararlaştırılan test kapsamında kalır; canlı ortam değişiklikleri yetkilendirmene göre yapılır. Bağlantılar önizlemedir.

Sohbeti o başlatır

Proaktif SRE’ın, kesintiden önce zayıflıkları bulur.

Sağlığı, performansı ve kaynakları sürekli izler, aksiyon alınabilir alarmlar üretir; kendi izole dayanıklılık ortamında felaket senaryolarını sınar. Darboğazları ve tek hata noktalarını somut iyileştirme önerileriyle CEO’ya taşır.

Sağlığı ve kaynak performansını sürekli izler

CPU baskısını, RAM kullanımını, disk alanını, I/O gecikmesini ve servis hedeflerini izler; kararlaştırılan eşik ve sürelerle alarm üretir.

Kendi dayanıklılık ortamında arızalar simüle eder

İzole ortamda önceden tanımlı sınırlar içinde rastgele kesintiler ve arızalar üretir; felaket senaryolarını ve toparlanmayı ölçer.

Darboğazları doygunluktan önce bulur

Trafik, CPU, bellek, disk aktarımı ve kuyrukları ilişkilendirir; kapasite baskısını belirler, iyileştirme seçeneklerini sınar.

Dayanıklılık iyileştirmelerini CEO’nun planına taşır

Tek hata noktalarını belirler, iş etkisini açıklar; önerilen iyileştirmeleri öncelik, sorumlu ve doğrulamaya kadar takip eder.

Hangi konularda, ne sıklıkla sana ulaşacağını ve ne zaman sessiz kalacağını sen seçersin.

MOBİL UYGULAMA · ÖRNEK MESAJLAR
14:32
SRE’ından bir mesaj var.
SRE’ımörnek

Disk gecikmesi yanıt süresini etkiliyor

Disk yazma gecikmesi ve API p95 değeri on dakikadır eşiklerin üzerinde. CPU sabit, I/O kuyruğu büyüyor. Etkilenen servis ve inceleme adımlarıyla alarm oluşturdum.

SRE’ımörnek

Kurtarma tatbikatı hedefi kaçırdı

Rastgele worker kaybı tatbikatında toparlanma, beş dakikalık hedefe karşı yedi dakika sürdü. Test verisi tutarlı kaldı. Ekibin sonucu yeniden üretebilmesi için senaryo tohumunu ve kanıtları kaydettim.

SRE’ımörnek

CPU yükselmeden kuyruk büyüyor

Yük testlerinde veritabanı bağlantı havuzu CPU’dan önce doygunluğa ulaşıyor. Yalnızca worker eklemek bu darboğazı çözmeyecek. Ekip için havuz ve sorgu incelemesi hazırladım.

SRE’ımörnek

Tekil bir bağımlılık dayanıklılık planı bekliyor

Tatbikatta tek kuyruk düğümünün kaybı sipariş işlemeyi durdurdu. CEO’ya etkiyi, yedeklilik seçeneklerini ve doğrulama kriterlerini ilettim. Planlama kararını ve atanacak sorumluyu takip edeceğim.

Planlanan deneyime ait bağımsız örnekler birlikte gösterilmiştir. Bu önizleme mesaj veya bildirim göndermez.

Önerilen kadron

Enterprise kadrosunda güvenilirlik uzmanlığı

Enterprise ekibinle izlemeyi, kurtarma tatbikatlarını ve dayanıklılık planlamasını bir araya getir.

Önerilen paketler · Yalnızca önizleme. Ek kullanım ayrıca ücretlendirilir; tarifesi henüz belirlenmedi. Paket incelemek ödeme veya abonelik değişikliği başlatmaz.

Keşfetmeye devam et

Agentcraft®

Sıradaki kesintiden önce dayanıklılığını güçlendir.

Paketleri keşfet