Veeam 9.5 Yedekleme Altyapısı ve Genel Bakış -KISIM II-

Backup Proxy

     Backup Proxy, backup server ile yedekleme altyapısındaki diğer sunucuların arasında bulunan bir yapıdır.Proxy verilen görevi işler ve yedekleme trafiğine iletir.Yaptığı görevler genel olarak aşağıdaki gibidir.

• Sistemlerin çalıştığı ana disk saklama ünitesinden(production storage) VM verilerini almak.
• Sıkıştırma
• Tekilleştirme
• Şifreleme
• Verileri yedekleme alanına(repository) veya başka bir Proxy sunucusuna göndermek. (Ör: Replikasyon sırasında ki 2. Proxy sunucusuna iletim.)

Backup Proxy Veri İletim Modları:

Backup Proxy 3 çeşit iletim moduna sahiptir

1-) Direk erişim

2-) Sanal cihaz

3-) Network

Ek olarak; sanallaştırmada kullanılan diskler storage üzerindeyse ve storage da veeam de tanımlandıysa, Storage üzerinden Snapshot ile Yedekleme yöntemi de kullanılabilir. Biz sistemimizde, direk erişim(Direct Access) yöntemi ile sistemi kullanıyoruz. Ayrıntılarına daha sonra gireceğiz.

Backup Proxy Kurulumları:

     Normalde backup server üzerinde varsayılan olarak backup Proxy kurulmuş olur. Günlük olarak en az 1 yedek alınan 100 den fazla VM e sahip sistemimizde tek bir  güçlü fiziksel makine üzerinde(Backup Server) kullanıyoruz ve yeterli geliyor.

     Büyük çaplı kurulumlar da dedicate proxyler kullanmak tavsiye ediliyor. Bu proxyler sayesinde yedekleme yükü veeam tarafından paylaştırılır. Aynı anda oluşan bir çok iş parçacığı optimize edilmiş olur. Duruma göre Proxy sayısı azaltılıp arttırılabilir. Ana veya uzak lokasyona kurulabilirler. Böyle bir yapıda oluşacak proxy sayısı; proxylerin nasıl bağlandığı, storage üzerindeki veri işleme yükü, elinizdeki kaynak miktarı, yedekleme ve replikasyon sıklıkları, proxy sunucularının işlemci yükü gibi bir çok parametre ile belirleniyor. Örneğin 4 adet kurduğunuz proxy makinası işleme başladıktan sonra storage da darboğaz oluşturabilir. Bir başka örnek; 2 Cpu lu 10 proxy makinası kurdunuz ama 4 Cpu lu 5 makina ile daha efektif bir durum oluştuğunu farkettiniz. 

   Kurulumları çok kolaydır çünlü içerisinde komplex servisler yerine daha hafif ölçekli servisler bulunmaktadır. Windows tabanlı bir sunucu gerekmektedir. Tüm kurulumlar veeam tarafından gerçekleştirilip servisler aktif edilir.

Backup proxyde bazı servis ve komponentler bulunmaktadır:

Veeam installer service: Yardımcı servistir. Sunucuya atanan role göre gerekli komponentlerin kurulup güncellenmesinden sorumludur.

Veeam Data Mover: İşte bu ana olayımız. Veri parçaları ile olan her türlü iş bu komponent tarafından yapılır(Yedeklerin hedef storage a gönderilmesi, sıkıştırma, tekilleştirme).

Backup Proxy Oluşturulurken Gerekenler:

• Uygun sistem kaynaklarının verilmesi
• Windows İşletim Sistemi
• Veeam konsolundan managed server olarak tanımlanıp sisteme dahil edilmesi.

Proxy’nin bulunduğu fiziksel yapıya görede trafik 3 şekilde konumlandırılabilir:

• VM lerin bulunduğı storage üzerine direk bağlantıya sahipse, LAN bypass edilir ve SAN üzerinden trafik akar.
• Backup Proxy VM olarak oluşturulur ve datastore üzerindeki vm ler ile HotAdd erişim verilir. Yine üsttekine benzer şekilde LAN dan bağımsız bir veri trafiği oluşur.

Sonradan Gelen Edit: Eğer proxy VM üzerinde çalışıyorsa kendi yedeğini bu proxy den aldırmayın, performansta ciddi düşüşlere neden olabilir. Neden? çünkü kendi yedeğini alırken diğer VM lerle ilgili işlem yapamaz ve bu durum Veeam tarafından job istatiklerinde belirtilir.

• İlk 2 madde uygulanamıyorsa LAN üzerinden bağlantı sağlanır. Veri akışı NBD(Network Block Device Protocol) protokü üzerinden olur.

     Tüm bu trafik tiplerinin ayrıntısına bu dokümanda değineceğim.

Transport Modes:

• İletim yöntemi olarak çevirebileceğimiz bu modlar verilerin VM den alınıp hedefe yazılması sırasında kullanılan iletim yöntemleridir.
• Direct storage Access
• Virtual appliance
• Network

• Veeam kullanacağı iletim modunu otomatik seçmektedir. İstenirse manuel olarak da ayarlanabilir. En verimli yöntem Direct Storage Access iken, en verimsizi Network dür. Manuel olarak sadece verilerin repository kısmına alınma yöntemi belirlenir. Verilerin hedefe gönderilmesi sırasında ise veeam bulunduğu konfigürasyona göre en verimlisini otomatik seçecektir.
• Tüm iletim modları VMware da bulunan VADP API lerini kullanır. VADP(VMware vStorage API for Data Protection) vSphere 4. Versiyonundan itibaren bulunan ve verilerin yedeklenmesi için kullanılan bir API grubu gibi düşünebiliriz.
• Şimdiye kadar yazdığımız bilgilere bir not eklemek istiyorum. Network veri yolu en tercih edimeyen yöntem gibi görünüyor normalde ama 10G 40G gibi networklere sahipseniz o kadar da verimsiz olmaz :)
• Direct Storage Access de 2 yöntem var; SAN ve NFS. Bizim kullandığımız sistemde NFS ihtiyacımız olmadığı için SAN olarak kullanıyoruz.  En basit haliyle yapıyı şöyle özetliyebiliriz;
• Storage ünitesine bağlı hostlar ve fiziksel backup server. O hostlara atanmış disklerin üzerinde VM ler çalışıyor. VMware de tanımlanmış diskler, aynı zamanda backup server’a da tanımlanmış durumda ve backup server vSphere üzerinden iletişim kurup yedekleme veya replikasyon politiklarına göre yapılacak gerekli işlemleri belirliyor. Disk üzerinde yapması gereken(dosyaların taşınması, kopyalanması, iletilmesi vb.) işlemlerini, kendine bağlı SAN yapısı üzerindeki disklerden direk olarak gerçekleştiriyor. Bizim sistemimizde kullandığımız ve aynı zamanda genelde de böyle kullanıldığını düşündüğüm Direct SAN Access in ayrıntılarına bakalım.

Direct SAN Access:

• Fiziksel bir makine kullanılması şiddetle tavsiye edilir.VM de kurabilirsiniz ama performans bir nebze düşük olacaktır. Ayrıca az sonra belirteceğim şeylerin VMware 6.5 için geçerli olduğunu belirteyim. Diğer versiyonlar için değişiklik varmı yok mu çok araştırmadım ama 5.1 ve öncesi için uyumluluk durumlarına bakmak gerekebilir.
• Fiziki veya sanal HBA ile direk storage erişimi bulunmalıdır. Aksi halde hata alırsınız.
• Kurulan proxy sunucusundaki işletim sisteminde VM datastore görülmelidir. Ama initialize edilirse o zaman o diskteki tüm VM lari kaybedersiniz. Çünkü o datastore VMware tarafından kendi formatına çevrilip kullanılmaktadır. Siz onu NTFS veya FAT32 yaparsanız haliyle disk VM tarafından tanınmayacak hale gelir.
• Bunun engellenmesi için Veeam SAN politikasını otomatik olrak offline shared olarak yapmaktadır.
• Yedekten geri dönüş işlemleri için proxy VM lerin bulunduğu LUN lara yazma yetkisine sahip olmalıdır.
• vSAN varsa Direct Access kullanamazsınız.Bu tür VM ler için Virtual Appliance veya Network seçeneğine yöneliyoruz.
• Eğer VVol içerisinde en az 1 VM var ise Direct access kullanamazsınız. VVol nedir ne değildir için linke bakabilirsiniz.
• https://kb.vmware.com/s/article/2113013
• Direct SAN ile replikasyon sırasında sadece ilk işlemde kullanılır(tabi bir alt maddede geçen şart sağlanırsa). VM in tamamnı replike edildikten sonra daha sonra devam eden aynı VM replikasyonları için hedefte virtual appliance veya network mode ları kullanılır. Kaynak kısmında direct access kullanılmaya devam edilir.
• Replikasyon sırasında eğer hedefteki kopya VM diskleri thick tanımlanırsa Direct Access de yazım yapılabilir. Aksi halde virtual appliance veya network kullanılacaktır.
• Yedekten geri dönüş kısmına bakacak olursak. Sadece thick tanımlanmış disk şartı burada da geçerli. Thick VM disk yok ise direct access kullanılmaz.
• VMware kısıtlarından dolayıi, incremental restore sırasında direct access desteklenmez. Bu sebepten dolayı VM diskleri için CBT kapatılmalıdır. Aksi halde yine diğer modlara geçiyoruz :)
• vSphere 5.5 ve sonrası için SATA diskleri direct access modu ile kullanabiliriz.

Direct Access modunda yedek alma ve geri dönüş işlemi:

İşlerin nasıl yürüdüğü konusuna geldik :) Backup proxy yedeği alacağı VM i tespit etmek için ESXi ye isteğini gönderiyor. ESXi ilgiliVM i buluyor.Veeam ESXi ye diyor ki, sen bu VM in bir snapshot'ını al. ESXi VM de bulunan disklerin metadatalarını alıyor(veri bloklarının disk üzerindeki fiziksel yerleri). Bu metadata proxy'ye gönderiliyor.Proxy de bu metadataları kullanarak SAN üzerinden direk olarak verileri kopyalıyor. Kopyalanan veriler hedefe gönderiliyor.

Direct Access Yedekleme Mekanizması

Peki yedeği alınan verilerin geri dönüşü nasıl oluyor? Proxy geri dönülecek verilere repository den veya hedef kaynaktan veri bloklarını alıyor. Daha sonra dönüş yapılacak ESXi ye, veri dönüşü gerçekleştireceği ile ilgili bir istek gönderiyor. ESXi de bulunan host dönülecek veri için alan ayırıyor.Veri blokları ayrılan alana yazılıyor.

Direct Access Veri Dönüş Mekanizması

NFS'yi bizim sistemimizde kullanmadığımız ve kullanmayı düşünmediğimiz için anlatmıyorum. 

Virtual Appliance:

Bu mod, direct access modundan daha verimsiz olmasına rağmen network modundan daha verimli çalıştığı için kullanılmaktadır. Daha çok proxy veya proxlerin VM olarak oluşturulması sonucunda kullanılmaktadır.Veeam bu sistemi kullanırken VMware de bulunan SCSI Hotadd özelliğinden faydalanmaktadır.Bu özellik VM çalışırken disklerin başka bir VM e eklenmesini sağlar. Yedekleme, geri dönüş veya replikasyon sırasında VM diskleri yedekleme proxy'sine eklenir ve yazma okuma işlemleri direk datastore üzerinden yapılır.

Backup Proxy'nin karşılaştığı her durum için virtual appliance kullanılabilir. Virtual appliance ile ilgili gereksinimleri ve limitleri inceliyelim.

• Backup Proxy rolü fiziksel bir sunucu değil, bir VM de olmalıdır.
• Backup proxy hangi host üzerinde bulunuyorsa, o hostun yedek veya replikasyon gibi işlemlere maruz kalacak VM'in disklerini görmesi gerekmektedir.
• SCSI  SCSI 0:X kontrolcüsünün backup proxy üzerinde bulunması gerekmektedir. Aksi halde işlemler hata verecektir.
• Backup server ve proxy son VMwareTools'a sahip olmalıdır.
• İşleme girecek olan VM VMFS3 dosya sisteminde bulunuyorsa, disk bağlanması için uygun blok boyutunda olmalıdır.
• 1MB Blok boyutu → 256  GB Maksimum boyut
• 2MB Blok boyutu → 512  GB Maksimum boyut
• 4MB Blok boyutu → 1024 GB Maksimum boyut
• 8MB Blok boyutu → 2048 GB Maksimum boyut

• VMFS5 için bu geçerli değildir. VMFS5 de blok boyutları her zaman 1MB olmaktadır.
• vSphere 5.1 için maksimum 1.98TB lık VMFK olmalıdır.vSphere 5.5 ve sonrası için VMDK üst sınırı 64TB dır.
• VM diskleri IDE ise bu yolla yedekleme yapılamaz.
• SATA diskler vSphere 6.0 ve sonrası için bu yöntemle yedeklenebilir.

Virtual Appliance modunda yedek alma ve geri dönüş işlemi:

Backup proxy yedeği alacağı VM i tespit etmek için ESXi ye isteğini gönderiyor. ESXi ilgiliVM i buluyor.Veeam ESXi ye diyor ki, sen bu VM in bir snapshot'ını al. VM in diskleri backup proxy e hotadd methodu ile bağlanıyor.İşlem bitince diskler proxy den kopartılıp snapshot siliniyor.

Virtual Appliance Yedekleme Mekanizması

Geri dönüş işlemide benzer şekilde gerçekleşir. Yedeklenmiş diskler proxy'ye bağlanır. Oradan gerekli geri dönüş işlemi yapılır ve proxy  ile bağları kopartılır.

Kullanmadığımız ve yakın zamanda kullanmayı düşünmediğimiz için VSAN ile ilgili olan kısımlara girmiyorum.

Network Mode:

Geldik kablolu ortamlara :) Buradan alınan yedekler Network Black Device Protocol (NBD) kullanılarak ESXi üzerinden alınır.

• Network modu sadece fiziksel makine üzerinde çalışır. Çalışma mekanizması ise diğer yöntemlerle snaphot aşamasına kadar aynı.Daha sonra LAN yoluyla verileri alarak hedefe gönderir.
• Veeam, seçilen veri işleme tipine göre diskleri teker teker veya paralel olarak işleme sokar. Eğer VM diskleri farklı ortamlardaysa (lokal ve SAN gibi), her bir disk için ayrı bir yönetmde uygulayabilir. Bu durumda "Failover to Network Mode" seçilmesi kesinti olmaması için güzel olacaktır. Peki nedir bu "Failover to Network Mode". 
• Eğer Direct Access veya Virtual Appliance modlarından biri ile işlemlerinizi yapıyorsanız, bu seçeneği seçtiğinizde şunu demiş olursunuz. "Sen işini bildiğin gibi yap ama olurda bir sorun çıkarsa network üzerinden yedeklerimi almaya devam et". Tabi ki bu durumda eğer sunucularınızın kullandığı network kullanılıyorsa, o network üzerinde olumsuz bir performans etkisi olacaktır.Kurulum anında da yapabilirsiniz, daha sonradan konsoldan proxyi bulup üzerine sağ tık properties derseniz menüye ulaşırsınız.

Proxy Sunucusu Oluşturmak:

     Proxy yapısı hakkında yeterince bilgimiz oldu. Şimdi kurulurken dikkat edilmesi gereken noktalar var mı bakalım.

Konsoldan Backup Infrastructure kısmına girip sol üstte görünen Backup Proxies kısmına sağ tıktan ilerliyoruz. 

• Klasik kısımlar çıkıyor karşımıza anlatmaya fazla gerek yok. Tanımı, hangi tarihte yapıldı gibisinden. Sonra iletim modu seçimine geliyor. Veeam "Automatic"  seçeneğini sunuyor. Burada bırakırsanız Veeam sistemi analiz edip, erişebildiği disklere bakıp, en verimli modu seçecektir. 
• Network dışında bir mod belirlerseniz, yukarıda bahsettiğimiz "Failover to Newtwork Mode" seçili olmasına dikkat edin. 
• Network modunda çalışacaksanız ve verilen şifreli gitmesini istiyorsanız.TLS bağlantıyı aktif hale getirebilirsiniz. Böylece veriler NBDSSL ile transfer edilir ve güvenlik sağlamış olursunuz. Tabi bunun karşılığında işlemciniz bir miktar daha fazla işlem yapmak zorunda kalır.
• Aynı anda yapılacak iş sayısınıda belirtebileceğiniz bir seçenek de göreceksiniz. Diyelim ki 2 seçtiniz. Veeam 2 işlemden fazlasını başlatmayacaktır. Veeam için her disk bir iştir. Aynı anda yapılacak iş sayısı CPU ile direk bağlantılılıdır. Ne kadar çok CPU o kadar iş parçası. Burada dikkat edilmesi gereken bir nokta da, aynı anda başlatılan iş sayısı arttırıldığında VMware veya Storage üzerinde oluşabilecek yüktür. Bunlarıda izleyip uygun bir sayı seçilebilir.
• Birde Traffic Rules kısmı var. Diyelimki şifreli veri iletimi seçtiniz ama bazı ip adresleri güvenli ve şifrelemeye gerek yok. İşte bu noktada onları ayırıp trafik performansını arttırabilirsiniz.

• Daha sonradan değişiklik yapmak isterseniz oluşturduğunu proxy üzerine sağ tık "properties" seçeneğinden değişiklik yapabilir veya istediğiniz proxleri "disable" "enable" yapabilirsiniz.Proxy kaldırmak isterseniz yine buradan yapılıyor ama kaldırılacak proxy bir yedekleme veya replikasyon işine özellikle atanmış ise onu iptal etmeden kaldıramazsınız. Bu arada dikkat edin, tüm proxyleri disable yapıp kaldırabilme yetkiniz var. Yedekleme ve replikasyon için en az 1 adet proxy olması gerektiğini unutmayın.

       Geldik yazımızın sonuna. Proxy konusunu işlemeye çalıştım. Bunu yaparken genel olarak her noktasını anlatamadım. Bunun için çok fazla zamanım yok. Kullandığım sistem üzerinde yaptığımız veya yaptığımız uygulamalar doğrultusunda yazdım. Böyle teknik konular yazarken sadece Türkçe kullanamıyorum, teknik olarak gerçek hayatta kullanılan kavramları çevirince çok anlaşılmıyormuş gibi geliyor. Teknik terimleri olabildiğince hem Türkçe hem İngilizce yazmaya çalıştım ama yazılım üzerindeki dili çok bozmamak gerekiyor. Bir sonraki yazıda görüşmek dileği ile, kendinize iyi bakın sağlıcakla kalın.