Yazar: Gerry Wang
Orijinal makale ilk olarak Arweave Oasis Twitter'da yayınlandı
Önceki yazılarımda @ArweaveEco'nun çekirdek mekanizması hakkında birçok teorik içeriği sizlerle paylaşmıştım. Ancak pratik yapılmadan yapılan tüm konuşmalar her zaman sadece kelimelerden ibarettir. Bu makale, teoriye dayanarak $AR madenciliği yapabilecek bir madencilik makinesinin gerçekte nasıl inşa edileceğini tanıtacaktır.
Orijinal belge bağlantısı:
https://docs.arweave.org/developers/mining/mining-hardware
✨✨✨✨✨✨✨✨✨✨✨✨✨✨✨✨✨✨✨
Arweave madenciliğinin iki ana adımı vardır:
- Verileri senkronize etme (Senkronizasyon) ve verileri paketleme (Paketleme)
- madencilik
Bu makale, madenciliğin bu aşamasında gerekli olan madencilik makinesi bileşen konfigürasyonuna odaklanacaktır.
Arweave veri kümesi ("Weave" olarak adlandırılır) birkaç 3,6 TB'lık bölüme (3.600.000.000.000 bayt) bölünmüştür.
Mart 2024 itibarıyla bölme sayısı 50'ye ulaştı. Bu sayı, kullanıcı verileri yüklendikçe ve gelecekte AO platformuna daha fazla veri geldikçe zamanla artacaktır.
Arweave protokolü, madencileri madencilik için tüm veri setini veya tüm veri setinin birden fazla kopyasını ("tam kopyalar" olarak adlandırılır) depolamaya güçlü bir şekilde teşvik eder.
Tam bir kopyayı saklayan madenciler, 50 bölümün tamamındaki verileri okumak için tek bir düğümü çalıştırmayı seçebilir. Ayrıca, her biri verinin bir alt kümesinden blokları okuyan ve tam bir kopya oluşturmak için birbirleriyle koordineli çalışan birden fazla düğümü çalıştırabilirler. Buna "işbirlikçi madencilik" denir (işbirlikçi madencilik, sürüm 2.7.2'deki yeni bir özelliktir; " Arweave'in en son sürümü 2.7.2'de neler yükseltildi? " yazısını okuyabilirsiniz).
Her durumda, madencilik için ana darboğaz genellikle sabit diskin okuma bant genişliğidir: 3,6 TB bölüm başına en az 200 MB/sn ortalama okuma verimini korumanız gerekir.
Aşağıda bir madencilik teçhizatının kurulmasına ilişkin temel hususları özetliyoruz ve bazı yapılandırma örnekleri sunuyoruz.
Madencilik konfigürasyonları makineden makineye farklılık gösterir ve belirli bileşenler arasındaki uyumluluğu henüz kanıtlayamıyoruz. Bu nedenle, kendi madencilik teçhizatınızı oluştururken bileşenler arasındaki uyumluluğu doğrulamanız gerekir.
Madencilik Platformu
Şu anda iki madencilik yapılandırması vardır:
Madencilik konfigürasyonları makineden makineye farklılık gösterir ve belirli bileşenler arasındaki uyumluluğu henüz kanıtlayamıyoruz. Bu nedenle, kendi madencilik teçhizatınızı oluştururken bileşenler arasındaki uyumluluğu doğrulamanız gerekir.
Madencilik Platformu
Şu anda iki madencilik yapılandırması vardır:
- Tam kopyalarla tek düğümlü madencilik;
- Birden çok düğüm, verilerin kısmi kopyalarını çıkarır ve bunları verilerin tam bir kopyası halinde birleştirmek için işbirliği yapar.
Şu ana kadarki ana strateji, çok düğümlü/işbirlikçi madencilik yaklaşımını benimsemek olmuştur. **Weave büyümeye devam ettikçe bu stratejinin giderek daha popüler hale geleceğine inanıyoruz.
Şimdi bir düğümün 16 bölüm verisini depoladığı bir durumu ele alıyoruz. Yapılandırma tablosu aşağıdaki gibidir:
Daha sonra verilerin tam kopyasının üzerine yazmak için bu tür 3 veya daha fazla düğümle çalışır.
Notlar: Tabii ki, madenciler tek bir düğümü 16'dan fazla bölümü depolayacak şekilde de yapılandırabilirler; örneğin tam 50 bölüme sahip tek bir düğüm gibi. Ancak yalnızca kısmi bir kopyaya sahip olan bir madenci olarak, verimli bir şekilde madencilik yapmak için diğer madencilerle işbirliği yapabilecek bir madencilik havuzuna da katılabilirsiniz.
Depolama Bant Genişliği
Madencilerin karşılaşacağı en büyük darboğaz, depolama ve okuma bant genişliğidir. Spesifik olarak, her 3,6 TB'lik bölümün, depolama diskinden CPU'ya kadar en az 200 MB/sn'lik ortalama okuma verimini koruması gerekir. İlgili ana bileşenler şunlardır:
- Mekanik sabit disk (HDD)
- Ana Bilgisayar Veri Yolu Adaptörü HBA (isteğe bağlı SAS genişletici)
- Anakarttaki PCIe yuvası
Her bileşeni daha derinlemesine tartışalım.
1. Mekanik sabit disk (HDD)
Mekanik bir sabit disk HDD'sinin temel gereksinimi, 3,6 TB bölüm başına ortalama 200 MB/sn okuma verimi sağlayabilmektir.
Modern 7200 rpm HDD'ler genellikle 200 MB/s olarak derecelendirildiğinden, en basit ve en çok önerilen yaklaşım, kazmayı planladığınız her bölüm için 4 TB'lık bir HDD satın almaktır. Weave verileriyle ilgili meta veri bilgilerini depolamak için ek bir 0,4 TB kullanılır.
Ancak madenciler aşağıdaki gibi farklı durumlarda farklı konfigürasyonları daha karlı bulabilirler:
- 3 bölümü 4 adet 3TB HDD sürücüsünde saklayın
- 8 TB HDD'lerle, HDD başına 1 bölüm ayırın ve ekstra alanı nadiren erişilen depolama için kullanın.
Benzer şekilde, hem SATA hem de SAS sürücüleri iyi çalışır; yalnızca sürücüler, kablolar ve diğer bileşenler arasında uyumluluk sağlamanız gerekir. Ancak bunlar, sonuçlara varılmadan önce donanım bileşenleri arasında yeterli test yapılmasını gerektirir.
2. Ana Bilgisayar Veri Yolu Adaptörü HBA
Çoğu anakartta 16'dan fazla depolama diskini desteklemeye yetecek kadar entegre SATA konektörü yoktur, bu nedenle muhtemelen en az bir HBA kartına ihtiyacınız olacaktır. Piyasada birçok farklı HBA mevcuttur.
Sorulacak ilk soru şudur: HBA'ya kaç disk ekleyeceksiniz? Bu numarayı aldıktan sonra aşağıdaki özelliklere göre bir HBA seçebilirsiniz:
- SAS sürümü;
- SAS kanal numarası;
- İsteğe bağlı: SAS genişletici;
- PCIe şerit numarası ve PCIe sürüm numarası
- Dahili veya harici SAS bağlantı noktası
- Diğer parametreler
- SAS sürümü;
- SAS kanal numarası;
- İsteğe bağlı: SAS genişletici;
- PCIe şerit numarası ve PCIe sürüm numarası
- Dahili veya harici SAS bağlantı noktası
- Diğer parametreler
Düğüm başına 16 SATA diski olduğunu varsayarak bir örnek kullanarak bunları yapılandıralım.
Toplam 16 SATA sabit sürücü, 16 × 1,2 Gbps = 25,6 Gbps'lik sürekli ortalama okuma verimi gerektirir.
Not: RAID kullanmanızı önermiyoruz. Genel olarak hem yazılım hem de donanım RAID'i maliyeti ve karmaşıklığı haklı çıkarmaz ve belirli yapılandırmalarda performansa zarar verebilir.
SAS sürümü
SAS (Seri SCSI) bir veri aktarım protokolüdür. SAS için 3 farklı hız standardı bulunmaktadır.
- SAS-1: 3 Gb/sn/kanal
- SAS-2: 6 Gb/sn/şerit
- SAS-3: 12 Gb/sn/şerit
Tüm standartlar birlikte çalışabilir ancak kablolar ve çevre birimleri farklı SAS standartlarına göre birleştirildiğinde veri aktarım verimi en yavaş bileşene göre belirlenir. Örneğin, bir SAS-1 genişleticiyi bir SAS-3 HBA'ya bağlarsanız aktarım, kanal başına 12 Gbps yerine kanal başına 3 Gbps olacaktır.
Bu nedenle, erkenden bir standart belirlemenizi ve bu standardı veya daha yüksek bir standardı karşılayan tüm bileşenleri seçmenizi öneririz.
Gelecekte daha fazla disk eklemeye karar verirseniz SAS hızının bir darboğaza dönüşmemesini sağlamaya yardımcı olacağı için SAS-2 veya SAS-3 kullanmanızı öneririz .
SAS kanalı sayısı
HBA kartının ürün adı 8i, 16i, 16e gibi sayı ve harflerle bitmektedir. HBA kartı tarafından desteklenen SAS kanallarının sayısını ifade eder.
Her HBA konektöründe (genellikle bir Mini-SAS konektörü vardır, ancak başka bağlantı noktaları da vardır) 4 şerit bulunur. Bu nedenle, bir "SAS-2 LSI HBA 16i" kartında toplam 16 kanal için her biri 4 SAS kanalına sahip 4 konektör bulunur. 16 şerit × 6 gbps = 96 gbps toplam verim.
SAS genişletici kullanmadan, her HBA kartının kanalı doğrudan tek bir HDD sabit diskine bağlanabilir. Bu nedenle, 16 sabit sürücüyü desteklemek istiyorsanız 16 kanallı (bazen 16 bağlantı noktalı olarak da adlandırılır) bir HBA kartına ihtiyacınız vardır. Her sabit disk, SAS'ın bant genişliğinden çok daha düşük olan 1,2 Gbps okuma bant genişliği gerektirir.
16 sabit sürücüyü bağlamak için 16i veya 16e HBA kartının kullanılması önerilir.
Her HBA kart kanalının teorik olarak birden fazla sabit sürücüyü desteklemeye yetecek bant genişliğine sahip olduğunu fark etmiş olabilirsiniz. Örneğin, 6 Gbps SAS-2 kanalı teorik olarak beş adet 1,2 Gbps sabit sürücüyü destekleyebilir. Bunu başarmak için bir SAS genişletici eklemeniz gerekir.
SAS genişletici
HBA kartındaki her bir SAS kanalına birden fazla sabit sürücüyü bağlamak için SAS genişleticileri kullanın. SAS genişleticileri kullanılırken SAS sürümünün ayarlanması özellikle önemlidir. Örneğin, SAS-2 HBA kartıyla birlikte bir SAS-1 genişletici kullanıyorsanız ve her SAS kanalına 4 sürücü bağlamaya çalışırsanız, 3 Gb/sn'lik daha düşük SAS-1 aktarım hızı, okuma hızınızı sınırlayacaktır.
SAS genişleticinin kullanılması ayrıca ek bir PCIe yuvası gerektirir ve sorun giderme ve değiştirme bakımı gerektiren bir bileşendir. Bu nedenlerden dolayı, ek karmaşıklıkla başa çıkmaya hazır olmadığınız sürece SAS genişleticilerini kullanmanızı önermiyoruz.
PCIe şerit numarası ve PCIe sürüm numarası
Bileşenin son bağlantısı HBA kartından anakarta PCIe yuvası aracılığıyla yapılır.
PCIe şerit numarası ve PCIe sürüm numarası
Bileşenin son bağlantısı HBA kartından anakarta PCIe yuvası aracılığıyla yapılır.
PCIe bant genişliğinin genel üretim açısından bir darboğaz haline gelmemesini sağlamak için sekiz PCIe sürüm 3.0 hattına sahip bir adaptör kullanmanızı öneririz. Bu 8 PCIe 3.0, 62,4 Gbps bant genişliği sağlayabilir ve 39 adede kadar sabit sürücü kullanabilir.
Dahili ve Harici
HBA'lar hakkında başka bir not: Ürün numarasının sonundaki harfler (örn. 16i ve 16e) "dahili" ve "harici" konnektörü belirtir. 16i HBA kartı kasanın içindeki Mini-SAS konnektörünü açığa çıkarır ve 16e HBA kartı kasanın dışındaki Mini-SAS konnektörünü açığa çıkarır. Sabit sürücüyü nereye monte etmeyi planladığınıza bağlı olduğundan burada herhangi bir önerimiz yok.
Diğer parametreler
Bilgisayar sistemleri karmaşık olduğundan ve çok çeşitli bileşenlere sahip olduğundan, sistemde HBA'lardan ve sabit sürücülerden farklı ek bant genişliği kısıtlamaları olabilir. Okuma bant genişliği açısından darboğaz oluşturmadıklarından emin olmak için sisteminizdeki diğer bileşenlerin özelliklerini kontrol etmek isteyebilirsiniz.
3. Anakarttaki PCIe yuvası
Yukarıda HBA bölümünde belirtildiği gibi, HBA'yı ve herhangi bir SAS genişleticiyi bağlamak için 8 hatlı PCIe 3.0 veya daha iyi bir bağlantı kullanmanızı öneririz. Bir anakart satın alırken, HBA kartlarını ve herhangi bir SAS genişleticiyi barındırmak için yeterli sayıda doğru türde yuvaya sahip olduğundan emin olmak için bu akılda tutulması gereken bir şeydir.
Not: Senkronizasyon ve Paketleme aşamaları
Önceki donanım konfigürasyonu esas olarak madencilik aşamasına odaklanıyordu. Madenciliğe başlamadan önce tam bir kopyayı (Mart 2024 itibarıyla 177 TB) indirmeniz ve madencilik adresiniz altında paketlemeniz gerekir. Paketleme, CPU yoğun bir şifreleme işlemidir (örgü verileri, madencilik adresiniz kullanılarak simetrik olarak şifrelenir). Genel olarak konuşursak, madenciler verileri indirir ve verileri paralel olarak paketler.
Bu aşamadaki darboğazlar ağ indirme bant genişliği ve CPU kapasitesidir. Örneğin indirme bant genişliği 1 Gbps ise tüm veri setinin indirilmesi 16 günden fazla sürecektir. İndirme hızı ne kadar hızlı olursa veri seti o kadar hızlı senkronize edilebilir. Ancak madenciliğe başladığınızda 100 – 200 mbps hızlar yeterlidir.
Bazı veriler indirildikten sonra verilerin paketlenmesi ve madencilik adresi altında benzersiz bir kopyaya dönüştürülmesi gerekir. 16 çekirdekli Ryzen 9 7950x, saniyede yaklaşık 90 MB veri paketleyebilir; bu, tek bir 16 çekirdekli Ryzen 9 7950x kullanılarak tüm veri setinin paketlenmesinin yaklaşık 22 gün süreceği anlamına gelir. Bu iki aşama (senkronizasyon ve paketleme) paralel olarak gerçekleşebildiğinden, 1 Gbps indirme bant genişliğine ve 16 çekirdekli Ryzen 9 7950x'e sahip bu örnek madenci, tüm veri kümesini 22 gün içinde senkronize edip paketleyebilir.
Tüm bunların kurtarıcı özelliği, verilerin kopya başına yalnızca bir kez indirilip paketlenmesinin gerekmesidir. Bazı madenciler bu aşamanın süresini azaltmak için CPU süresini ve bant genişliğini kiralayacaklar.
🔗 PermaDAO Hakkında : Web Sitesi |
💡 PermaDAO topluluğu, everVision tarafından başlatılmıştır ve Forward Research (Arweave yetkilisi) tarafından desteklenmektedir. Arweave fikir birliği depolaması teması etrafında inşa edilmiş bir "ortak oluşturucu topluluğudur". Katkıda bulunanların tüm çalışmaları veri konsensüsü haline gelecektir. "Veri mutabakatı" ile başlayalım ve yabancıların iş birliği için yeni bir model olan merkezi olmayan özerk organizasyonları keşfedelim.
"Hata yakalama" planı
Bu makalede yazım hataları, yanlış cümleler, yanlış açıklamalar, belirsiz anlamlar, gereksiz açıklamalar veya diğer sorunlar dahil hatalar bulursanız, bize geri bildirimde bulunabilirsiniz ve teşviklerle ödüllendirileceğiz. Geri bildirimde bulunmak için " burayı " tıklayın.
Geri bildirim geçerlilik süresi: makale yayınlandıktan sonraki 30 gün içinde.
Tüm Yorumlar