Cointime

Uygulamayı indirmek için QR kodu tarayın
iOS & Android

Pinax veri kümeleri Parquet ve S3 ile daha basit hale geliyor

Validated Project

TL;DR: Pinax'ın veri kümesi, Parquet dosyalarını ve S3'ü kullanarak blockchain veri erişimini basitleştirir. Bu kombinasyon, verimli depolama, hızlandırılmış sorgu performansı ve çeşitli analitik araçlarla kusursuz entegrasyon sağlar. Ham blockchain verileri, analiz etmeyi kolaylaştıracak şekilde SQL şeması kullanılarak yapılandırılmıştır. Veri kümemiz, birden fazla karmaşık blockchain bilgisine erişmek ve bunları analiz etmek için kullanıcı dostu bir çözüm sunar.

Önceki bir blog yazımızda Pinpoint'in veri kümelerini ve bunların blockchain verilerine erişimi nasıl kolaylaştıracağını tanıtmıştık. Bu makalede, Parquet dosyaları ve SQL şemaları gibi veri kümelerimizi bu kadar güçlü kılan araçlara ve yapılara derinlemesine bakacağız. Pinax'ın verimli veri depolama için Parquet dosyalarını nasıl kullandığını ve orijinal blockchain veri kümemizi destekleyen kapsamlı SQL mimarisini tartışacağız. Veri analistlerine kullanıcı dostu, en son teknolojiyi nasıl sağlamayı planladığımızı öğrenin.

Pinax veri seti, blockchain verilerini kolayca erişilebilir hale getirerek, blockchain bilgilerini analiz etmek isteyen ancak profesyonel araçlara veya altyapıya sahip olmayanlar için engelleri ortadan kaldırıyor. Makro analizden yapay zeka sohbet robotlarına ve finansal analize kadar çeşitli alanlardaki profesyonellerin veri tartışmasına değil analize odaklanmasını sağlamak için S3'te barındırılan Parquet dosyalarından yararlanıyoruz.

Veri kümelerimizi mevcut analiz araçlarıyla uyumlu olacak şekilde tasarladık ve analistlerin mevcut kurulumlarını kolayca takıp çalıştırabilmelerine olanak sağladık. Bu, veri kümemizi mevcut iş akışınıza sorunsuz bir şekilde entegre etmek için Amazon S3'ü harici bir tablo olarak kullanabileceğiniz anlamına gelir. Harici tablolar çeşitli veritabanlarında geniş çapta desteklenir, böylece verileri kapsamlı kurulum veya özel altyapıya gerek kalmadan doğrudan S3'ten sorgulayabilir, böylece veri yönetimini basitleştirebilirsiniz.

Ethereum veri setimizi deneyin: Snowflake'te 30 gün boyunca ücretsiz deneyin.

Özellikle teknolojinin endüstriler arasında gelişmeye devam etmesi ve veri hacmini ve karmaşıklığını artırması nedeniyle, blockchain verilerine erişmek, bunları işlemek ve analiz etmek zor olabilir. Pinax, erişimi kolaylaştıran ve hem teknik hem de teknik olmayan kullanıcılar dikkate alınarak tasarlanmış, kullanımı kolay veri kümelerine yardımcı olur. Basitleştirilmiş yaklaşımımızın merkezinde, özellikle büyük veri kümeleri için verimliliği ve ölçeklenebilirliği artıran güçlü bir sütunlu depolama formatı olan Parquet dosyaları bulunmaktadır.

Peki Parquet dosyaları tam olarak nedir ve blockchain verilerine erişim açısından neden bu kadar önemlidir?

Parke, verimli sıkıştırma ve performansı nedeniyle veri işlemede yaygın olarak kullanılan sütunlu bir depolama dosyası formatıdır. Verileri sırayla depolayan satır tabanlı depolama formatlarının aksine Parquet, verileri sütunlar halinde düzenleyerek depolama ve sorgu performansını optimize eder, bu da onu özellikle analitik için etkili kılar.

---Bu şekil, satır düzenini (her satır sırayla saklanır) ve sütun düzenini (her sütun tamamen depolanır (kaynak)) karşılaştırır

Parquet dosyalarının sütunlu formatı, onları blok zincirlerdeki karmaşık, yüksek hacimli veri kümelerini yönetmek için ideal kılar. Parquet, seçici sütun sorgularını etkinleştirerek sorgu hızını artırır ve depolama maliyetlerini azaltır, terabaytlarca blockchain verisinin işlenmesi için pratik bir çözüm sunar.

Temel avantajlar şunları içerir:

Parquet dosyalarının sütunlu formatı, onları blok zincirlerdeki karmaşık, yüksek hacimli veri kümelerini yönetmek için ideal kılar. Parquet, seçici sütun sorgularını etkinleştirerek sorgu hızını artırır ve depolama maliyetlerini azaltır, terabaytlarca blockchain verisinin işlenmesi için pratik bir çözüm sunar.

Temel avantajlar şunları içerir:

  1. Verimli depolama: Parke, verileri kaliteden ödün vermeden sıkıştırarak depolama maliyetlerini azaltır; bu, özellikle büyük blockchain veri kümeleri için faydalıdır.
  2. Daha hızlı sorgular: Sütun tabanlı depolama, analistlerin yalnızca ihtiyaç duydukları verilere erişmesine olanak tanıyarak Messari gibi araçların performansını artırır.
  3. Geniş uyumluluk: Parquet, çeşitli analiz araçlarıyla sorunsuz bir şekilde bütünleşerek SQL, Python, R ve daha fazlasındaki iş akışlarını destekler.

Pinax, blockchain verilerini kullanımı kolay bir formatta sağlar:

  • Sorunsuz entegrasyon: Ham blockchain verilerini Parquet formatında sağlıyoruz ve kullanıcıların verileri mevcut işlem hatlarına sorunsuz bir şekilde entegre etmelerini sağlıyoruz.
  • En son bilgiler: Veri kümeleri günlük olarak güncellenerek kullanıcıların en son blockchain verilerine erişmesini sağlar.
  • Geliştirilmiş kullanılabilirlik: Parquet'in tanıdık formatı analiz sürecini basitleştirerek analistlerin altyapı yerine analize odaklanmasına olanak tanır.

Veri seti pilot programımız iyi gidiyor ve veri erişimini ve performansı iyileştirmeyi amaçlayan yeni ilerlemeler kaydediyor. İşte kurulumumuzla ilgili en son bilgiler:

  • Veri izolasyonu ve erişim seçenekleri: S3 harici tablo kurulumuyla analistler veri erişimini bağımsız olarak yönetebilir. Seçenekler arasında S3 verilerinin özel bir tabloya kopyalanması, doğrudan S3 harici tablosuna bağlanma veya önceden yapılandırılmış Snowflake görünümlerimizin kullanılması yer alır. Ek olarak veriler yerel disk işlemeye indirilebilir, bu da veri işlemede esneklik sağlar.
  • Özelleştirme gereksinimlerine minimum düzeyde katılım: Bu kurulum, Pinex'in rolünü hafif tutuyor; biz öncelikle veri bütünlüğünü ve doğru şema tanımını sağlamaya odaklanırken, analistler belirli veri ihtiyaçları üzerindeki kontrolü elinde tutuyor.
  • Veri senkronizasyonu ve formatlama: Otomatik S3 senkronizasyon yüklemeleri, veri formatlarının okunabilirliğini sağlayarak analitik ihtiyaçları daha iyi karşılamak için veri kümeleri üzerinde özel görünümler oluşturulmasına olanak tanır.
  • Performans Optimizasyonu: Hızı artırmak için bölümleri yeniden düzenlemek de dahil olmak üzere, büyük veri kümelerinde sorgu performansını iyileştirmek için yapılandırmaları test etmeye devam edeceğiz.

Pinax veri kümesi bir dizi uygulamaya hizmet etme potansiyeline sahiptir:

  • Makro analiz: Messari ve Snowflake gibi platformlar, blockchain içgörülerini daha geniş pazar analizine kusursuz bir şekilde entegre ederek veri setlerimizden yararlanıyor.
  • Muhasebe: Blockchain kayıtları şeffaf ve değişmez bir defter sağlar, bu da onu muhasebe ve denetim amaçları için değerli kılar.
  • Blockchain Adli Bilimleri: Veri kümeleri, adli araştırmacıların işlemleri izlemesine, dolandırıcılığı tespit etmesine ve blockchain üzerindeki şüpheli etkinlikleri izlemesine yardımcı olabilir.
  • Yapay zeka sohbet robotları ve LLM'ler: Yapılandırılmış blockchain verilerine erişim, yapay zeka modelleri, özellikle de blockchain ile ilgili sorguları anlamak veya analitik gerçekleştirmek için tasarlanmış büyük dil modelleri (LLM'ler) için yüksek kaliteli eğitim verileri olarak hizmet eder.
  • Finansal analiz: DeFi uygulamaları, geçmiş işlem istatistiklerini görüntülemek için Pinax verilerini entegre edebilir ve daha akıllı finansal kararlar için öngörüler sağlayabilir.

Blockchain verileri ham haliyle görünür ve ağdaki tüm önemli işlemleri ve etkileşimleri yakalar. Pinax, bloklar, işlemler, genişletilmiş izleme ve günlükler gibi genişletilmiş temel Ethereum veri tablolarına erişim sağlar. Veri setimiz, bireysel işlemlerin takibinden bloklar arasındaki eğilimlerin anlaşılmasına kadar ayrıntılı analize olanak tanır ve bu da onu çeşitli alanlardaki uygulamalar için ideal kılar.

---Derinlemesine analiz için blokları, işlemleri, günlükleri ve genişletilmiş izlemeyi kapsayan kapsamlı EVM blockchain verileri.

Verimli erişim sağlamak amacıyla Pinax, blockchain verilerini yapılandırmak için SQL mimarisini kullanıyor. Bu şema, Parquet dosyalarındaki verilerin yapısını tanımlayarak çeşitli uygulamalarda veri erişimini ve analizini basitleştirir. EVM SQL şeması, bloklar, işlemler, günlükler ve durum değişiklikleri dahil olmak üzere EVM verilerini izlemek için ayrıntılı tablolar sağlar. Her tablo, ayrıntılı analiz için ayrıntılı verileri yakalayarak kullanıcıların blockchain etkileşimlerini verimli bir şekilde keşfetmesine yardımcı olur.

Ethereum verilerini oluşturmaya yönelik SQL şemasını keşfetmek için Pinpoint'in GitHub'daki EVM SQL şemasına göz atın.

Ethereum verilerini oluşturmaya yönelik SQL şemasını keşfetmek için Pinpoint'in GitHub'daki EVM SQL şemasına göz atın.

Bu SQL şemasının gerçek dünya analizinde nasıl uygulanabileceğini göstermek için burada, blockchain verilerinden belirli verilerin nasıl alınacağını gösteren bazı örnek sorgular verilmiştir.

-- This query calculates the number of unique active users per minute on a specific date. SELECT date_trunc('minute', block_time) AS minute, count(distinct "from") AS user FROM ethereum.transactions WHERE block_date = '2024-10-01' GROUP BY minute ORDER BY minute ASC;

-- This query retrieves the top 10 contracts with the most transactions on a specific date, ordered by transaction count. SELECT "to" AS contract, count(*) AS transactions FROM ethereum.transactions WHERE block_date = '2024-10-01' GROUP BY contract ORDER BY transactions DESC LIMIT 10;

-- This query counts the total number of successful ERC-20 token transfers (using Transfer and TransferFrom functions) per day within a specified date range. SELECT block_date, count(*) as total FROM ethereum.traces WHERE tx_success = true AND SUBSTR(input, 1, 10) IN ('0xa9059cbb', '0x23b872dd') -- Transfer and TransferFrom AND block_date >= '2024-09-01' AND block_date <= '2024-09-07' GROUP BY block_date ORDER BY block_date;

Pinax 数据集可在 Snowflake 上使用,Snowflake 是一个基于云的数据平台,以其易用性和强大的集成功能而闻Snowflake Marketplace, Snowflake Marketplace'te yer alıyor.

Snowflake Pazaryeri

区块链数据通常被认为难以访问和分析,但 Pinax 数据集将改变这种思维方式。我们专注于用户AI 模型训练。

如果您有兴趣探索我们如何根据您的需求简化区块链数据访问,请访问我们的网站或联系我们以了解更多信息。申请演示,了解我们如何转变您的区块链数据洞察。

İhtiyaçlarınıza göre blockchain veri erişimini nasıl basitleştirebileceğimizi keşfetmek istiyorsanız lütfen web sitemizi ziyaret edin veya daha fazla bilgi edinmek için bizimle iletişime geçin. Blockchain veri öngörülerinizi nasıl dönüştürebileceğimizi görmek için bir demo talep edin.

ETH veri kümemizin Snowflake'te 30 gün boyunca ücretsiz olarak sunulduğunu unutmayın!

(İlgili mesleki terimler, yorumlar, kod kütüphaneleri, köprüler vb. için lütfen blogu takip ederek bulun)

💡 Bu makale aşağıdaki soruları yanıtlıyor:

- Pinax, kullanım kolaylığı ve optimum performans için blockchain veri kümelerini nasıl oluşturuyor?

- Pinax'ın veri kümelerinden ne tür endüstriler ve kullanım durumları faydalanacak?

- Parke dosyası nedir?

- Parke dosyaları neden blockchain verilerine uygundur?

- Ham blockchain verilerinde neler yakalanıyor?

- Blockchain verilerinin yapılandırılmasında SQL şemasının rolü nedir?

- Pinax veri kümesini ücretsiz olarak nasıl deneyebilirim?

#blockchaindataanaliz#veri kümesi#web3data#blockchaindevelopment

Yorumlar

Tüm Yorumlar

Önerilen okuma