Cointime

Uygulamayı indirmek için QR kodu tarayın
iOS & Android

Pinax veri kümeleri Parquet ve S3 ile daha basit hale geliyor

Validated Project

TL;DR: Pinax'ın veri kümesi, Parquet dosyalarını ve S3'ü kullanarak blockchain veri erişimini basitleştirir. Bu kombinasyon, verimli depolama, hızlandırılmış sorgu performansı ve çeşitli analitik araçlarla kusursuz entegrasyon sağlar. Ham blockchain verileri, analiz etmeyi kolaylaştıracak şekilde SQL şeması kullanılarak yapılandırılmıştır. Veri kümemiz, birden fazla karmaşık blockchain bilgisine erişmek ve bunları analiz etmek için kullanıcı dostu bir çözüm sunar.

Önceki bir blog yazımızda Pinpoint'in veri kümelerini ve bunların blockchain verilerine erişimi nasıl kolaylaştıracağını tanıtmıştık. Bu makalede, Parquet dosyaları ve SQL şemaları gibi veri kümelerimizi bu kadar güçlü kılan araçlara ve yapılara derinlemesine bakacağız. Pinax'ın verimli veri depolama için Parquet dosyalarını nasıl kullandığını ve orijinal blockchain veri kümemizi destekleyen kapsamlı SQL mimarisini tartışacağız. Veri analistlerine kullanıcı dostu, en son teknolojiyi nasıl sağlamayı planladığımızı öğrenin.

Pinax veri seti, blockchain verilerini kolayca erişilebilir hale getirerek, blockchain bilgilerini analiz etmek isteyen ancak profesyonel araçlara veya altyapıya sahip olmayanlar için engelleri ortadan kaldırıyor. Makro analizden yapay zeka sohbet robotlarına ve finansal analize kadar çeşitli alanlardaki profesyonellerin veri tartışmasına değil analize odaklanmasını sağlamak için S3'te barındırılan Parquet dosyalarından yararlanıyoruz.

Veri kümelerimizi mevcut analiz araçlarıyla uyumlu olacak şekilde tasarladık ve analistlerin mevcut kurulumlarını kolayca takıp çalıştırabilmelerine olanak sağladık. Bu, veri kümemizi mevcut iş akışınıza sorunsuz bir şekilde entegre etmek için Amazon S3'ü harici bir tablo olarak kullanabileceğiniz anlamına gelir. Harici tablolar çeşitli veritabanlarında geniş çapta desteklenir, böylece verileri kapsamlı kurulum veya özel altyapıya gerek kalmadan doğrudan S3'ten sorgulayabilir, böylece veri yönetimini basitleştirebilirsiniz.

Ethereum veri setimizi deneyin: Snowflake'te 30 gün boyunca ücretsiz deneyin.

Özellikle teknolojinin endüstriler arasında gelişmeye devam etmesi ve veri hacmini ve karmaşıklığını artırması nedeniyle, blockchain verilerine erişmek, bunları işlemek ve analiz etmek zor olabilir. Pinax, erişimi kolaylaştıran ve hem teknik hem de teknik olmayan kullanıcılar dikkate alınarak tasarlanmış, kullanımı kolay veri kümelerine yardımcı olur. Basitleştirilmiş yaklaşımımızın merkezinde, özellikle büyük veri kümeleri için verimliliği ve ölçeklenebilirliği artıran güçlü bir sütunlu depolama formatı olan Parquet dosyaları bulunmaktadır.

Peki Parquet dosyaları tam olarak nedir ve blockchain verilerine erişim açısından neden bu kadar önemlidir?

Parke, verimli sıkıştırma ve performansı nedeniyle veri işlemede yaygın olarak kullanılan sütunlu bir depolama dosyası formatıdır. Verileri sırayla depolayan satır tabanlı depolama formatlarının aksine Parquet, verileri sütunlar halinde düzenleyerek depolama ve sorgu performansını optimize eder, bu da onu özellikle analitik için etkili kılar.

---Bu şekil, satır düzenini (her satır sırayla saklanır) ve sütun düzenini (her sütun tamamen depolanır (kaynak)) karşılaştırır

Parquet dosyalarının sütunlu formatı, onları blok zincirlerdeki karmaşık, yüksek hacimli veri kümelerini yönetmek için ideal kılar. Parquet, seçici sütun sorgularını etkinleştirerek sorgu hızını artırır ve depolama maliyetlerini azaltır, terabaytlarca blockchain verisinin işlenmesi için pratik bir çözüm sunar.

Temel avantajlar şunları içerir:

Parquet dosyalarının sütunlu formatı, onları blok zincirlerdeki karmaşık, yüksek hacimli veri kümelerini yönetmek için ideal kılar. Parquet, seçici sütun sorgularını etkinleştirerek sorgu hızını artırır ve depolama maliyetlerini azaltır, terabaytlarca blockchain verisinin işlenmesi için pratik bir çözüm sunar.

Temel avantajlar şunları içerir:

  1. Verimli depolama: Parke, verileri kaliteden ödün vermeden sıkıştırarak depolama maliyetlerini azaltır; bu, özellikle büyük blockchain veri kümeleri için faydalıdır.
  2. Daha hızlı sorgular: Sütun tabanlı depolama, analistlerin yalnızca ihtiyaç duydukları verilere erişmesine olanak tanıyarak Messari gibi araçların performansını artırır.
  3. Geniş uyumluluk: Parquet, çeşitli analiz araçlarıyla sorunsuz bir şekilde bütünleşerek SQL, Python, R ve daha fazlasındaki iş akışlarını destekler.

Pinax, blockchain verilerini kullanımı kolay bir formatta sağlar:

  • Sorunsuz entegrasyon: Ham blockchain verilerini Parquet formatında sağlıyoruz ve kullanıcıların verileri mevcut işlem hatlarına sorunsuz bir şekilde entegre etmelerini sağlıyoruz.
  • En son bilgiler: Veri kümeleri günlük olarak güncellenerek kullanıcıların en son blockchain verilerine erişmesini sağlar.
  • Geliştirilmiş kullanılabilirlik: Parquet'in tanıdık formatı analiz sürecini basitleştirerek analistlerin altyapı yerine analize odaklanmasına olanak tanır.

Veri seti pilot programımız iyi gidiyor ve veri erişimini ve performansı iyileştirmeyi amaçlayan yeni ilerlemeler kaydediyor. İşte kurulumumuzla ilgili en son bilgiler:

  • Veri izolasyonu ve erişim seçenekleri: S3 harici tablo kurulumuyla analistler veri erişimini bağımsız olarak yönetebilir. Seçenekler arasında S3 verilerinin özel bir tabloya kopyalanması, doğrudan S3 harici tablosuna bağlanma veya önceden yapılandırılmış Snowflake görünümlerimizin kullanılması yer alır. Ek olarak veriler yerel disk işlemeye indirilebilir, bu da veri işlemede esneklik sağlar.
  • Özelleştirme gereksinimlerine minimum düzeyde katılım: Bu kurulum, Pinex'in rolünü hafif tutuyor; biz öncelikle veri bütünlüğünü ve doğru şema tanımını sağlamaya odaklanırken, analistler belirli veri ihtiyaçları üzerindeki kontrolü elinde tutuyor.
  • Veri senkronizasyonu ve formatlama: Otomatik S3 senkronizasyon yüklemeleri, veri formatlarının okunabilirliğini sağlayarak analitik ihtiyaçları daha iyi karşılamak için veri kümeleri üzerinde özel görünümler oluşturulmasına olanak tanır.
  • Performans Optimizasyonu: Hızı artırmak için bölümleri yeniden düzenlemek de dahil olmak üzere, büyük veri kümelerinde sorgu performansını iyileştirmek için yapılandırmaları test etmeye devam edeceğiz.

Pinax veri kümesi bir dizi uygulamaya hizmet etme potansiyeline sahiptir:

  • Makro analiz: Messari ve Snowflake gibi platformlar, blockchain içgörülerini daha geniş pazar analizine kusursuz bir şekilde entegre ederek veri setlerimizden yararlanıyor.
  • Muhasebe: Blockchain kayıtları şeffaf ve değişmez bir defter sağlar, bu da onu muhasebe ve denetim amaçları için değerli kılar.
  • Blockchain Adli Bilimleri: Veri kümeleri, adli araştırmacıların işlemleri izlemesine, dolandırıcılığı tespit etmesine ve blockchain üzerindeki şüpheli etkinlikleri izlemesine yardımcı olabilir.
  • Yapay zeka sohbet robotları ve LLM'ler: Yapılandırılmış blockchain verilerine erişim, yapay zeka modelleri, özellikle de blockchain ile ilgili sorguları anlamak veya analitik gerçekleştirmek için tasarlanmış büyük dil modelleri (LLM'ler) için yüksek kaliteli eğitim verileri olarak hizmet eder.
  • Finansal analiz: DeFi uygulamaları, geçmiş işlem istatistiklerini görüntülemek için Pinax verilerini entegre edebilir ve daha akıllı finansal kararlar için öngörüler sağlayabilir.

Blockchain verileri ham haliyle görünür ve ağdaki tüm önemli işlemleri ve etkileşimleri yakalar. Pinax, bloklar, işlemler, genişletilmiş izleme ve günlükler gibi genişletilmiş temel Ethereum veri tablolarına erişim sağlar. Veri setimiz, bireysel işlemlerin takibinden bloklar arasındaki eğilimlerin anlaşılmasına kadar ayrıntılı analize olanak tanır ve bu da onu çeşitli alanlardaki uygulamalar için ideal kılar.

---Derinlemesine analiz için blokları, işlemleri, günlükleri ve genişletilmiş izlemeyi kapsayan kapsamlı EVM blockchain verileri.

Verimli erişim sağlamak amacıyla Pinax, blockchain verilerini yapılandırmak için SQL mimarisini kullanıyor. Bu şema, Parquet dosyalarındaki verilerin yapısını tanımlayarak çeşitli uygulamalarda veri erişimini ve analizini basitleştirir. EVM SQL şeması, bloklar, işlemler, günlükler ve durum değişiklikleri dahil olmak üzere EVM verilerini izlemek için ayrıntılı tablolar sağlar. Her tablo, ayrıntılı analiz için ayrıntılı verileri yakalayarak kullanıcıların blockchain etkileşimlerini verimli bir şekilde keşfetmesine yardımcı olur.

Ethereum verilerini oluşturmaya yönelik SQL şemasını keşfetmek için Pinpoint'in GitHub'daki EVM SQL şemasına göz atın.

Ethereum verilerini oluşturmaya yönelik SQL şemasını keşfetmek için Pinpoint'in GitHub'daki EVM SQL şemasına göz atın.

Bu SQL şemasının gerçek dünya analizinde nasıl uygulanabileceğini göstermek için burada, blockchain verilerinden belirli verilerin nasıl alınacağını gösteren bazı örnek sorgular verilmiştir.

-- This query calculates the number of unique active users per minute on a specific date. SELECT date_trunc('minute', block_time) AS minute, count(distinct "from") AS user FROM ethereum.transactions WHERE block_date = '2024-10-01' GROUP BY minute ORDER BY minute ASC;

-- This query retrieves the top 10 contracts with the most transactions on a specific date, ordered by transaction count. SELECT "to" AS contract, count(*) AS transactions FROM ethereum.transactions WHERE block_date = '2024-10-01' GROUP BY contract ORDER BY transactions DESC LIMIT 10;

-- This query counts the total number of successful ERC-20 token transfers (using Transfer and TransferFrom functions) per day within a specified date range. SELECT block_date, count(*) as total FROM ethereum.traces WHERE tx_success = true AND SUBSTR(input, 1, 10) IN ('0xa9059cbb', '0x23b872dd') -- Transfer and TransferFrom AND block_date >= '2024-09-01' AND block_date <= '2024-09-07' GROUP BY block_date ORDER BY block_date;

Pinax 数据集可在 Snowflake 上使用,Snowflake 是一个基于云的数据平台,以其易用性和强大的集成功能而闻Snowflake Marketplace, Snowflake Marketplace'te yer alıyor.

Snowflake Pazaryeri

区块链数据通常被认为难以访问和分析,但 Pinax 数据集将改变这种思维方式。我们专注于用户AI 模型训练。

如果您有兴趣探索我们如何根据您的需求简化区块链数据访问,请访问我们的网站或联系我们以了解更多信息。申请演示,了解我们如何转变您的区块链数据洞察。

İhtiyaçlarınıza göre blockchain veri erişimini nasıl basitleştirebileceğimizi keşfetmek istiyorsanız lütfen web sitemizi ziyaret edin veya daha fazla bilgi edinmek için bizimle iletişime geçin. Blockchain veri öngörülerinizi nasıl dönüştürebileceğimizi görmek için bir demo talep edin.

ETH veri kümemizin Snowflake'te 30 gün boyunca ücretsiz olarak sunulduğunu unutmayın!

(İlgili mesleki terimler, yorumlar, kod kütüphaneleri, köprüler vb. için lütfen blogu takip ederek bulun)

💡 Bu makale aşağıdaki soruları yanıtlıyor:

- Pinax, kullanım kolaylığı ve optimum performans için blockchain veri kümelerini nasıl oluşturuyor?

- Pinax'ın veri kümelerinden ne tür endüstriler ve kullanım durumları faydalanacak?

- Parke dosyası nedir?

- Parke dosyaları neden blockchain verilerine uygundur?

- Ham blockchain verilerinde neler yakalanıyor?

- Blockchain verilerinin yapılandırılmasında SQL şemasının rolü nedir?

- Pinax veri kümesini ücretsiz olarak nasıl deneyebilirim?

#blockchaindataanaliz#veri kümesi#web3data#blockchaindevelopment

Yorumlar

Tüm Yorumlar

Önerilen okuma

  • Robinhood Baş Hukuk Sorumlusu Dan Gallagher, SEC Başkanı Olarak Görev Yapmayacağını Açıkladı

    Piyasa haberlerine göre, Robinhood Baş Hukuk Sorumlusu Dan Gallagher, ABD Menkul Kıymetler ve Borsa Komisyonu'nun başkanlığını yapmayacağını söyledi.

  • Kripto para biriminin siyasi eğilimleri: Trump'ın seçilmesi son boğa koşusunu tetikledi

    Bitcoin'in 100.000 doları hedeflemesi ve "Fıstık Sincabı"nın %3.000'lik kazançla manşetlere çıkmasıyla kripto para birimleri bu tatil sezonunda geri dönüş yaptı. Aile üyeleri Bitcoin'i, memecoin'leri ve "şu Elon Twitter saçmalığını" tartışacak ve siz, belirlenmiş "kripto para birimi uzmanı" olarak ortalama bir insanın kalbini kazanmak için konuşacak bir şeye ihtiyacınız var. Kripto para özgürlükçü bir çılgınlıktır. Trump 'Kripto Çarı'nı Düşünüyor, Bitcoin Yeni Zirvelere Ulaşıyor, Blackstone IBIT Opsiyon Lansmanı, Bitcoin'in Programlanabilirliği Yeniden Canlanıyor, Trump SEC Başkanı için Kripto Para Avukatı Olarak Düşünüyor, Ticaret Bakanı olarak Howard Lutnick'i Seçiyor. Trump'ın seçilmesi ve zaferi, çoğu kişinin artık MAGA ve Elon'un D.O.G.E aldatmacasının en kötü aşırılıkları ile ilişkilendirdiği en son kripto para birimi boğa koşusunu ateşledi. Sol eğilimli akrabalarınızın yeni Cumhuriyetçi yönetimin kripto para birimlerini bu kadar güçlü bir şekilde desteklediğini görmesinin sizin durumunuza bir faydası olmaz. Kuzeniniz Bitcoin'i kırmızı ve turuncuyla ilişkilendirildiği için satın almıyorsa gerçeklere dönün.

  • Kosinüs: Bir kullanıcı arka kapılı kod kullanarak bir bot yazmak için GPT'yi kullandıktan sonra, özel anahtar bir kimlik avı web sitesine gönderildi.

    Slow Mist Cosine tarafından yayınlanan bir makaleye göre. Cosine, GPT/Claude gibi LLM'leri kullanırken bu LLM'lerdeki yaygın aldatmacaya dikkat etmemiz gerektiğini hatırlatıyor. Daha önce AI zehirlenme saldırılarından bahsetmiştik ve şimdi bu, Crypto endüstrisine yönelik gerçek bir saldırı vakasıdır.

  • American Blockchain Association, Trump yönetimine kripto düzenleme önerileri sundu

    Amerikan Blockchain Derneği Önceliklerini duyurdu. Temel içerikler şunları içerir: bir kripto para birimi düzenleme çerçevesi oluşturmak, kripto para birimi ve blockchain teknolojisi şirketlerinin banka işlemlerinin sona erdirilmesi, yeni bir SEC başkanı atamak ve SAB121'i iptal etmek, Hazine Bakanlığı ve IRS için yeni liderlik atamak ve birlikte çalışarak bir kripto para birimi danışma komitesi oluşturmak. Kongre ve federal düzenleyiciler.

  • ABD Yüksek Mahkemesi, Facebook'un hissedar menkul kıymet dolandırıcılığı davasını önleme girişimini reddetti

    ABD Yüksek Mahkemesi, META'nın sahibi olduğu Facebook'un hissedar menkul kıymet dolandırıcılığı davasından kaçınmaya çalıştığı davayı reddetti.

  • Amerika Birleşik Devletleri'nde Kasım ayında son bir yıllık enflasyon oranının, beklenen %2,7 ve önceki değer olan %2,60'a kıyasla %2,6 olması bekleniyor.

    Amerika Birleşik Devletleri'nde Kasım ayındaki son bir yıllık enflasyon oranının, beklenen %2,7 ve önceki değer olan %2,60'a kıyasla %2,6 olması bekleniyor. Beş ila on yıllık ABD enflasyon oranının Kasım ayındaki nihai beklenen değeri, beklenen %3,1 ve önceki değer olan %3,10'a kıyasla %3,2 oldu.

  • Tahmin piyasası platformu Polymarket, düzenleyici soruşturma nedeniyle Fransız kullanıcılarına erişimi askıya aldı

    Merkezi olmayan tahmin piyasası platformu Polymarket, Fransız kullanıcıların platformuna erişimini askıya aldığını duyurdu. Hareket, Fransa Ulusal Kumar Otoritesi'nin (ANJ) platforma yönelik bir kumar uyumluluğu soruşturması başlatmasından haftalar sonra geldi. Soruşturmanın, platformda Trump'ın 2024 ABD başkanlık seçimlerinde zaferi üzerine büyük bir bahis oynayan Fransız bir tüccardan kaynaklandığı aktarılıyor. Polymarket bir IP yasağı uygulamış olsa da, Fransız kripto para haber sitesi The Big Whale, kullanıcıların platforma hala bir VPN aracılığıyla erişebileceklerini bildirdi. Basın tarihi itibarıyla Polymarket Hizmet Koşulları ilgili kısıtlamaları güncellememiştir.

  • İngiltere, 2025'in başlarında kripto para birimi ve stablecoin düzenlemelerini açıklayacak

    Birleşik Krallık İşçi Partisi hükümeti, düzenlemeyi basitleştirmeyi ve stabilcoinler ve staking gibi önemli alanları ele almayı amaçlayan kapsamlı bir kripto para birimi düzenleme çerçevesini 2025'in başlarında açıklayacak. İngiltere, sektörü düzenlemeye yönelik küresel yarışı yansıtan kripto para birimi çerçevesini gelecek yıl yayınlamayı planlıyor; Avrupa Birliği gibi diğer yetki alanları ise halihazırda inovasyon ve ekonomik fırsatları çekmek için stratejiler geliştiriyor. Birleşik Krallık hükümeti, 2025'in başlarında Londra Şehri'ndeki Küresel Tokenizasyon Zirvesi'nde kripto para birimi endüstrisi için birleşik bir düzenleyici çerçeve sunma planlarını açıkladı. Yeni çerçevenin bir parçası olarak, stabilcoinler artık Birleşik Krallık'ın mevcut ödeme hizmetleri kurallarına göre düzenlenmeyecek. Hükümet, bu düzenlemelerin mevcut kullanım durumları için uygun olmadığına inanıyor. Bu değişim, Birleşik Krallık'ın yaklaşımını, istikrar için genellikle ABD doları gibi varlıklara sabitlenen stablecoin'lerin gelişen doğasıyla uyumlu hale getirmeyi amaçlıyor.

  • Amazon, "OpenAI rakibi" Anthropic'e 4 milyar dolar daha yatırım yapacak

    Amazon ve Anthropic işbirliklerini derinleştiriyor ve birbirlerine 4 milyar ABD doları daha yatırım yapacak. Bu yılın eylül ayında yapay zeka girişimi Anthropic, 40 milyar dolara varan değerlemeyle yeni bir finansman turu arıyordu. Anthropic, 2021 yılında eski OpenAI yöneticileri tarafından kurulan ve açıklanabilir, güvenli ve kontrol edilebilir yapay zeka sistemleri oluşturmaya odaklanan bir şirkettir. Şirketin amiral gemisi yapay zeka modeli Claude, çıktısını yönlendirmek ve hatalı veya ayrımcı çıktıları önlemek için önceden tanımlanmış ilkeleri kullanan bir yapay zeka modeli olan "Anayasal Yapay Zeka" üzerinde çalışıyor.

  • Sui, Franklin Templeton Digital Assets ile stratejik ortaklığını duyurdu

    Sui Vakfı, Sui ekosistemi oluşturucularını desteklemeye ve Sui blockchain protokolünü kullanan yeni teknolojileri uygulamaya odaklanmak için Franklin Templeton Digital Assets ile stratejik bir ortaklık kurduğunu duyurdu.