Databricks

​

Genel Bakış

• Dışa Aktarma: Analitik ve raporlama için OneSignal mesaj olaylarını Databricks’e gönderin.
• İçe Aktarma: Yolculukları tetiklemek ve kampanyaları kişiselleştirmek için Databricks’ten OneSignal’e özel olaylar gönderin.

​

OneSignal Mesaj Olaylarını Databricks’e Aktarma

• Profesyonel Plan veya üzeri
• Özel Olaylar etkinleştirilmiş (olay içe aktarmaları için)
• Databricks Platformu: AWS, Azure veya GCP
• Databricks Planı: Premium veya üzeri
• Databricks Unity Catalog (yönetişim için önerilir)
• Sorgulama için Databricks SQL Warehouse
• Delta Lake olay tabloları (özel olay içe aktarma için)

​

1. SQL Warehouse Detaylarını Toplayın

1

Databricks çalışma alanınızda oturum açın

Databricks çalışma alanınızda SQL Warehouses bölümüne gidin.

2

Warehouse'unuzu seçin

Warehouse’unuzu seçin ve Connection details sekmesini açın.

3

Aşağıdaki detayları kaydedin

• Server Hostname
• Port
• HTTP Path

​

2. Bir Service Principal Oluşturun

1

Service Principals sayfasına gidin

Workspace Settings > Identity and Access > Service Principals yolunu izleyin.

2

Yeni bir service principal ekleyin

Add Service Principal’a, ardından Add New’e tıklayın.

3

Service principal'ı adlandırın

Bir isim verin (örneğin, onesignal-sync).

​

3. Bir Secret Oluşturun

1

Oluşturulan principal'a tıklayın

2

Secrets sekmesine gidin

3

Bir secret oluşturun

Generate Secret’a tıklayın ve güvenli bir şekilde kaydedin.

Secret yalnızca bir kez görülebilir—güvenli bir şekilde saklayın.

​

4. İzinleri Atayın

1

Catalog'unuza gidin ve Permissions sekmesini açın

2

Grant'e tıklayın

3

Service principal'a aşağıdaki izinleri atayın

• USE CATALOG
• USE SCHEMA
• SELECT
• MODIFY
• CREATE SCHEMA
• CREATE TABLE

​

5. OneSignal’i Bağlayın

1

Entegrasyonu etkinleştirin

OneSignal’de Data > Integrations > Databricks yolunu izleyin.

2

Detayları girin

• Server Hostname
• Port
• HTTP Path
• Catalog Name
• Schema Name
• Service Principal kimlik bilgileri (ID + Secret)

3

Entegrasyonu yapılandırın

• Sync Frequency: her 15 dakikada bir kadar sık
• Dataset/Table Names: onesignal_events_<app-id> ve message_events olarak önceden ayarlanmıştır (düzenlenebilir)
• Event Types: hangi olayların senkronize edileceğini seçin—tümünü veya yalnızca ihtiyacınız olanları seçin

4

Olayları seçin

Databricks catalog’unuzda almak istediğiniz olayları seçin.

5

Kurulumu tamamlayın

Save’e tıklayın ve başarı onayını bekleyin

​

6. Databricks’te Verileri Görüntüleyin

1. Databricks’te Catalog’unuzu açın.
2. Senkronizasyon tamamlandığında, yapılandırılmış şemanız görünecektir.
3. message_events tablosuna erişin ve sorgulayın.
   
4. Örnek veri önizlemesi için tablolara tıklayın.
   

​

Mesaj etkinlikleri ve özellikleri

​

Mesaj etkinlik türleri

​

Etkinlik veri şeması

​

Notlar

• Kaydetme/etkinleştirme sonrası senkronizasyonlar tamamlanması için ek 15-30 dakika alabilir.
• Devre dışı bırakma, devre dışı bırakıldıktan sonra hala bir son senkronizasyonla sonuçlanabilir.
• Verimli veri senkronizasyonunu sağlamak için sistemimiz otomatik olarak hazırlama veri kümelerini oluşturur ve yönetir. fivetran_{iki rastgele kelime}_staging gibi bir desenle adlandırılan bu veri kümeleri, ana şemanıza entegre edilmeden önce işleme sırasında geçici olarak veri depolar. Bu hazırlama veri kümeleri akıcı bir iş akışını sürdürmek için gereklidir ve otomatik olarak yeniden oluşturulacakları için silinmemelidir.

​

Databricks’ten Olayları İçe Aktarma

• Kullanıcı etkinliğine dayalı Yolculukları tetikleyin
• Davranışsal verilere dayalı mesajlaşmayı kişiselleştirin

• Access to Event Streams for outbound message events (Plan limitations and overages apply)
• Access to Custom Events for inbound event syncing (Plan limitations and overages apply)
• Updated Account Plan (not available on free apps)

• SQL Warehouse veya compute cluster ile Databricks workspace
• Uygun izinlere sahip Personal Access Token
• Delta Lake formatında davranışsal veriler içeren Olay veri tabloları
• Unity Catalog (veri yönetişimi için önerilir)

-- Unity Catalog etkinleştirilmiş workspace'ler için
GRANT SELECT ON TABLE catalog.schema.event_table TO `onesignal@yourdomain.com`;

-- Hive metastore tabloları için
GRANT SELECT ON TABLE database.event_table TO `onesignal@yourdomain.com`;

​

Event data mapping

​

Gelişmiş Yapılandırma

​

Unity Catalog Entegrasyonu

SELECT
  event_name,
  user_id,
  event_timestamp,
  to_json(
    named_struct(
      'product_id', product_id,
      'purchase_amount', purchase_amount,
      'category', category
    )
  ) as payload
FROM catalog.schema.user_events
WHERE event_timestamp >= current_timestamp() - INTERVAL 7 DAYS

​

Delta Lake Optimizasyonu

• Partitioning: Daha hızlı zamana dayalı sorgular için tarihe göre bölümlendirin (event_date)
• Z-Ordering: Daha iyi filtreleme için user_id ve event_name’e göre Z-order uygulayın
• Delta Lake Features: Otomatik optimizasyon için liquid clustering kullanın

​

Streaming Event Processing

• Structured Streaming: Olayları geldikçe işleyin
• Delta Live Tables: Sağlam olay işleme hattları oluşturun
• Auto Loader: Yeni olay dosyalarını sürekli olarak alın

​

SSS

​

Neden aynı içeriğe sahip farklı mesaj ID’leri görüyorum?

​

OneSignal Databricks’ten olayları ne sıklıkla senkronize eder?

​

Olay işleme için Databricks notebook’larını kullanabilir miyim?

​

Olay sorguları için maliyet optimizasyonu hakkında ne söylenebilir?