Starburst Galaxy

​

Aperçu

​

Exigences

• Accès aux Event Streams pour les événements de message sortants (Les limitations de forfait et les dépassements s’appliquent)
• Accès aux Événements personnalisés pour la synchronisation des événements entrants (Les limitations de forfait et les dépassements s’appliquent)
• Forfait de compte mis à jour (non disponible sur les applications gratuites)

​

Starburst Galaxy

• Cluster Starburst Galaxy avec accès réseau
• Identifiants utilisateur avec les autorisations appropriées
• Prise en charge de connexion TLS (intégré pour Galaxy)
• Données d’événements accessibles via les catalogues Galaxy

​

Configuration

jdbc:trino://census-example-cluster.trino.galaxy.starburst.io:[email protected]/accountadmin

census-example-cluster.trino.galaxy.starburst.io

​

Mappage des données d’événement

​

Exemple de requête d’événements

-- Example: Recent high-value events across Galaxy catalogs
SELECT
    event_name,
    user_id,
    event_timestamp,
    CAST(event_properties AS JSON) as event_properties
FROM catalog.schema.user_events
WHERE event_timestamp >= current_timestamp - INTERVAL '7' DAY
    AND JSON_EXTRACT_SCALAR(event_properties, '$.value') > '100'
ORDER BY event_timestamp DESC;

​

Requêtes de lac de données cloud

-- Example: Federated query across cloud data sources
SELECT
    'cloud_activity' as event_name,
    u.user_id,
    current_timestamp as event_timestamp,
    JSON_FORMAT(JSON_OBJECT(
        's3_interactions', s.interaction_count,
        'snowflake_orders', sf.order_count,
        'bigquery_analytics', bq.score_value
    )) as event_properties
FROM s3_catalog.users.profiles u
LEFT JOIN s3_catalog.interactions.summary s ON u.user_id = s.user_id
LEFT JOIN snowflake_catalog.orders.summary sf ON u.user_id = sf.user_id
LEFT JOIN bigquery_catalog.analytics.scores bq ON u.user_id = bq.user_id
WHERE u.created_date >= current_date - INTERVAL '30' DAY;

​

Options du moteur de synchronisation

​

Moteur de synchronisation de base

• Fonctionne avec n’importe quel catalogue et connecteur Galaxy
• Suivi de l’état géré par l’infrastructure OneSignal
• Configuration plus simple sans exigences supplémentaires

​

Moteur de synchronisation avancé

• Performances améliorées avec suivi d’état local
• Nécessite un catalogue et un schéma CENSUS.CENSUS dédiés
• Prend en charge les connecteurs avec opérations d’écriture de table
• Recommandé pour le traitement d’événements cloud à haut volume

​

Connecteurs pris en charge

• Connecteur MySQL (mode lecture-écriture)
• Connecteur PostgreSQL (mode lecture-écriture)
• Connecteur Snowflake (mode lecture-écriture)
• Connecteur Iceberg (avec S3 et AWS Glue)
• Catalogue Starburst Galaxy (stockage natif Galaxy)

​

Fonctionnalités de la plateforme cloud

​

Fédération multicloud

• Interrogez des sources de données AWS, Azure et GCP
• Combinez les données S3, Snowflake, BigQuery et Azure
• Analytique d’événements unifiée sur tous les fournisseurs cloud

​

Infrastructure gérée

• Clusters Trino entièrement gérés avec mise à l’échelle automatique
• Fonctionnalités de sécurité et de conformité intégrées
• Aucune gestion d’infrastructure requise

​

Catalogues natifs Galaxy

• Stockage natif Galaxy haute performance
• Intégration transparente avec l’écosystème Galaxy
• Optimisé pour les charges de travail d’analytique cloud

​

Limitations

• Connexion TLS requise (intégré pour Galaxy)
• Le moteur de synchronisation avancé nécessite la prise en charge de CREATE OR REPLACE TABLE
• Warehouse Writeback pas encore pris en charge (prochainement)
• Impossible de fournir des options de table personnalisées dans la clause WITH

​

FAQ

​

Comment obtenir le nom d’hôte de mon cluster Galaxy ?

​

Puis-je interroger plusieurs sources de données cloud ?

​

Galaxy prend-il en charge la mise à l’échelle automatique pour les charges de travail OneSignal ?