Databricks

Vue d'ensemble de l'intégration OneSignal Databricks

​

Vue d’ensemble

• Exporter les événements de message OneSignal vers Databricks pour l’analyse, les tableaux de bord et les rapports.
• Importer des événements personnalisés depuis Databricks vers OneSignal pour déclencher des Journeys et des campagnes personnalisées.

​

Exporter les événements OneSignal vers Databricks

• Plan Professional
• Événements personnalisés activés (pour les importations d’événements)
• Plateforme Databricks : AWS, Azure ou GCP
• Plan Databricks : Premium ou supérieur
• Databricks Unity Catalog (recommandé pour la gouvernance)
• Databricks SQL Warehouse pour les requêtes
• Tables d’événements Delta Lake (pour l’importation d’événements personnalisés)

​

1. Collecter les détails du SQL warehouse

1

Connectez-vous à votre espace de travail Databricks

Accédez à SQL Warehouses dans votre espace de travail Databricks.

2

Sélectionnez votre warehouse

Sélectionnez votre warehouse et ouvrez l’onglet Connection details.

3

Enregistrez les détails suivants

• Server Hostname
• Port
• HTTP Path

Détails de connexion SQL Databricks pour la configuration Fivetran

​

2. Créer un service principal

1

Accédez à la page Service Principals

Accédez à Workspace Settings > Identity and Access > Service Principals.

2

Ajoutez un nouveau service principal

Cliquez sur Add Service Principal, puis Add New.

3

Nommez le service principal

Nommez-le (par ex., onesignal-sync).

Modal pour ajouter un service principal, avec l'option 'Add new' mise en évidence

​

3. Générer un secret

1

Cliquez sur le principal créé

2

Accédez à l'onglet Secrets

3

Générez un secret

Cliquez sur Generate Secret et enregistrez-le en toute sécurité.

Le secret n’est visible qu’une seule fois—stockez-le en toute sécurité.

Modal 'Generate secret' de Databricks montrant le secret OAuth et l'ID client pour l'authentification API

​

4. Attribuer les permissions

1

Accédez à votre Catalogue et ouvrez l'onglet Permissions

2

Cliquez sur Grant

3

Attribuez les permissions suivantes au service principal

• USE CATALOG
• USE SCHEMA
• SELECT
• MODIFY
• CREATE SCHEMA
• CREATE TABLE

Écran d'attribution de privilèges pour un principal Databricks avec permissions de catalogue personnalisées sélectionnées.

​

5. Connecter OneSignal

1

Activez l'intégration

Dans OneSignal, accédez à Data > Integrations > Databricks.

2

Entrez les détails

• Server Hostname
• Port
• HTTP Path
• Catalog Name
• Schema Name
• Identifiants du service principal (ID + Secret)

Formulaire de configuration Databricks OneSignal avec champs pour le catalogue, le nom d'hôte, le chemin HTTP et les identifiants OAuth.

3

Configurez l'intégration

• Fréquence de synchronisation : toutes les 15 minutes au minimum
• Noms de jeu de données/table : prédéfinis comme onesignal_events_<app-id> et message_events (modifiable)
• Types d’événements : choisissez ceux à synchroniser—sélectionnez tout ou seulement ce dont vous avez besoin

4

Sélectionnez les événements

Sélectionnez les événements que vous souhaitez recevoir dans votre catalogue Databricks.

Écran des paramètres d'exportation d'événements OneSignal montrant l'état de synchronisation, la configuration du jeu de données et les types d'événements de message sélectionnés.

5

Terminez la configuration

Cliquez sur Save et attendez la confirmation de succès

​

6. Voir les données dans Databricks

1. Ouvrez votre Catalogue dans Databricks.
2. Une fois la synchronisation terminée, votre schéma configuré apparaîtra.
3. Accédez à la table message_events et interrogez-la.
   

   Vue du catalogue Databricks montrant la table des événements de message OneSignal sous un schéma de production.
4. Cliquez sur les tables pour un aperçu des données d’exemple.
   

   Exemple de données de la table message_events_1 avec champs d'événements OneSignal synchronisés.

​

Événements et propriétés de message

​

Types d’événements de message

​

Schéma des données d’événement

​

Notes

• Les synchronisations après l’enregistrement/l’activation peuvent prendre 15 à 30 minutes supplémentaires pour se terminer.
• La désactivation peut toujours entraîner une dernière synchronisation finale après la désactivation.
• Pour garantir une synchronisation efficace des données, notre système crée et gère automatiquement des ensembles de données intermédiaires. Ces ensembles de données, nommés selon un modèle comme fivetran_{deux mots aléatoires}_staging, stockent temporairement les données pendant le traitement avant qu’elles ne soient intégrées dans votre schéma principal. Ces ensembles de données intermédiaires sont essentiels pour maintenir un flux de travail rationalisé et ne doivent pas être supprimés, car ils seront automatiquement recréés.

​

Importer des événements depuis Databricks

• Déclencher des Journeys basés sur l’activité de l’utilisateur
• Personnaliser les messages en fonction des données comportementales

• Accès aux Event Streams pour les événements de message sortants (Les limitations de forfait et les dépassements s’appliquent)
• Accès aux Événements personnalisés pour la synchronisation des événements entrants (Les limitations de forfait et les dépassements s’appliquent)
• Forfait de compte mis à jour (non disponible sur les applications gratuites)

• Espace de travail Databricks avec SQL Warehouse ou cluster de calcul
• Personal Access Token avec les permissions appropriées
• Tables de données d’événements contenant des données comportementales au format Delta Lake
• Unity Catalog (recommandé pour la gouvernance des données)

-- For Unity Catalog enabled workspaces
GRANT SELECT ON TABLE catalog.schema.event_table TO `onesignal@yourdomain.com`;

-- For Hive metastore tables
GRANT SELECT ON TABLE database.event_table TO `onesignal@yourdomain.com`;

​

Mappage des données d’événement

​

Configuration avancée

​

Intégration Unity Catalog

SELECT
  event_name,
  user_id,
  event_timestamp,
  to_json(
    named_struct(
      'product_id', product_id,
      'purchase_amount', purchase_amount,
      'category', category
    )
  ) as payload
FROM catalog.schema.user_events
WHERE event_timestamp >= current_timestamp() - INTERVAL 7 DAYS

​

Optimisation Delta Lake

• Partitionnement : Partitionnez par date (event_date) pour des requêtes temporelles plus rapides
• Z-Ordering : Z-order par user_id et event_name pour un meilleur filtrage
• Fonctionnalités Delta Lake : Utilisez le liquid clustering pour une optimisation automatique

​

Traitement des événements en streaming

• Structured Streaming : Traitez les événements au fur et à mesure de leur arrivée
• Delta Live Tables : Construisez des pipelines de traitement d’événements robustes
• Auto Loader : Ingérez continuellement de nouveaux fichiers d’événements

​

FAQ

​

Pourquoi vois-je différents ID de message avec le même contenu ?

​

À quelle fréquence OneSignal synchronise-t-il les événements depuis Databricks ?

​

Puis-je utiliser les notebooks Databricks pour le traitement des événements ?

​

Qu’en est-il de l’optimisation des coûts pour les requêtes d’événements ?