Databricks

​

Descripción general

• Exportar: Envíe eventos de mensajes de OneSignal a Databricks para análisis e informes.
• Importar: Envíe eventos personalizados desde Databricks a OneSignal para activar Journeys y personalizar campañas.

​

Exportar eventos de mensajes de OneSignal a Databricks

• Plan Professional o superior
• Eventos personalizados habilitados (para importaciones de eventos)
• Plataforma Databricks: AWS, Azure o GCP
• Plan Databricks: Premium o superior
• Databricks Unity Catalog (recomendado para gobernanza)
• Databricks SQL Warehouse para consultas
• Tablas de eventos Delta Lake (para importación de eventos personalizados)

​

1. Recopilar detalles del almacén SQL

1

Inicie sesión en su espacio de trabajo de Databricks

Vaya a SQL Warehouses en su espacio de trabajo de Databricks.

2

Seleccione su almacén

Seleccione su almacén y abra la pestaña Connection details.

3

Guarde los siguientes detalles

• Server Hostname
• Port
• HTTP Path

​

2. Crear un principal de servicio

1

Ir a la página Service Principals

Vaya a Workspace Settings > Identity and Access > Service Principals.

2

Agregar un nuevo principal de servicio

Haga clic en Add Service Principal, luego en Add New.

3

Nombrar el principal de servicio

Nómbrelo (por ejemplo, onesignal-sync).

​

3. Generar un secreto

1

Hacer clic en el principal creado

2

Ir a la pestaña Secrets

3

Generar un secreto

Haga clic en Generate Secret y guárdelo de forma segura.

El secreto solo es visible una vez: guárdelo de forma segura.

​

4. Asignar permisos

1

Navegar a su catálogo y abrir la pestaña Permissions

2

Hacer clic en Grant

3

Asignar los siguientes permisos al principal de servicio

• USE CATALOG
• USE SCHEMA
• SELECT
• MODIFY
• CREATE SCHEMA
• CREATE TABLE

​

5. Conectar OneSignal

1

Activar la integración

En OneSignal, navegue a Data > Integrations > Databricks.

2

Ingresar los detalles

• Server Hostname
• Port
• HTTP Path
• Catalog Name
• Schema Name
• Credenciales del principal de servicio (ID + Secret)

3

Configurar la integración

• Sync Frequency: tan frecuente como cada 15 minutos
• Dataset/Table Names: preconfigurado como onesignal_events_<app-id> y message_events (editable)
• Event Types: elija cuáles sincronizar: seleccione todos o solo los que necesite

4

Seleccionar eventos

Seleccione los eventos que le interesa recibir en su catálogo de Databricks.

5

Completar la configuración

Haga clic en Save y espere la confirmación de éxito

​

6. Ver datos en Databricks

1. Abra su Catalog en Databricks.
2. Una vez que se complete la sincronización, aparecerá su esquema configurado.
3. Acceda y consulte la tabla message_events.
   
4. Haga clic en las tablas para obtener una vista previa de datos de muestra.
   

​

Eventos y propiedades de mensajes

​

Tipos de eventos de mensajes

​

Esquema de datos de eventos

​

Notas

• Las sincronizaciones después de guardar/activar pueden tardar de 15 a 30 minutos adicionales en completarse.
• Desactivar aún puede resultar en una sincronización final después de la desactivación.
• Para garantizar una sincronización de datos eficiente, nuestro sistema crea y gestiona automáticamente conjuntos de datos de preparación. Estos conjuntos de datos, nombrados con un patrón como fivetran_{dos palabras aleatorias}_staging, almacenan temporalmente datos durante el procesamiento antes de que se integren en su esquema principal. Estos conjuntos de datos de preparación son esenciales para mantener un flujo de trabajo optimizado y no deben eliminarse, ya que se recrearán automáticamente.

​

Importar eventos desde Databricks

• Activar Journeys basados en la actividad del usuario
• Personalizar mensajes según datos de comportamiento

• Acceso a flujos de eventos para eventos de mensajes salientes (Se aplican limitaciones del plan y sobrecargos)
• Acceso a eventos personalizados para sincronización de eventos entrantes (Se aplican limitaciones del plan y sobrecargos)
• Plan de cuenta actualizado (no disponible en aplicaciones gratuitas)

• Espacio de trabajo de Databricks con SQL Warehouse o clúster de cómputo
• Token de acceso personal con permisos apropiados
• Tablas de datos de eventos que contengan datos de comportamiento en formato Delta Lake
• Unity Catalog (recomendado para gobernanza de datos)

-- Para espacios de trabajo con Unity Catalog habilitado
GRANT SELECT ON TABLE catalog.schema.event_table TO `[email protected]`;

-- Para tablas de Hive metastore
GRANT SELECT ON TABLE database.event_table TO `[email protected]`;

​

Mapeo de datos de eventos

​

Configuración avanzada

​

Integración de Unity Catalog

SELECT
  event_name,
  user_id,
  event_timestamp,
  to_json(
    named_struct(
      'product_id', product_id,
      'purchase_amount', purchase_amount,
      'category', category
    )
  ) as payload
FROM catalog.schema.user_events
WHERE event_timestamp >= current_timestamp() - INTERVAL 7 DAYS

​

Optimización de Delta Lake

• Particionamiento: Particione por fecha (event_date) para consultas basadas en tiempo más rápidas
• Z-Ordering: Z-order por user_id y event_name para mejor filtrado
• Funciones de Delta Lake: Use clustering líquido para optimización automática

​

Procesamiento de eventos en streaming

• Structured Streaming: Procese eventos a medida que llegan
• Delta Live Tables: Construya pipelines robustos de procesamiento de eventos
• Auto Loader: Ingesta continua de nuevos archivos de eventos

​

Preguntas frecuentes

​

¿Por qué veo diferentes IDs de mensaje con el mismo contenido?

​

¿Con qué frecuencia OneSignal sincroniza eventos desde Databricks?

​

¿Puedo usar notebooks de Databricks para procesamiento de eventos?

​

¿Qué pasa con la optimización de costos para consultas de eventos?