Databricks

Descripción general de la integración de OneSignal Databricks

​

Descripción general

• Exportar eventos de mensajes de OneSignal a Databricks para análisis, paneles e informes.
• Importar eventos personalizados desde Databricks a OneSignal para activar Journeys y campañas personalizadas.

​

Exportar eventos de OneSignal a Databricks

• Plan Professional
• Eventos personalizados habilitados (para importaciones de eventos)
• Plataforma Databricks: AWS, Azure o GCP
• Plan Databricks: Premium o superior
• Databricks Unity Catalog (recomendado para gobernanza)
• Databricks SQL Warehouse para consultas
• Tablas de eventos Delta Lake (para importación de eventos personalizados)

​

1. Recopilar detalles del almacén SQL

1

Inicie sesión en su espacio de trabajo de Databricks

Vaya a SQL Warehouses en su espacio de trabajo de Databricks.

2

Seleccione su almacén

Seleccione su almacén y abra la pestaña Connection details.

3

Guarde los siguientes detalles

• Server Hostname
• Port
• HTTP Path

Detalles de conexión SQL de Databricks para configuración de Fivetran

​

2. Crear un principal de servicio

1

Ir a la página Service Principals

Vaya a Workspace Settings > Identity and Access > Service Principals.

2

Agregar un nuevo principal de servicio

Haga clic en Add Service Principal, luego en Add New.

3

Nombrar el principal de servicio

Nómbrelo (por ejemplo, onesignal-sync).

Modal para agregar un principal de servicio, con la opción 'Add new' resaltada

​

3. Generar un secreto

1

Hacer clic en el principal creado

2

Ir a la pestaña Secrets

3

Generar un secreto

Haga clic en Generate Secret y guárdelo de forma segura.

El secreto solo es visible una vez: guárdelo de forma segura.

Modal 'Generate secret' de Databricks que muestra el secreto OAuth y el ID de cliente para autenticación API

​

4. Asignar permisos

1

Navegar a su catálogo y abrir la pestaña Permissions

2

Hacer clic en Grant

3

Asignar los siguientes permisos al principal de servicio

• USE CATALOG
• USE SCHEMA
• SELECT
• MODIFY
• CREATE SCHEMA
• CREATE TABLE

Pantalla de asignación de privilegios para un principal de Databricks con permisos de catálogo personalizados seleccionados.

​

5. Conectar OneSignal

1

Activar la integración

En OneSignal, navegue a Data > Integrations > Databricks.

2

Ingresar los detalles

• Server Hostname
• Port
• HTTP Path
• Catalog Name
• Schema Name
• Credenciales del principal de servicio (ID + Secret)

Formulario de configuración de Databricks de OneSignal con campos para catálogo, nombre de host, ruta HTTP y credenciales OAuth.

3

Configurar la integración

• Sync Frequency: tan frecuente como cada 15 minutos
• Dataset/Table Names: preconfigurado como onesignal_events_<app-id> y message_events (editable)
• Event Types: elija cuáles sincronizar: seleccione todos o solo los que necesite

4

Seleccionar eventos

Seleccione los eventos que le interesa recibir en su catálogo de Databricks.

Pantalla de configuración de exportación de eventos de OneSignal que muestra el estado de sincronización, la configuración del conjunto de datos y los tipos de eventos de mensajes seleccionados.

5

Completar la configuración

Haga clic en Save y espere la confirmación de éxito

​

6. Ver datos en Databricks

1. Abra su Catalog en Databricks.
2. Una vez que se complete la sincronización, aparecerá su esquema configurado.
3. Acceda y consulte la tabla message_events.
   

   Vista de catálogo de Databricks que muestra la tabla de eventos de mensajes de OneSignal bajo un esquema de producción.
4. Haga clic en las tablas para obtener una vista previa de datos de muestra.
   

   Datos de muestra de la tabla message_events_1 con campos de eventos de OneSignal sincronizados.

​

Eventos y propiedades de mensajes

​

Tipos de eventos de mensajes

​

Esquema de datos de eventos

​

Notas

• Las sincronizaciones después de guardar/activar pueden tardar de 15 a 30 minutos adicionales en completarse.
• Desactivar aún puede resultar en una sincronización final después de la desactivación.
• Para garantizar una sincronización de datos eficiente, nuestro sistema crea y gestiona automáticamente conjuntos de datos de preparación. Estos conjuntos de datos, nombrados con un patrón como fivetran_{dos palabras aleatorias}_staging, almacenan temporalmente datos durante el procesamiento antes de que se integren en su esquema principal. Estos conjuntos de datos de preparación son esenciales para mantener un flujo de trabajo optimizado y no deben eliminarse, ya que se recrearán automáticamente.

​

Importar eventos desde Databricks

• Activar Journeys basados en la actividad del usuario
• Personalizar mensajes según datos de comportamiento

• Acceso a flujos de eventos para eventos de mensajes salientes (Se aplican limitaciones del plan y sobrecargos)
• Acceso a eventos personalizados para sincronización de eventos entrantes (Se aplican limitaciones del plan y sobrecargos)
• Plan de cuenta actualizado (no disponible en aplicaciones gratuitas)

• Espacio de trabajo de Databricks con SQL Warehouse o clúster de cómputo
• Token de acceso personal con permisos apropiados
• Tablas de datos de eventos que contengan datos de comportamiento en formato Delta Lake
• Unity Catalog (recomendado para gobernanza de datos)

-- Para espacios de trabajo con Unity Catalog habilitado
GRANT SELECT ON TABLE catalog.schema.event_table TO `onesignal@yourdomain.com`;

-- Para tablas de Hive metastore
GRANT SELECT ON TABLE database.event_table TO `onesignal@yourdomain.com`;

​

Mapeo de datos de eventos

​

Configuración avanzada

​

Integración de Unity Catalog

SELECT
  event_name,
  user_id,
  event_timestamp,
  to_json(
    named_struct(
      'product_id', product_id,
      'purchase_amount', purchase_amount,
      'category', category
    )
  ) as payload
FROM catalog.schema.user_events
WHERE event_timestamp >= current_timestamp() - INTERVAL 7 DAYS

​

Optimización de Delta Lake

• Particionamiento: Particione por fecha (event_date) para consultas basadas en tiempo más rápidas
• Z-Ordering: Z-order por user_id y event_name para mejor filtrado
• Funciones de Delta Lake: Use clustering líquido para optimización automática

​

Procesamiento de eventos en streaming

• Structured Streaming: Procese eventos a medida que llegan
• Delta Live Tables: Construya pipelines robustos de procesamiento de eventos
• Auto Loader: Ingesta continua de nuevos archivos de eventos

​

Preguntas frecuentes

​

¿Por qué veo diferentes IDs de mensaje con el mismo contenido?

​

¿Con qué frecuencia OneSignal sincroniza eventos desde Databricks?

​

¿Puedo usar notebooks de Databricks para procesamiento de eventos?

​

¿Qué pasa con la optimización de costos para consultas de eventos?