Databricks

Visão geral da integração OneSignal Databricks

​

Visão geral

• Exportar eventos de mensagem do OneSignal para o Databricks para analytics, dashboards e relatórios.
• Importar eventos personalizados do Databricks para o OneSignal para acionar Jornadas e campanhas personalizadas.

​

Exportar eventos do OneSignal para o Databricks

• Plano Professional
• Custom Events habilitados (para importações de eventos)
• Plataforma Databricks: AWS, Azure ou GCP
• Plano Databricks: Premium ou superior
• Databricks Unity Catalog (recomendado para governança)
• Databricks SQL Warehouse para consultas
• Tabelas de eventos Delta Lake (para importação de eventos personalizados)

​

1. Coletar detalhes do SQL warehouse

1

Faça login no seu workspace Databricks

Vá para SQL Warehouses no seu workspace Databricks.

2

Selecione seu warehouse

Selecione seu warehouse e abra a aba Connection details.

3

Salve os seguintes detalhes

• Server Hostname
• Port
• HTTP Path

Detalhes de conexão SQL do Databricks para configuração do Fivetran

​

2. Criar um service principal

1

Vá para a página Service Principals

Vá para Workspace Settings > Identity and Access > Service Principals.

2

Adicionar um novo service principal

Clique em Add Service Principal, depois em Add New.

3

Nomeie o service principal

Nomeie-o (por exemplo, onesignal-sync).

Modal para adicionar um service principal, com a opção 'Add new' destacada

​

3. Gerar um segredo

1

Clique no principal criado

2

Vá para a aba Secrets

3

Gere um segredo

Clique em Generate Secret e salve-o com segurança.

O segredo é visível apenas uma vez—armazene-o com segurança.

Modal 'Generate secret' do Databricks mostrando OAuth secret e client ID para autenticação de API

​

4. Atribuir permissões

1

Navegue até seu Catalog e abra a aba Permissions

2

Clique em Grant

3

Atribua as seguintes permissões ao service principal

• USE CATALOG
• USE SCHEMA
• SELECT
• MODIFY
• CREATE SCHEMA
• CREATE TABLE

Tela de atribuição de privilégios para um principal do Databricks com permissões de catálogo personalizadas selecionadas.

​

5. Conectar o OneSignal

1

Ativar a integração

No OneSignal, navegue até Data > Integrations > Databricks.

2

Insira os detalhes

• Server Hostname
• Port
• HTTP Path
• Catalog Name
• Schema Name
• Credenciais do Service Principal (ID + Secret)

Formulário de configuração do Databricks do OneSignal com campos para catalog, hostname, HTTP path e credenciais OAuth.

3

Configure a integração

• Sync Frequency: tão frequentemente quanto a cada 15 minutos
• Dataset/Table Names: pré-definidos como onesignal_events_<app-id> e message_events (editável)
• Event Types: escolha quais sincronizar—selecione todos ou apenas o que você precisa

4

Selecione eventos

Selecione os eventos que você deseja receber no seu catálogo Databricks.

Tela de configurações de exportação de eventos do OneSignal mostrando status de sincronização, configuração de dataset e tipos de eventos de mensagem selecionados.

5

Complete a configuração

Clique em Save e aguarde a confirmação de sucesso

​

6. Visualizar dados no Databricks

1. Abra seu Catalog no Databricks.
2. Assim que a sincronização for concluída, seu esquema configurado aparecerá.
3. Acesse e consulte a tabela message_events.
   

   Visualização do Catalog do Databricks mostrando tabela de eventos de mensagem do OneSignal sob um esquema de produção.
4. Clique em tabelas para pré-visualização de dados de amostra.
   

   Dados de amostra da tabela message_events_1 com campos de evento do OneSignal sincronizados.

​

Eventos e propriedades de mensagem

​

Tipos de evento de mensagem

​

Schema de dados de evento

​

Notas

• Sincronizações após salvar/ativar podem levar 15-30 minutos adicionais para completar.
• Desativar ainda pode resultar em uma sincronização final após desativação.
• Para garantir sincronização eficiente de dados, nosso sistema cria e gerencia automaticamente datasets de staging. Estes datasets, nomeados com um padrão como fivetran_{duas palavras aleatórias}_staging, armazenam temporariamente dados durante o processamento antes de serem integrados ao seu schema principal. Estes datasets de staging são essenciais para manter um fluxo de trabalho otimizado e não devem ser deletados, pois serão automaticamente recriados.

​

Importar eventos do Databricks

• Acionar Jornadas com base na atividade do usuário
• Personalizar mensagens com base em dados comportamentais

• Acesso a Event Streams para eventos de mensagem de saída (Limitações de plano e excedentes se aplicam)
• Acesso a Custom Events para sincronização de eventos de entrada (Limitações de plano e excedentes se aplicam)
• Plano de Conta Atualizado (não disponível em apps gratuitos)

• Workspace Databricks com SQL Warehouse ou cluster de computação
• Personal Access Token com permissões apropriadas
• Tabelas de dados de eventos contendo dados comportamentais em formato Delta Lake
• Unity Catalog (recomendado para governança de dados)

-- Para workspaces com Unity Catalog habilitado
GRANT SELECT ON TABLE catalog.schema.event_table TO `onesignal@yourdomain.com`;

-- Para tabelas Hive metastore
GRANT SELECT ON TABLE database.event_table TO `onesignal@yourdomain.com`;

​

Mapeamento de dados de evento

​

Configuração avançada

​

Integração Unity Catalog

SELECT
  event_name,
  user_id,
  event_timestamp,
  to_json(
    named_struct(
      'product_id', product_id,
      'purchase_amount', purchase_amount,
      'category', category
    )
  ) as payload
FROM catalog.schema.user_events
WHERE event_timestamp >= current_timestamp() - INTERVAL 7 DAYS

​

Otimização Delta Lake

• Particionamento: Particione por data (event_date) para consultas baseadas em tempo mais rápidas
• Z-Ordering: Z-order por user_id e event_name para melhor filtragem
• Recursos Delta Lake: Use liquid clustering para otimização automática

​

Processamento de eventos streaming

• Structured Streaming: Processe eventos conforme eles chegam
• Delta Live Tables: Construa pipelines robustos de processamento de eventos
• Auto Loader: Ingira continuamente novos arquivos de eventos

​

FAQ

​

Por que vejo IDs de mensagem diferentes com o mesmo conteúdo?

​

Com que frequência o OneSignal sincroniza eventos do Databricks?

​

Posso usar notebooks do Databricks para processamento de eventos?

​

E quanto à otimização de custos para consultas de eventos?