Databricks

​

概览

• 导出：将 OneSignal 消息事件发送到 Databricks 进行分析和报告。
• 导入：将 Databricks 中的自定义事件发送到 OneSignal 以触发旅程并个性化活动。

​

将 OneSignal 消息事件导出到 Databricks

• 专业计划或更高版本
• 启用自定义事件（用于事件导入）
• Databricks 平台：AWS、Azure 或 GCP
• Databricks 计划：高级或更高版本
• Databricks Unity Catalog（推荐用于治理）
• 用于查询的 Databricks SQL 仓库
• Delta Lake 事件表（用于自定义事件导入）

​

1. 收集 SQL 仓库详细信息

1

登录到您的 Databricks 工作区

在您的 Databricks 工作区中转到 SQL 仓库。

2

选择您的仓库

选择您的仓库并打开连接详细信息选项卡。

3

保存以下详细信息

• 服务器主机名
• 端口
• HTTP 路径

​

2. 创建服务主体

1

转到服务主体页面

转到工作区设置 > 身份和访问 > 服务主体。

2

添加新的服务主体

点击添加服务主体，然后点击添加新建。

3

命名服务主体

为其命名（例如 onesignal-sync）。

​

3. 生成密钥

1

点击进入创建的主体

2

转到密钥选项卡

3

生成密钥

点击生成密钥并安全保存。

密钥只显示一次—请安全存储。

​

4. 分配权限

1

导航到您的目录并打开权限选项卡

2

点击授权

3

为服务主体分配以下权限

• USE CATALOG
• USE SCHEMA
• SELECT
• MODIFY
• CREATE SCHEMA
• CREATE TABLE

​

5. 连接 OneSignal

1

激活集成

在 OneSignal 中，导航到数据 > 集成 > Databricks。

2

输入详细信息

• 服务器主机名
• 端口
• HTTP 路径
• 目录名称
• 架构名称
• 服务主体凭据（ID + 密钥）

3

配置集成

• 同步频率： 最频繁每 15 分钟一次
• 数据集/表名： 预设为 onesignal_events_<app-id> 和 message_events（可编辑）
• 事件类型： 选择要同步的事件—选择全部或只选择您需要的

4

选择事件

选择您希望在 Databricks 目录中接收的事件。

5

完成设置

点击保存并等待成功确认

​

6. 在 Databricks 中查看数据

1. 在 Databricks 中打开您的目录。
2. 同步完成后，您配置的架构将出现。
3. 访问并查询 message_events 表。

   

4. 点击进入表以预览示例数据。

   

​

消息事件和属性

​

消息事件类型

​

事件数据架构

​

注意事项

• 保存/激活后的同步可能需要额外 15-30 分钟才能完成。
• 停用后可能仍会进行最后一次同步。
• 为确保高效的数据同步，我们的系统会自动创建和管理暂存数据集。这些数据集以 fivetran_{两个随机单词}_staging 的模式命名，在处理过程中临时存储数据，然后再集成到您的主架构中。这些暂存数据集对于维护流畅的工作流程至关重要，不应删除，因为它们会被自动重新创建。

​

从 Databricks 导入事件

• 根据用户活动触发旅程
• 基于行为数据个性化消息

• 访问自定义事件（目前处于测试阶段）
• 升级账户计划（免费应用不可用）。

• 具有 SQL 仓库或计算集群的 Databricks 工作区
• 具有适当权限的个人访问令牌
• 包含 Delta Lake 格式行为数据的事件数据表
• Unity Catalog（推荐用于数据治理）

-- 对于启用了 Unity Catalog 的工作区
GRANT SELECT ON TABLE catalog.schema.event_table TO `onesignal@yourdomain.com`;

-- 对于 Hive 元存储表
GRANT SELECT ON TABLE database.event_table TO `onesignal@yourdomain.com`;

​

事件数据映射

​

高级配置

​

Unity Catalog 集成

SELECT
  event_name,
  user_id,
  event_timestamp,
  to_json(
    named_struct(
      'product_id', product_id,
      'purchase_amount', purchase_amount,
      'category', category
    )
  ) as payload
FROM catalog.schema.user_events
WHERE event_timestamp >= current_timestamp() - INTERVAL 7 DAYS

​

Delta Lake 优化

• 分区：按日期（event_date）分区以加快基于时间的查询
• Z-Ordering：按 user_id 和 event_name 进行 Z 排序以提高过滤性能
• Delta Lake 功能：使用液体聚类进行自动优化

​

流式事件处理

• 结构化流：在事件到达时处理事件
• Delta Live Tables：构建稳健的事件处理管道
• Auto Loader：持续摄取新的事件文件

​

常见问题

​

为什么我看到具有相同内容的不同消息 ID？

​

OneSignal 从 Databricks 同步事件的频率如何？

​

我可以使用 Databricks 笔记本进行事件处理吗？

​

事件查询的成本优化如何？