Databricks

OneSignal Databricks 통합 개요

​

개요

• 분석, 대시보드 및 보고를 위해 OneSignal 메시지 이벤트를 Databricks로 내보내기.
• Databricks에서 OneSignal로 사용자 지정 이벤트를 가져와서 Journeys 및 개인화된 캠페인을 트리거.

​

OneSignal 이벤트를 Databricks로 내보내기

• Professional 플랜
• 사용자 지정 이벤트 활성화(이벤트 가져오기용)
• Databricks 플랫폼: AWS, Azure 또는 GCP
• Databricks 플랜: Premium 이상
• Databricks Unity Catalog(거버넌스 권장)
• 쿼리를 위한 Databricks SQL Warehouse
• Delta Lake 이벤트 테이블(사용자 지정 이벤트 가져오기용)

​

1. SQL warehouse 세부 정보 수집

1

Databricks 워크스페이스에 로그인

Databricks 워크스페이스에서 SQL Warehouses로 이동하세요.

2

warehouse 선택

warehouse를 선택하고 Connection details 탭을 엽니다.

3

다음 세부 정보 저장

• Server Hostname
• Port
• HTTP Path

Fivetran 설정을 위한 Databricks SQL 연결 세부 정보

​

2. 서비스 주체 만들기

1

Service Principals 페이지로 이동

Workspace Settings > Identity and Access > Service Principals로 이동하세요.

2

새 서비스 주체 추가

Add Service Principal을 클릭한 다음 Add New를 클릭하세요.

3

서비스 주체 이름 지정

이름을 지정하세요(예: onesignal-sync).

서비스 주체 추가 모달, 'Add new' 옵션 강조 표시

​

3. 시크릿 생성

1

생성된 주체 클릭

2

Secrets 탭으로 이동

3

시크릿 생성

Generate Secret을 클릭하고 안전하게 저장하세요.

시크릿은 한 번만 표시됩니다. 안전하게 저장하세요.

API 인증을 위한 OAuth 시크릿 및 클라이언트 ID를 보여주는 Databricks '시크릿 생성' 모달

​

4. 권한 할당

1

Catalog으로 이동하여 Permissions 탭 열기

2

Grant 클릭

3

서비스 주체에 다음 권한 할당

• USE CATALOG
• USE SCHEMA
• SELECT
• MODIFY
• CREATE SCHEMA
• CREATE TABLE

사용자 지정 카탈로그 권한이 선택된 Databricks 주체에 대한 권한 할당 화면.

​

5. OneSignal 연결

1

통합 활성화

OneSignal에서 Data > Integrations > Databricks로 이동하세요.

2

세부 정보 입력

• Server Hostname
• Port
• HTTP Path
• Catalog Name
• Schema Name
• Service Principal 자격 증명(ID + Secret)

카탈로그, 호스트 이름, HTTP 경로 및 OAuth 자격 증명 필드가 있는 OneSignal Databricks 구성 양식.

3

통합 구성

• Sync Frequency: 15분마다
• Dataset/Table Names: onesignal_events_<app-id> 및 message_events로 미리 설정(편집 가능)
• Event Types: 동기화할 항목 선택—전체 또는 필요한 것만 선택

4

이벤트 선택

Databricks 카탈로그에서 받고자 하는 이벤트를 선택하세요.

동기화 상태, 데이터 세트 구성 및 선택된 메시지 이벤트 유형을 보여주는 OneSignal 이벤트 내보내기 설정 화면.

5

설정 완료

Save를 클릭하고 성공 확인을 기다리세요

​

6. Databricks에서 데이터 보기

1. Databricks에서 Catalog을 엽니다.
2. 동기화가 완료되면 구성된 스키마가 나타납니다.
3. message_events 테이블에 액세스하고 쿼리합니다.
   

   프로덕션 스키마 아래 OneSignal 메시지 이벤트 테이블을 보여주는 Databricks Catalog 보기.
4. 샘플 데이터 미리 보기를 위해 테이블을 클릭하세요.
   

   동기화된 OneSignal 이벤트 필드가 있는 message_events_1 테이블의 샘플 데이터.

​

메시지 이벤트 및 속성

​

메시지 이벤트 종류

​

이벤트 데이터 스키마

​

참고 사항

• 저장/활성화 후 동기화는 완료하는 데 추가로 15-30분이 소요될 수 있습니다.
• 비활성화하면 비활성화 후 최종 동기화가 한 번 더 발생할 수 있습니다.
• 효율적인 데이터 동기화를 보장하기 위해 시스템은 스테이징 데이터 세트를 자동으로 생성하고 관리합니다. 이러한 데이터 세트는 fivetran_{두 개의 무작위 단어}_staging과 같은 패턴으로 이름이 지정되며, 기본 스키마에 통합되기 전에 처리 중에 데이터를 임시로 저장합니다. 이러한 스테이징 데이터 세트는 간소화된 워크플로를 유지하는 데 필수적이며 자동으로 다시 생성되므로 삭제하면 안 됩니다.

​

Databricks에서 이벤트 가져오기

• 사용자 활동을 기반으로 Journeys 트리거
• 행동 데이터를 기반으로 메시징 개인화

• Access to Event Streams for outbound message events (Plan limitations and overages apply)
• Access to Custom Events for inbound event syncing (Plan limitations and overages apply)
• Updated Account Plan (not available on free apps)

• SQL Warehouse 또는 컴퓨팅 클러스터가 있는 Databricks 워크스페이스
• 적절한 권한이 있는 Personal Access Token
• Delta Lake 형식의 행동 데이터가 포함된 이벤트 데이터 테이블
• Unity Catalog(데이터 거버넌스 권장)

-- Unity Catalog이 활성화된 워크스페이스의 경우
GRANT SELECT ON TABLE catalog.schema.event_table TO `onesignal@yourdomain.com`;

-- Hive 메타스토어 테이블의 경우
GRANT SELECT ON TABLE database.event_table TO `onesignal@yourdomain.com`;

​

이벤트 데이터 매핑

​

고급 구성

​

Unity Catalog 통합

SELECT
  event_name,
  user_id,
  event_timestamp,
  to_json(
    named_struct(
      'product_id', product_id,
      'purchase_amount', purchase_amount,
      'category', category
    )
  ) as payload
FROM catalog.schema.user_events
WHERE event_timestamp >= current_timestamp() - INTERVAL 7 DAYS

​

Delta Lake 최적화

• 파티셔닝: 더 빠른 시간 기반 쿼리를 위해 날짜(event_date)별로 파티션
• Z-Ordering: 더 나은 필터링을 위해 user_id 및 event_name으로 Z-order
• Delta Lake 기능: 자동 최적화를 위해 liquid clustering 사용

​

스트리밍 이벤트 처리

• Structured Streaming: 이벤트가 도착하는 대로 처리
• Delta Live Tables: 강력한 이벤트 처리 파이프라인 구축
• Auto Loader: 새 이벤트 파일을 지속적으로 수집

​

FAQ

​

동일한 콘텐츠에 대해 다른 메시지 ID가 표시되는 이유는 무엇인가요?

​

OneSignal은 Databricks에서 이벤트를 얼마나 자주 동기화하나요?

​

Databricks notebook을 이벤트 처리에 사용할 수 있나요?

​

이벤트 쿼리에 대한 비용 최적화는 어떻게 하나요?