BigQuery에 Stripe 데이터 로드
BigQuery Data Transfer Service와 함께 Stripe 커넥터를 사용하여 Stripe에서 BigQuery로 데이터를 로드할 수 있습니다. Stripe 커넥터를 사용하면 Stripe의 최신 데이터를 BigQuery에 추가하는 반복 전송 작업을 예약할 수 있습니다.
제한사항
Stripe 데이터 전송에는 다음과 같은 제한사항이 적용됩니다.
- Stripe 데이터 전송은 Stripe의 소수 단위에 따라 통화를 로드합니다. 자세한 내용은 API 금액의 소수 단위를 참고하세요.
- Stripe 커넥터는 각 Stripe 계정에 대해 사전 생성된 보고서만 전송합니다. Stripe 커넥터는 새 Stripe 데이터를 기반으로 새 보고서를 생성하지 않습니다.
- 최신 보고서를 전송하려면 Stripe 데이터 전송을 시작하기 전에 Stripe 대시보드에서 보고서를 수동으로 생성하세요.
- 자세한 내용은 Stripe 보고를 참고하세요.
- Stripe 커넥터는 웹훅 기반 이벤트, 실시간 업데이트 또는 Stripe Sigma를 지원하지 않습니다.
- 미리보기 상태인 Stripe 리전의 Stripe 데이터 전송 시 데이터 전송 문제가 발생할 수 있습니다.
- Stripe 미리보기 지역에서는 필터링 옵션이 제한되거나 사용할 수 없습니다.
- Stripe 미리보기 리전에서는 조건부 데이터 전송 및 쿼리가 지원되지 않습니다.
- Stripe 미리보기 리전에서 데이터를 전송할 때 데이터 전송 런타임이 길어질 수 있습니다.
- Stripe 커넥터는
StartDate
필터를 사용하여 일부 객체를 지원합니다.StartDate
필터에 필요한 형식은YYYY-MM-DD
입니다. 시작일이 제공되지 않으면 커넥터는 기본적으로 현재 날짜로부터 3년 전으로 설정됩니다. 2011년 1월 1일 이전 날짜가 제공되면 커넥터는 자동으로 2011년 1월 1일을 사용합니다.- 지원되는 객체 목록은
StartDate
필터가 지원되는 객체를 참고하세요.
- 단일 전송 구성은 지정된 시간에 하나의 데이터 전송 실행만 지원할 수 있습니다. 첫 번째 전송이 완료되기 전에 두 번째 데이터 전송이 실행되도록 예약된 경우 첫 번째 데이터 전송만 완료되고 첫 번째 전송과 겹치는 다른 데이터 전송은 건너뜁니다.
- 단일 전송 구성 내에서 전송이 건너뛰는 것을 방지하려면 반복 빈도를 구성하여 대량 데이터 전송 간의 시간을 늘리는 것이 좋습니다.
시작하기 전에
다음 섹션에서는 Stripe 데이터 전송을 만들기 전에 취해야 할 조치를 설명합니다.
Stripe 기본 요건
- Stripe 데이터 전송을 승인하려면 Stripe 개발자 계정이 있어야 합니다. Stripe 계정을 등록하려면 Stripe 등록을 참고하세요.
- 다음 단계에 따라 Stripe 플랫폼 애플리케이션을 구성합니다.
- Stripe 대시보드의 개발자 섹션으로 이동합니다.
- 연결에서 스탠더드 및 익스프레스 계정을 지원하도록 플랫폼을 구성합니다.
- Stripe 데이터 전송을 만들려면 다음 정보가 필요합니다.
- 연결된 계정에서 데이터를 전송하려는 경우 플랫폼이 Stripe Connect용으로 구성되어 있고 필요한 계정 기능에 액세스할 수 있는지 확인하세요. Stripe Connect에 대한 자세한 내용은 Stripe Connect를 사용하는 플랫폼 및 마켓을 참고하세요.
- 연결된 계정에 대한 자세한 내용은 계정 유형 연결을 참고하세요.
필요한 BigQuery 역할
전송을 만드는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 BigQuery 관리자 (roles/bigquery.admin
) IAM 역할을 부여해 달라고 요청하세요.
역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.
이 사전 정의된 역할에는 전송을 만드는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.
필수 권한
전송을 만들려면 다음 권한이 필요합니다.
- 사용자에 대한
bigquery.transfers.update
-
대상 데이터 세트에 대한
bigquery.datasets.get
-
대상 데이터 세트에 대한
bigquery.datasets.update
커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.
BigQuery 기본 요건
- BigQuery Data Transfer Service 사용 설정에 필요한 모든 작업을 완료했는지 확인합니다.
- 데이터를 저장할 BigQuery 데이터세트를 만듭니다.
- Pub/Sub의 전송 실행 알림을 설정하려면
pubsub.topics.setIamPolicy
Identity and Access Management(IAM) 권한이 있는지 확인합니다. 이메일 알림만 설정한다면 Pub/Sub 권한이 필요하지 않습니다. 자세한 내용은 BigQuery Data Transfer Service 실행 알림을 참조하세요.
Stripe 계정 유형
Stripe 커넥터는 Stripe 플랫폼 계정과 Stripe 연결 계정을 모두 지원합니다. 자세한 내용은 연결 계정 유형을 참고하세요.
플랫폼 계정에 연결
하나의 플랫폼 계정에서만 Stripe 데이터 전송을 실행하려면 전송 구성을 설정할 때 다음 단계를 따르세요.
- 계정 ID 필드에 플랫폼 계정의 플랫폼 계정 ID를 입력합니다.
- 보안 비밀/API 키 필드에 플랫폼 계정의 보안 비밀 또는 제한된 키를 입력합니다.
- SyncAllConnectedAccounts에서 False를 선택합니다.
연결된 계정과 연결된 플랫폼 계정과 같이 여러 계정에 대해 Stripe 데이터 전송을 실행하려면 전송 구성을 설정할 때 다음 단계를 따르세요.
- 계정 ID 필드에 플랫폼 계정의 플랫폼 계정 ID를 입력합니다.
- 보안 비밀/API 키 필드에 플랫폼 계정의 보안 비밀 또는 제한된 키를 입력합니다.
- SyncAllConnectedAccounts에서 True를 선택합니다.
연결된 계정에 연결
연결된 계정은 Stripe Connect를 사용하여 Stripe에 연결된 Stripe 계정입니다.
연결된 계정에서 Stripe 데이터 전송을 실행하려면 전송 구성을 설정할 때 다음 단계를 따르세요.
- 계정 ID 필드에 연결된 계정의 플랫폼 계정 ID를 입력합니다.
- 연결된 계정이 연결된 플랫폼 계정의 보안 비밀 또는 제한된 키를 보안 비밀/API 키 필드에 입력합니다.
- SyncAllConnectedAccounts에서 False를 선택합니다.
Stripe 데이터 전송 설정
다음 옵션 중 하나를 사용하여 전송 구성을 설정하여 BigQuery에 Stripe 데이터를 추가합니다.
콘솔
Cloud de Confiance 콘솔에서 데이터 전송 페이지로 이동합니다.
전송 만들기를 클릭합니다.
소스 유형 섹션의 소스에서 Stripe를 선택합니다.
데이터 소스 세부정보 섹션에서 다음을 수행합니다.
- 플랫폼/연결된 계정 ID에 Stripe 계정 ID를 입력합니다. 자세한 내용은 Stripe 기본 요건을 참고하세요.
- Stripe 비밀번호 키에 Stripe 계정의 API 키를 입력합니다. 자세한 내용은 Stripe 기본 요건을 참고하세요.
- 시작일에
YYYY-MM-DD
형식으로 날짜를 입력합니다. 데이터 전송은 이 날짜부터 Stripe 데이터를 로드합니다. - 연결된 모든 계정을 동기화하려면 연결된 모든 계정 동기화를 선택합니다.
- 전송할 Stripe 객체에 전송할 Stripe 객체의 이름을 입력하거나 찾아보기를 클릭하고 전송할 객체를 선택합니다.
대상 설정 섹션의 데이터 세트에서 데이터를 저장하기 위해 만든 데이터 세트를 선택합니다.
전송 구성 이름 섹션의 표시 이름에 데이터 전송 이름을 입력합니다.
일정 옵션 섹션에서 다음을 수행합니다.
- 반복 빈도 목록에서 이 데이터 전송 실행 빈도를 지정하는 옵션을 선택합니다. 커스텀 반복 빈도를 지정하려면 커스텀을 선택합니다. 주문형을 선택하면 수동으로 전송을 트리거할 때 이 전송이 실행됩니다.
- 해당하는 경우 지금 시작 또는 설정 시간에 시작을 선택하고 시작 날짜와 실행 시간을 입력합니다.
선택사항: 알림 옵션 섹션에서 다음을 수행합니다.
- 이메일 알림을 사용 설정하려면 이메일 알림 전환 버튼을 클릭합니다. 이 옵션을 사용 설정하면 전송 실행이 실패할 때 전송 관리자에게 이메일 알림이 발송됩니다.
- 이 전송에 Pub/Sub 전송 실행 알림을 사용 설정하려면 Pub/Sub 알림 전환 버튼을 클릭합니다. 주제 이름을 선택하거나 주제 만들기를 클릭하여 주제를 만들 수 있습니다.
저장을 클릭합니다.
bq
bq mk
명령어를 입력하고 전송 생성 플래그 --transfer_config
를 지정합니다.
bq mk --transfer_config --project_id=PROJECT_ID --data_source=DATA_SOURCE --display_name=DISPLAY_NAME --target_dataset=DATASET --params='PARAMETERS'
각 항목의 의미는 다음과 같습니다.
- PROJECT_ID(선택사항): Cloud de Confiance by S3NS 프로젝트 ID.
특정 프로젝트를 지정하는
--project_id
가 입력되지 않으면 기본 프로젝트가 사용됩니다. - DATA_SOURCE: 데이터 소스 —
stripe
- DISPLAY_NAME: 데이터 전송 구성의 표시 이름. 전송 이름은 나중에 수정해야 할 경우를 대비해 간편하게 전송을 식별할 수 있는 값이면 됩니다.
- DATASET. 전송 구성의 대상 데이터 세트
PARAMETERS: JSON 형식으로 생성된 전송 구성의 매개변수. 예를 들면
--params='{"param":"param_value"}'
입니다. 다음은 Stripe 데이터 전송의 파라미터입니다.assets
: 이 트랜스퍼에 포함할 Stripe 객체 목록입니다.connector.accountId
: Stripe 계정 ID입니다.connector.secretKey
: Stripe 계정의 API 키입니다.connector.syncAllConnectedAccounts
: 연결된 모든 계정을 동기화하려면true
를 지정합니다.connector.startDate
:YYYY-MM-DD
형식으로 날짜를 입력합니다. 데이터 전송은 이 날짜부터 Stripe 데이터를 로드합니다.
예를 들어 다음 명령어는 필요한 모든 파라미터를 사용하여 기본 프로젝트에 Stripe 데이터 전송을 만듭니다.
bq mk \ --transfer_config \ --target_dataset=mydataset \ --data_source=stripe \ --display_name='My Transfer' \ --params= ' { "assets" : [ "Customers" , "Accounts", "BalanceSummaryReport"] , "connector.accountId" : "acct_000000000000", "connector.secretKey" : "sk_test_000000000", "connector.syncAllConnectedAccounts" : "true", "connector.startDate": "2025-05-20" }'
API
projects.locations.transferConfigs.create
메서드를 사용하고 TransferConfig
리소스의 인스턴스를 지정합니다.
정기 일정 외에 데이터 전송을 수동으로 실행하려면 백필 실행을 시작하면 됩니다.
데이터 유형 매핑
다음 표는 Stripe 데이터 유형을 해당하는 BigQuery 데이터 유형에 매핑합니다.
Stripe 데이터 유형 | BigQuery 데이터 유형 | 참고 |
---|---|---|
String |
STRING |
|
Dictionary |
STRING |
중첩된 객체가 BigQuery에 로드되면 평면 객체로 변환됩니다. 그런 다음 이 평면화된 객체는 테이블 내에 단일 리터럴 문자열로 저장됩니다. |
Integer |
INT64 |
|
Double |
DOUBLE |
|
Float |
FLOAT |
|
Decimal |
BIGNUMERIC |
|
BigInt (long) |
BIGNUMERIC |
|
Boolean |
BOOL |
|
Datetime |
TIMESTAMP |
|
Unix timestamp |
TIMESTAMP |
StartDate
필터가 지원되는 객체
다음 Stripe 객체는 시간 기반 데이터를 로드할 수 있는 StartDate
필터를 지원합니다.
- 계정
- ApplicationFees
- BalanceTransactions
- 카드 소지자
- 요금
- 쿠폰
- 고객
- 이의 제기
- EarlyFraudWarnings
- 이벤트
- FileLinks
- 파일
- InvoiceItems
- 인보이스
- IssuingCards
- IssuingDisputes
- PaymentIntent
- 지급액
- 요금제
- 가격
- 제품
- PromotionCodes
- 환불
- 리뷰
- ShippingRates
- 구독
- TaxRates
- TopUps
- 전송
- ValueListItems
- ValueLists
전송 설정 문제 해결
데이터 전송을 설정하는 데 문제가 있으면 Stripe 전송 문제를 참고하세요.
가격 책정
이 기능이 미리보기 상태인 동안에는 Stripe 데이터를 BigQuery로 전송하는 데 비용이 들지 않습니다.
다음 단계
- BigQuery Data Transfer Service 개요는 BigQuery Data Transfer Service 소개 참조하기
- 전송 구성 정보 가져오기, 전송 구성 나열, 전송 실행 기록 보기를 포함한 전송 사용에 대한 정보는 전송 작업 참조하기
- 교차 클라우드 작업으로 데이터를 로드하는 방법을 알아보기