Charger des données PayPal dans BigQuery
Vous pouvez charger des données depuis PayPal vers BigQuery à l'aide du connecteur PayPal avec le service de transfert de données BigQuery. Le connecteur PayPal vous permet de planifier des jobs de transfert récurrents qui ajoutent vos dernières données PayPal à BigQuery.
Le connecteur PayPal est compatible avec les comptes PayPal de production et de bac à sable.
Objets compatibles
Types d'objets PayPal | Objets compatibles avec BigQuery | Compatibilité avec les filtres de dates |
---|---|---|
Transactions | TransactionReports | Compatible |
TransactionReportsCartInfoItemDetails | Compatible | |
TransactionReportsIncentiveDetails | Compatible | |
Litiges | Litiges | Compatible |
DisputeDetails | Compatible | |
DisputeTransactions | Compatible | |
Paiements | Paiements | Compatible |
PaymentTransactions | Compatible | |
Balance | Balance | Non compatible |
Produits | Produits | Non compatible |
ProductDetails | Non compatible | |
Factures | Factures | Compatible |
Limites
Les transferts de données PayPal sont soumis aux limitations suivantes :
- Il peut s'écouler plusieurs heures avant que les transactions PayPal ne soient disponibles via l'API PayPal.
- Nous vous recommandons de planifier les transferts de données suivants à des intervalles plus longs (pas plus d'un par heure) pour éviter de perdre des données.
- Le connecteur PayPal n'accepte que les données de transaction des trois dernières années.
- Le connecteur PayPal n'accepte que les données sur les litiges des six derniers mois.
- Les API PayPal utilisent des limites de taille de page différentes pour chaque objet de données. Le connecteur PayPal utilise la taille de page maximale autorisée par PayPal lors d'un transfert de données.
- Toutefois, certains objets, comme
Payments
ouPayment Transactions
, utilisent des limites de taille de page plus petites. Cela peut ralentir les transferts de données, en particulier lorsque vous traitez des ensembles de données volumineux.
- Toutefois, certains objets, comme
Avant de commencer
Les sections suivantes décrivent la procédure à suivre avant de créer un transfert de données PayPal.
Conditions requises pour PayPal
Pour activer les transferts de données depuis PayPal, vous devez disposer des éléments suivants :
- Vous devez disposer d'un compte de développeur PayPal. Pour en savoir plus, consultez le programme PayPal Developer.
- Créez une application d'API REST PayPal. Pour en savoir plus, consultez Premiers pas avec les API REST PayPal.
- Dans la section Applications et identifiants, notez l'ID client et la clé secrète de l'application.
- Dans la section Fonctionnalités, activez les autorisations d'API Recherche de transactions et Facturation.
Rôles BigQuery requis
Pour obtenir les autorisations nécessaires pour créer un transfert, demandez à votre administrateur de vous accorder le rôle IAM Administrateur BigQuery (roles/bigquery.admin
).
Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.
Ce rôle prédéfini contient les autorisations requises pour créer un transfert. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :
Autorisations requises
Les autorisations suivantes sont requises pour créer un transfert :
bigquery.transfers.update
sur l'utilisateur-
bigquery.datasets.get
sur l'ensemble de données cible -
bigquery.datasets.update
sur l'ensemble de données cible
Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.
Prérequis pour BigQuery
- Vérifiez que vous avez effectué toutes les actions requises pour activer le service de transfert de données BigQuery.
- Créez un ensemble de données BigQuery pour stocker vos données.
- Si vous avez l'intention de configurer des notifications d'exécution de transfert pour Pub/Sub, assurez-vous de disposer de l'autorisation Identity and Access Management (IAM)
pubsub.topics.setIamPolicy
. Les autorisations Pub/Sub ne sont pas nécessaires si vous ne configurez que des notifications par e-mail. Pour plus d'informations, consultez la page Notifications d'exécution du service de transfert de données BigQuery.
Configurer un transfert de données PayPal
Ajoutez des données PayPal à BigQuery en configurant un transfert à l'aide de l'une des options suivantes :
Console
Accédez à la page "Transferts de données" dans la console Cloud de Confiance .
Cliquez sur
Créer un transfert.Dans le champ Source de la section Type de source, sélectionnez PayPal.
Dans la section Data source details (Détails de la source de données), procédez comme suit :
- Dans le champ ID client, saisissez l'ID client PayPal. Pour en savoir plus, consultez Conditions préalables pour PayPal.
- Dans le champ Code secret du client, saisissez la clé secrète du client PayPal. Pour en savoir plus, consultez Conditions préalables pour PayPal.
- Sélectionnez Is Sandbox si vous utilisez un compte PayPal bac à sable.
- Pour Date de début, saisissez une date au format
YYYY-MM-DD
. Le transfert de données charge les données PayPal à partir de cette date.- Si vous laissez ce champ vide, le transfert récupère par défaut les données des trois dernières années.
- Pour savoir quels objets sont compatibles avec le filtre de date de début, consultez Objets compatibles.
- Dans le champ Objets PayPal à transférer, saisissez les noms des objets PayPal que vous voulez transférer ou cliquez sur Parcourir et sélectionnez les objets concernés.
Dans la section Paramètres de destination, pour le champ Ensemble de données, sélectionnez l'ensemble de données que vous avez créé pour stocker vos données.
Dans la section Nom de la configuration de transfert, sous Nom à afficher, saisissez le nom du transfert de données.
Dans la section Options de programmation, procédez comme suit :
- Dans la liste Fréquence de répétition, sélectionnez une option pour spécifier la fréquence d'exécution de ce transfert de données. Pour spécifier une fréquence de répétition personnalisée, sélectionnez Personnalisée. Si vous sélectionnez À la demande, ce transfert s'exécute lorsque vous le déclenchez manuellement.
- Le cas échéant, sélectionnez Commencer ou Commencer à l'heure définie, puis indiquez une date de début et une heure d'exécution.
Facultatif : dans la section Options de notification, procédez comme suit :
- Pour activer les notifications par e-mail, cliquez sur le bouton Notification par e-mail. Lorsque vous activez cette option, l'administrateur de transfert reçoit une notification par e-mail en cas d'échec de l'exécution du transfert.
- Pour activer les notifications d'exécution de transfert Pub/Sub pour ce transfert, activez l'option Notifications Pub/Sub. Vous pouvez sélectionner le nom de votre sujet ou cliquer sur Créer un sujet pour en créer un.
Cliquez sur Enregistrer.
bq
Saisissez la commande bq mk
, puis spécifiez l'indicateur de création de transfert --transfer_config
.
bq mk --transfer_config --project_id=PROJECT_ID --data_source=DATA_SOURCE --display_name=DISPLAY_NAME --target_dataset=DATASET --params='PARAMETERS'
Où :
- PROJECT_ID (facultatif) : ID de votre projet Cloud de Confiance by S3NS .
Si vous ne fournissez pas de
--project_id
afin de spécifier un projet particulier, le projet par défaut est utilisé. - DATA_SOURCE. La source de données –
paypal
. - DISPLAY_NAME : nom à afficher de la configuration de transfert de données. Ce nom peut correspondre à toute valeur permettant d'identifier le transfert si vous devez le modifier ultérieurement.
- DATASET : ensemble de données cible de la configuration de transfert.
PARAMETERS correspond aux paramètres de la configuration de transfert créée, au format JSON. Exemple :
--params='{"param":"param_value"}'
. Voici les paramètres d'un transfert de données PayPal :assets
: liste des objets PayPal à inclure dans ce transfert.connector.authentication.clientId
: ID client de l'application PayPal.connector.authentication.clientSecret
: code secret du client de l'application PayPal.connector.isSandbox
: définissez la valeur surtrue
si vous utilisez un compte PayPal de bac à sable ou surfalse
si vous utilisez un compte PayPal de production.connector.createdStartDate
: (facultatif) saisissez une date au formatYYYY-MM-DD
. Le transfert de données charge les données PayPal à partir de cette date.
Par exemple, la commande suivante crée un transfert de données PayPal dans le projet par défaut avec tous les paramètres requis :
bq mk \ --transfer_config \ --target_dataset=mydataset \ --data_source=PayPal \ --display_name='My Transfer' \ --params='{"assets": ["Payments", "TransactionReports"], "connector.authentication.clientId": "112233445566", "connector.authentication.clientSecret":"123456789", "connector.isSandbox":"false", "connector.createdStartDate": "2025-01-01"}'
Lorsque vous créez un transfert de données à l'aide de l'outil de ligne de commande bq, la configuration de transfert planifie les transferts de données une fois toutes les huit heures.
API
Utilisez la méthode projects.locations.transferConfigs.create
et fournissez une instance de la ressource TransferConfig
.
Pour exécuter manuellement un transfert de données en dehors de votre calendrier habituel, vous pouvez lancer une exécution de remplissage.
Mappage des types de données
Le tableau suivant mappe les types de données PayPal aux types de données BigQuery correspondants.
Type de données PayPal | Type de données BigQuery |
---|---|
String |
STRING |
Decimal |
BIGNUMERIC |
Boolean |
BOOL |
Datetime |
TIMESTAMP |
Résoudre les problèmes liés à la configuration d'un transfert
Si vous rencontrez des problèmes lors de la configuration de votre transfert de données, consultez la section Problèmes de transfert de données avec PayPal.
Tarifs
Le transfert de données PayPal vers BigQuery est gratuit tant que cette fonctionnalité est en version preview.
Étapes suivantes
- Pour une vue d'ensemble du service de transfert de données BigQuery, consultez la page Présentation du service de transfert de données BigQuery.
- Pour savoir comment gérer les configurations de transfert, y compris obtenir des informations, lister les configurations et afficher l'historique d'exécution, consultez Gérer les transferts.
- Découvrez comment charger des données avec des opérations multicloud.