Questa pagina descrive il repository che archivia il codice Apache Airflow patchato utilizzato in Managed Airflow.
Informazioni sul repository
Il repository Composer-Airflow è un repository di sola lettura che contiene il codice Apache Airflow patchato in esecuzione in Managed Airflow.
Una determinata versione di Apache Airflow trovata in Managed Airflow non corrisponde sempre esattamente alla versione corrispondente in Airflow upstream perché Managed Airflow utilizza una versione patchata di Airflow. Questo repository contiene il codice di ogni versione patch di Airflow utilizzata in Managed Airflow. Per informazioni sulle versioni di Airflow disponibili in Managed Airflow, consulta Elenco delle versioni di Managed Airflow.
Contribuire
Questo codice non è un fork di Apache Airflow. Il codice trovato in questo repository proviene direttamente dal repository Apache Airflow, ma in una cronologia diversa rispetto alle normali release di Apache Airflow.
Se vuoi contribuire a questa base di codice, contribuisci direttamente ad Airflow. Non farlo in questo repository perché le richieste pull non sono accettate.
Problemi e assistenza
- Se riscontri un problema con il codice trovato in questo repository, puoi creare un problema direttamente nel repository Airflow.
- Se hai un problema con Managed Airflow, utilizza i canali di assistenza di Managed Airflow.
Navigare nel repository
Il repository ha un ramo per ogni versione di Airflow disponibile in Managed Service for Apache Airflow. Non tutte le versioni di Airflow sono supportate in Managed Airflow. Puoi vedere quali versioni di Airflow sono supportate da una determinata versione di Managed Airflow nell'elenco delle versioni di Managed Airflow.
Esempi di utilizzo
Questa sezione elenca esempi di utilizzo del repository.
Questo commit del repository Airflow è presente nella mia versione di Managed Airflow?
Gli SHA1 dei commit nel repository Composer-Airflow non corrispondono agli SHA1 dei commit nel repository Airflow upstream. Uno dei modi per cercare un commit specifico è cercare il messaggio di commit corrispondente.
Non è possibile utilizzare la UI di GitHub per cercare nei messaggi di commit in rami diversi da quello predefinito, ma è possibile farlo utilizzando la CLI git. Per cercare un commit specifico in questo repository, devi
aver installato git.
Per cercare un messaggio di commit utilizzando la CLI git:
Clona il repository e passa alla directory del repository utilizzando il seguente comando:
git clone git@github.com:GoogleCloudPlatform/composer-airflow.git && \ cd composer-airflowCerca il messaggio di commit:
git log --source --grep="COMMIT_MESSAGE" --allIn questo comando:
--sourcemostra il ramo in cui si trova il commit--grepspecifica il messaggio da cercare nel log--allesegue ricerche in tutti i rami
Il ramo si trova accanto all'hash del commit nella prima riga di ogni risultato. Se il comando restituisce un commit, significa che è presente nella tua versione di Managed Airflow. Inoltre, se la versione di Airflow nel tuo ambiente è successiva alla versione del ramo, il commit viene utilizzato nella versione di Airflow del tuo ambiente.
Ad esempio, se vuoi cercare il messaggio di commit
Force explicit choice on GPL dependency, il comando sarà:
git log --source --grep="Force explicit choice on GPL dependency" --all
Se esiste un commit corrispondente, i risultati saranno simili all'esempio di output seguente. Potrebbe esserci più di un risultato.
commit 64ff1089e30e80b08bf5155edd9e49f5293ebbe4 refs/heads/<strong>1.10.2</strong>
Author: example_airflow_committer <example_airflow_committer@users.noreply.github.com>
Date: Wed Aug 1 11:25:31 2018 +0200
[AIRFLOW-2817] Force explicit choice on GPL dependency (#3660)
By default one of Apache Airflow's dependencies pulls in a GPL
library. Airflow should not install (and upgrade) without an explicit choice.
This is part of the Apache requirements as we cannot depend on Category X
software.
(cherry picked from commit c37fc0b6ba19e3fe5656ae37cef9b59cef3c29e8)
Signed-off-by: Example Airflow Committer <example_airflow_committer@users.noreply.github.com>
(cherry picked from commit b39e4532d9d1086c60b31553d08972bcc68df641)
Signed-off-by: Example Airflow Committer <example_airflow_committer@users.noreply.github.com>
GitOrigin-RevId: cefcf4c61f64be3792cbfed509b82a9eb4cc47be
Che aspetto ha questo operatore Airflow nella mia versione di Managed Airflow?
Gli operatori Airflow e il codice di accompagnamento vengono pacchettizzati e rilasciati separatamente dal core di Airflow in pacchetti PyPI chiamati pacchetti del provider.
Alcuni di questi pacchetti sono installati per impostazione predefinita in Managed Airflow. Per sapere quale versione è installata nel tuo ambiente, controlla l'elenco dei pacchetti per la versione di Managed Airflow del tuo ambiente nell'elenco delle versioni.
Interfaccia utente di GitHub
Per esaminare il codice di un operatore in una determinata versione del pacchetto del provider:
Vai al repository Airflow upstream.
Inserisci il nome dell'operatore che stai cercando nella barra di ricerca di GitHub.
Se viene restituito più di un file, fai clic sul file di codice con un percorso che inizia con
airflow/providers.Ad esempio, se cerchi
GoogleCloudStorageCreateBucketOperator, scegliairflow/providers/google/cloud/operators/gcs.py.Fai clic sul selettore di rami, che apre l'elenco a discesa Cambia rami/tag.
Fai clic sulla scheda Tag.
Per i pacchetti
providers, cerca il nome del tuo provider e la versione digitandoproviders-PROVIDER_NAME/PROVIDER_VERSIONnella barra di ricerca dell'elenco a discesa, dovePROVIDER_NAMEè il nome del provider ePROVIDER_VERSIONè il nome della versione che stai cercando.Ad esempio, se vuoi visualizzare la versione
10.0.0del pacchettoapache-airflow-providers-google, devi cercareproviders-google/10.0.0.Per i pacchetti
backport-providers, utilizzati in Airflow 1, cercabackport-providers-PROVIDER_VERSIONnella barra di ricerca del menu a discesa.Ad esempio, se vuoi visualizzare la versione
2021.3.3del pacchettoapache-airflow-backport-providers-google, cercabackport-providers-2021.3.3.Fai clic sul risultato che corrisponde alla tua query.
Il codice sullo schermo è quello in esecuzione nella tua versione dell'operatore. Puoi anche fare clic su Cronologia per visualizzare la cronologia dei commit fino a questo punto.
Interfaccia a riga di comando git
Per esaminare il codice di un operatore in una determinata versione del pacchetto del provider:
Clona il repository Airflow upstream.
Per i pacchetti
providers, eseguigit checkout providers-PROVIDER_NAME/PROVIDER_VERSION, dovePROVIDER_NAMEè il nome del provider ePROVIDER_VERSIONè il nome della versione che stai cercando.Ad esempio, se vuoi visualizzare la versione
10.0.0del pacchettoapache-airflow-providers-google, eseguigit checkout providers-google/10.0.0.Per i pacchetti
backport-providers, utilizzati in Airflow 1, eseguigit checkout backport-providers-PROVIDER_VERSION.Ad esempio, se vuoi visualizzare la versione
2021.3.3del pacchettoapache-airflow-backport-providers-google,eseguigit checkout backport-providers-2021.3.3.Se non conosci il percorso del file per l'operatore, puoi cercarlo con il comando
git grep. Il seguente esempio mostra come cercare GoogleCloudStorageCreateBucketOperator.git grep GoogleCloudStorageCreateBucketOperatorL'output è un elenco di file in cui è possibile trovare la stringa (in questo caso, il nome dell'operatore). Da questo elenco, vai al file ed esamina ulteriormente i suoi contenuti.
airflow/contrib/operators/gcs_operator.py:class GoogleCloudStorageCreateBucketOperator(BaseOperator): airflow/contrib/operators/gcs_operator.py: CreateBucket = GoogleCloudStorageCreateBucketOperator( airflow/contrib/operators/gcs_operator.py: super( GoogleCloudStorageCreateBucketOperator, self).__init__(*args, **kwargs) docs/code.rst:.. autoclass:: airflow.contrib.operators.gcs_operator.Google CloudStorageCreateBucketOperator docs/integration.rst:- :ref:`GoogleCloudStorageCreateBucketOperator` : Creates a new cloud storage bucket. docs/integration.rst:.. _GoogleCloudStorageCreateBucketOperator: docs/integration.rst:GoogleCloudStorageCreateBucketOperator docs/integration.rst:.. autoclass:: airflow.contrib.operators.gcs_operator .GoogleCloudStorageCreateBucketOperator tests/contrib/operators/test_gcs_operator.py:from airflow.contrib.operators.gcs_operator import GoogleCloudStorageCreateBucketOperator tests/contrib/operators/test_gcs_operator.py: operator = GoogleCloudStorageCreateBucketOperator(
Passaggi successivi
- Esegui un ambiente Airflow locale con lo strumento Composer Local Development CLI