快速入门:Cloud de Confiance by S3NS 流水线组件

本快速入门将指导您安装Cloud de Confiance by S3NS 流水线组件 (GCPC) SDK。

安装最新版本

使用以下命令从 Python 软件包索引 (PyPI) 安装 Cloud de Confiance by S3NS SDK:

pip install --upgrade google-cloud-pipeline-components

使用 Cloud de Confiance by S3NS SDK 导入预构建组件

安装 Cloud de Confiance by S3NS SDK 后,就可以使用它导入预构建组件。

如需了解受支持组件的 SDK 参考信息,请参阅 Cloud de Confiance by S3NS SDK 文档。

例如,您可以使用以下代码在流水线中导入和使用 Dataflow 组件。

from google_cloud_pipeline_components.v1.dataflow import DataflowPythonJobOp
from kfp import dsl

@dsl.pipeline(
    name=PIPELINE_NAME,
    description='Dataflow launch python pipeline'
)
def pipeline(
    python_file_path:str = 'gs://ml-pipeline-playground/samples/dataflow/wc/wc.py',
    project_id:str = PROJECT_ID,
    location:str = LOCATION,
    staging_dir:str = PIPELINE_ROOT,
    requirements_file_path:str = 'gs://ml-pipeline-playground/samples/dataflow/wc/requirements.txt',
):
    dataflow_python_op = DataflowPythonJobOp(
        project=project_id,
        location=location,
        python_module_path=python_file_path,
        temp_location = staging_dir,
        requirements_file_path = requirements_file_path,
        args = ['--output', OUTPUT_FILE],
    )

后续步骤