Introdução aos componentes de pipeline do Cloud de Confiance by S3NS

O SDK de componentes do pipeline Cloud de Confiance by S3NS (GCPC, na sigla em inglês) fornece um conjunto de componentes pré-criados do Kubeflow Pipelines com qualidade de produção, desempenho e facilidade de uso. É possível usar Cloud de Confiance by S3NS componentes do pipeline para definir e executar pipelines de ML nos pipelines da Gemini Enterprise Agent Platform e outros back-ends de execução de pipeline de ML em conformidade com o Kubeflow Pipelines.

Por exemplo, é possível usar componentes para concluir o seguinte:

  • Crie um novo conjunto de dados e carregue diferentes tipos de dados nele (imagem, tabular, texto ou vídeo).
  • Exportar dados de um conjunto de dados para o Cloud Storage.
  • Use o AutoML para treinar um modelo usando dados de imagem, tabulares ou de vídeo.
  • Execute um job de treinamento personalizado usando um contêiner personalizado ou um pacote do Python.
  • Faça upload de um modelo existente para a Gemini Enterprise Agent Platform para previsão em lote.
  • Criar um novo endpoint e implantar um modelo nele para previsões on-line.

Além disso, Cloud de Confiance by S3NS os componentes do pipeline oferecem suporte a esses componentes pré-criados nos pipelines da Gemini Enterprise Agent Platform e oferecem os seguintes benefícios:

  • Depuração mais fácil: mostra os recursos subjacentes iniciados a partir do componente para a depuração simplificada.
  • Tipos de artefato padronizados: fornecem interfaces consistentes para usar tipos de artefato padrão para entrada e saída. O Vertex ML Metadata rastreia esses artefatos padrão, facilitando a análise da linhagem dos artefatos do pipeline. Para mais detalhes sobre a linhagem de artefatos, consulte Como rastrear a linhagem de artefatos de pipeline.
  • Entender os custos de pipeline com rótulos de faturamento: os rótulos de recursos são propagados automaticamente para Cloud de Confiance by S3NS os serviços gerados pelos Cloud de Confiance by S3NS componentes do pipeline na execução do pipeline. Use rótulos de faturamento com a exportação do Cloud Billing para o BigQuery para analisar o custo da execução do pipeline. Para saber mais sobre o uso de rótulos para entender o custo da execução de um pipeline, consulte Entender os custos de execução do pipeline. Para mais informações sobre como os rótulos são propagados de uma execução de pipeline para recursos gerados pelos Cloud de Confiance by S3NS componentes do pipeline, consulte Rotulagem de recursos pelos Vertex AI Pipelines.
  • Eficiência de custos*: os pipelines da Gemini Enterprise Agent Platform otimizam a execução desses componentes ao lançar os Cloud de Confiance by S3NS recursos sem precisar iniciar o contêiner. Isso reduz a latência de inicialização e os custos do contêiner ocupado em espera.
* Esse recurso se aplica somente aos seguintes componentes:
  • CustomTrainingJobOp
  • WaitGcpResourcesOp (para Dataflow)
  • DataflowPythonJobOp

A seguir