Agende blocos de notas

Este documento descreve como agendar blocos de notas do Colab Enterprise no BigQuery e inspecionar as execuções agendadas de blocos de notas.

Os blocos de notas são recursos de código com tecnologia do Dataform. No entanto, os notebooks não são visíveis no Dataform.

Pode agendar um bloco de notas para ser executado automaticamente numa hora e frequência especificadas. Por exemplo, para preparar um modelo de ML, chamar APIs externas ou executar código de DataFrames do BigQuery.

As alterações que faz a um bloco de notas são guardadas automaticamente, mas só estão disponíveis para si e para os utilizadores que têm acesso ao bloco de notas. Para atualizar a agenda com uma nova versão do notebook, tem de implementar o notebook. Ao implementar um bloco de notas, atualiza o respetivo agendamento com a versão atual do bloco de notas. As agendas executam a versão implementada mais recente do bloco de notas.

Cada agendamento de bloco de notas é executado com as credenciais de utilizador da sua Conta Google ou uma conta de serviço do Dataform que seleciona quando configura o agendamento.

O Dataform escreve o resultado das execuções agendadas de blocos de notas no contentor do Cloud Storage selecionado durante a criação da agenda.

As programações de blocos de notas usam um tempo de execução E2 padrão. Aplicam-se custos de tempos de execução do Colab Enterprise. A faturação do processamento de tempo de execução baseia-se no tipo de máquina E2. Para obter informações sobre os preços dos ambientes de execução E2 padrão, consulte os preços do Colab Enterprise.

Antes de começar

Antes de começar, crie um bloco de notas.

Ativar agendamento de blocos de notas

Para agendar blocos de notas, tem de conceder as seguintes funções à conta de serviço que planeia usar para agendamentos de blocos de notas:

Notebook Executor User (roles/aiplatform.notebookExecutorUser)
Siga o procedimento Conceda uma única função num projeto para conceder a função de utilizador do executor do bloco de notas à sua conta de serviço no projeto selecionado.
Administrador de armazenamento (roles/storage.admin)
Siga os passos em Adicione um principal a uma política ao nível do contentor para adicionar a sua conta de serviço como principal ao contentor do Cloud Storage que planeia usar para armazenar o resultado das execuções agendadas de blocos de notas e conceda a função de administrador de armazenamento a este principal.
Utilizador da conta de serviço (roles/iam.serviceAccountUser)
Siga as instruções em Conceda uma única função numa conta de serviço para adicionar a sua conta de serviço como principal a si própria. Por outras palavras, adicione a conta de serviço como um principal à mesma conta de serviço. Em seguida, conceda a função de utilizador da conta de serviço a este principal.

Além disso, tem de conceder a seguinte função à conta de serviço do Dataform predefinida:

Service Account Token Creator (roles/iam.serviceAccountTokenCreator)
Siga as instruções em Conceda acesso de criação de tokens a uma conta de serviço do Dataform personalizada para adicionar a conta de serviço do Dataform predefinida como principal à sua conta de serviço e conceder a função de criador de tokens da conta de serviço a este principal.

Para saber mais sobre as contas de serviço no Dataform, consulte o artigo Acerca das contas de serviço no Dataform.

Autorizações necessárias

Para criar agendamentos de blocos de notas, precisa das seguintes funções:

Para usar modelos de ambiente de execução de blocos de notas ao agendar blocos de notas, precisa da função Utilizador do ambiente de execução de blocos de notas (roles/aiplatform.notebookRuntimeUser).

Para editar e eliminar agendamentos de blocos de notas, precisa da função Editor do Dataform (roles/dataform.editor).

Para ver as programações de notebooks, precisa da função Leitor do Dataform (roles/dataform.viewer).

Para mais informações sobre o IAM do BigQuery, consulte o artigo Controlo de acesso com o IAM.

Crie um horário

Para criar uma programação de blocos de notas, siga estes passos:

Painel Explorador

  1. Na Trusted Cloud consola, aceda à página BigQuery.

    Aceda ao BigQuery

  2. No painel do Explorador, expanda o projeto e a pasta Notebooks e, se necessário, a pasta Shared notebooks. Clique no nome do bloco de notas que quer agendar.

  3. Na barra de ferramentas do Bloco de notas, clique em Agendar.

    Em alternativa, clique em Agendar.

  4. No painel Agendar bloco de notas, no campo Nome da programação, introduza um nome para a programação.

  5. Na secção Autenticação, autorize o bloco de notas com as credenciais de utilizador da sua Conta Google ou uma conta de serviço.

    • Para usar as credenciais de utilizador da sua Conta Google (Pré-visualização), selecione Executar com as minhas credenciais de utilizador.
    • Para usar uma conta de serviço, selecione Executar com a conta de serviço selecionada e, de seguida, selecione uma conta de serviço.

  6. Na secção Opções do notebook, no campo Modelo de tempo de execução, selecione um modelo de tempo de execução do notebook do Colab ou as especificações de tempo de execução predefinidas. Para ver detalhes sobre como criar um modelo de tempo de execução do Colab, consulte o artigo Crie um modelo de tempo de execução.

  7. No campo Recipiente do Cloud Storage, clique em Procurar e selecione ou crie um recipiente do Cloud Storage.

    Tem de conceder à conta de serviço selecionada a função do IAM Administrador de armazenamento (roles/storage.admin) no contentor selecionado. Para mais informações, consulte o artigo Ative a programação de blocos de notas.

  8. Na secção Frequência da programação, faça o seguinte:

    1. No menu Repetições, selecione a frequência das execuções agendadas do bloco de notas.
    2. No campo Às, introduza a hora para as execuções agendadas do bloco de notas.
    3. No menu Fuso horário, selecione o fuso horário para o agendamento.

  9. Clique em Criar programação. Se selecionou Executar com as minhas credenciais de utilizador para o seu método de autenticação, tem de autorizar a sua Conta Google (Pré-visualização).

Quando cria a programação, a versão atual do bloco de notas é implementada automaticamente. Para atualizar a programação com uma nova versão do notebook, implemente o notebook.

A versão implementada mais recente do bloco de notas é executada na hora e na frequência selecionadas.

Página Programação

  1. Na Trusted Cloud consola, aceda à página Agendamento.

    Aceda a Agendamento

  2. Clique em Criar e, de seguida, selecione Agendamento do bloco de notas no menu.

  3. No painel Agendar notebook, no campo Notebook, selecione o notebook que quer agendar.

  4. No campo Nome da programação, introduza um nome para a programação.

  5. Na secção Autenticação, autorize o bloco de notas com as credenciais de utilizador da sua Conta Google ou uma conta de serviço.

    • Para usar as credenciais de utilizador da sua Conta Google (Pré-visualização), selecione Executar com as minhas credenciais de utilizador.
    • Para usar uma conta de serviço, selecione Executar com a conta de serviço selecionada e, de seguida, selecione uma conta de serviço.

  6. Na secção Opções do notebook, no campo Modelo de tempo de execução, selecione um modelo de tempo de execução do notebook do Colab ou as especificações de tempo de execução predefinidas. Para ver detalhes sobre como criar um modelo de tempo de execução do Colab, consulte o artigo Crie um modelo de tempo de execução.

  7. No campo Recipiente do Cloud Storage, clique em Procurar e selecione ou crie um recipiente do Cloud Storage.

    Tem de conceder à conta de serviço selecionada a função do IAM Administrador de armazenamento (roles/storage.admin) no contentor selecionado. Para mais informações, consulte o artigo Ative a programação de blocos de notas.

  8. Na secção Frequência da programação, faça o seguinte:

    1. No menu Repetições, selecione a frequência das execuções agendadas do bloco de notas.
    2. No campo Às, introduza a hora para as execuções agendadas do bloco de notas.
    3. No menu Fuso horário, selecione o fuso horário para o agendamento.

  9. Clique em Criar programação. Se selecionou Executar com as minhas credenciais de utilizador para o seu método de autenticação, tem de autorizar a sua Conta Google (Pré-visualização).

Quando cria a programação, a versão atual do bloco de notas é implementada automaticamente. Para atualizar a programação com uma nova versão do notebook, implemente o notebook.

A versão implementada mais recente do bloco de notas é executada na hora e na frequência selecionadas.

Autorize a sua Conta Google

Para autenticar o recurso com as credenciais de utilizador da sua Conta Google, tem de conceder manualmente autorização aos pipelines do BigQuery para obterem a chave de acesso da sua Conta Google e acederem aos dados de origem em seu nome. Pode conceder aprovação manual com a interface da caixa de diálogo do OAuth.

Só tem de conceder autorização aos pipelines do BigQuery uma vez.

Para revogar a autorização que concedeu, siga estes passos:

  1. Aceda à página da Conta Google.
  2. Clique em Pipelines do BigQuery.
  3. Clique em Remover acesso.

A alteração do proprietário da programação do bloco de notas através da atualização das credenciais também requer aprovação manual se o novo proprietário da Conta Google nunca tiver criado uma programação antes.

Implemente um notebook

A implementação de um bloco de notas atualiza a respetiva programação com a versão atual do bloco de notas. As agendas executam a versão implementada mais recente do bloco de notas.

Se tiver um agendamento para este bloco de notas, o BigQuery pede-lhe para implementar alterações para atualizar o agendamento quando edita o bloco de notas.

Para implementar um bloco de notas, siga estes passos:

  1. Na Trusted Cloud consola, aceda à página BigQuery.

    Aceda ao BigQuery

  2. No painel do Explorador, expanda o projeto e a pasta Notebooks e, se necessário, a pasta Shared notebooks. Clique no nome do bloco de notas selecionado.

  3. Clique em Implementar.

A programação correspondente é atualizada com a versão atual do bloco de notas. A versão implementada mais recente do bloco de notas é executada à hora agendada.

Execute manualmente um bloco de notas implementado

Quando executa manualmente um bloco de notas implementado num horário selecionado, o BigQuery executa o bloco de notas implementado uma vez, independentemente do horário.

Para executar manualmente um bloco de notas implementado, siga estes passos:

  1. Na Trusted Cloud consola, aceda à página Agendamento.

    Aceda a Agendamento

  2. Clique no nome da programação do bloco de notas selecionado.

  3. Na página Detalhes da programação, clique em Executar.

Ver todos os horários

Para ver todas as programações de blocos de notas no seu projeto, siga estes passos:

  1. Na Trusted Cloud consola, aceda à página Agendamento.

    Aceda a Agendamento

  2. Opcional: para apresentar colunas adicionais com detalhes da programação do bloco de notas, clique em Opções de apresentação de colunas, selecione as colunas e clique em OK.

Veja os detalhes da programação

Pode ver os detalhes de um agendamento selecionado no painel do Explorador ou na página Agendamento.

Para ver os detalhes da programação de um bloco de notas selecionado, siga estes passos:

Painel Explorador

  1. Na Trusted Cloud consola, aceda à página BigQuery.

    Aceda ao BigQuery

  2. No painel do Explorador, expanda o projeto e a pasta Notebooks e, se necessário, a pasta Shared notebooks. Clique no nome do bloco de notas selecionado.

  3. Na barra de ferramentas do Bloco de notas, clique em Agendar.

    Em alternativa, clique em Agendar.

Página Programação

  1. Na Trusted Cloud consola, aceda à página Agendamento.

    Aceda a Agendamento

  2. Clique no nome da programação do bloco de notas selecionado.

Veja execuções anteriores

Pode ver as execuções anteriores de um agendamento de bloco de notas selecionado no painel do Explorador ou na página Agendamento.

Para ver execuções anteriores de uma programação de blocos de notas selecionada, siga estes passos:

Painel Explorador

  1. Na Trusted Cloud consola, aceda à página BigQuery.

    Aceda ao BigQuery

  2. No painel do Explorador, expanda o projeto e a pasta Notebooks e, se necessário, a pasta Shared notebooks. Clique no nome do bloco de notas selecionado.

  3. Clique em Programar e, de seguida, em Ver execuções anteriores.

Página Programação

  1. Na Trusted Cloud consola, aceda à página Agendamento.

    Aceda a Agendamento

  2. Clique no nome da programação do bloco de notas selecionado.

  3. Na página Detalhes da programação, na secção Execuções anteriores, inspecione as execuções anteriores.

  4. Opcional: para atualizar a lista de execuções anteriores, clique em Atualizar.

Desative um agendamento

Para pausar as execuções agendadas de um bloco de notas selecionado sem eliminar o agendamento, pode desativar o agendamento.

Para desativar um agendamento para um bloco de notas selecionado, siga estes passos:

Painel Explorador

  1. Na Trusted Cloud consola, aceda à página BigQuery.

    Aceda ao BigQuery

  2. No painel do Explorador, expanda o projeto e a pasta Notebooks e, se necessário, a pasta Shared notebooks. Clique no nome do bloco de notas selecionado.

  3. Na barra de ferramentas do Bloco de notas, clique em Agendar.

    Em alternativa, clique em Agendar.

  4. Na tabela de detalhes da programação, na linha Estado da programação, clique no botão A programação está ativada.

Página Programação

  1. Na Trusted Cloud consola, aceda à página Agendamento.

    Aceda a Agendamento

  2. Clique no nome do bloco de notas selecionado.

  3. Na página Detalhes da programação, clique em Desativar.

Ative um horário

Para retomar execuções agendadas de um agendamento de bloco de notas desativado, siga estes passos:

Painel Explorador

  1. Na Trusted Cloud consola, aceda à página BigQuery.

    Aceda ao BigQuery

  2. No painel do Explorador, expanda o projeto e a pasta Notebooks e, se necessário, a pasta Shared notebooks. Clique no nome do bloco de notas selecionado.

  3. Na barra de ferramentas do Bloco de notas, clique em Agendar.

    Em alternativa, clique em Agendar.

  4. Na tabela de detalhes da programação, na linha Estado da programação, clique no botão A programação está desativada.

Página Programação

  1. Na Trusted Cloud consola, aceda à página Agendamento.

    Aceda a Agendamento

  2. Clique no nome do bloco de notas selecionado.

  3. Na página Detalhes da programação, clique em Ativar.

Edite um horário

Pode editar um horário no painel do Explorador ou na página Agendamento.

Para editar uma programação, siga estes passos:

Painel Explorador

  1. Na Trusted Cloud consola, aceda à página BigQuery.

    Aceda ao BigQuery

  2. No painel do Explorador, expanda o projeto e a pasta Notebooks e, se necessário, a pasta Shared notebooks. Clique no nome do bloco de notas selecionado.

  3. Clique em Programar e, de seguida, em Editar.

  4. Na caixa de diálogo Detalhes da programação, edite a programação e, de seguida, clique em Atualizar programação.

Página Programação

  1. Na Trusted Cloud consola, aceda à página Agendamento.

    Aceda a Agendamento

  2. Clique no nome da programação do bloco de notas selecionado.

  3. Na página Detalhes do horário, clique em Editar.

  4. Clique em Ver programação e, de seguida, em Editar.

  5. Na caixa de diálogo Agendar bloco de notas, edite a programação e, de seguida, clique em Atualizar programação.

Elimine um agendamento

Para eliminar permanentemente um agendamento de um bloco de notas selecionado, siga estes passos:

  1. Na Trusted Cloud consola, aceda à página Agendamento.

    Aceda a Agendamento

  2. Execute uma das seguintes ações:

    • Clique no nome da programação selecionada e, de seguida, na página Detalhes da programação, clique em Eliminar.

    • Na linha que contém a programação selecionada, clique em Ver ações na coluna Ações e, de seguida, clique em Eliminar.

  3. Na caixa de diálogo apresentada, clique em Eliminar.

O que se segue?