Carregar dados CSV a partir do Cloud Storage

Consola

1. Na Trusted Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No painel Explorador, expanda o seu projeto e, de seguida, selecione um conjunto de dados.
3. Na secção Informações do conjunto de dados, clique em add_box Criar tabela.
4. No painel Criar tabela, especifique os seguintes detalhes:
1. Na secção Origem, selecione Google Cloud Storage na lista Criar tabela a partir de. Em seguida, faça o seguinte:
   1. Selecione um ficheiro do contentor do Cloud Storage ou introduza o URI do Cloud Storage. Não pode incluir vários URIs na Trusted Cloud consola, mas os carateres universais são suportados. O contentor do Cloud Storage tem de estar na mesma localização que o conjunto de dados que contém a tabela que quer criar, acrescentar ou substituir.
   2. Em Formato de ficheiro, selecione CSV.
2. Na secção Destino, especifique os seguintes detalhes:
   1. Para Conjunto de dados, selecione o conjunto de dados no qual quer criar a tabela.
   2. No campo Tabela, introduza o nome da tabela que quer criar.
   3. Verifique se o campo Tipo de tabela está definido como Tabela nativa.
3. Na secção Esquema, introduza a definição do esquema. Para ativar a deteção automática de um esquema, selecione Deteção automática. Pode introduzir manualmente informações do esquema através de um dos seguintes métodos:
   • Opção 1: clique em Editar como texto e cole o esquema sob a forma de uma matriz JSON. Quando usa uma matriz JSON, gera o esquema através do mesmo processo que criar um ficheiro de esquema JSON. Pode ver o esquema de uma tabela existente no formato JSON introduzindo o seguinte comando:

         bq show --format=prettyjson dataset.table
         

   • Opção 2: clique em add_box Adicionar campo e introduza o esquema da tabela. Especifique o Nome, Tipo e Modo de cada campo.
4. Opcional: especifique as definições de partição e cluster. Para mais informações, consulte os artigos Criar tabelas particionadas e Criar e usar tabelas agrupadas.
5. Clique em Opções avançadas e faça o seguinte:
   • Para Preferência de escrita, deixe a opção Escrever se estiver vazio selecionada. Esta opção cria uma nova tabela e carrega os seus dados na mesma.
   • Para Número de erros permitidos, aceite o valor predefinido de 0 ou introduza o número máximo de linhas com erros que podem ser ignorados. Se o número de linhas com erros exceder este valor, a tarefa vai gerar uma mensagem invalid e falhar. Esta opção aplica-se apenas a ficheiros CSV e JSON.
   • Em Fuso horário, introduza o fuso horário predefinido que vai ser aplicado quando analisar valores de data/hora que não tenham um fuso horário específico. Consulte aqui mais nomes de fusos horários válidos. Se este valor não estiver presente, os valores de data/hora sem um fuso horário específico são analisados através do fuso horário predefinido UTC. (Pré-visualizar).
   • Para Formato de data, introduza os elementos de formato que definem como os valores DATE são formatados nos ficheiros de entrada. Este campo espera o formato de estilos SQL (por exemplo, MM/DD/YYYY). Se este valor estiver presente, este formato é o único formato DATE compatível. A deteção automática de esquemas também decide o tipo de coluna DATE com base neste formato, em vez do formato existente. Se este valor não estiver presente, o campo DATE é analisado com os formatos predefinidos. (Pré-visualizar).
   • Para Formato de data/hora, introduza os elementos de formato que definem como os valores DATETIME são formatados nos ficheiros de entrada. Este campo espera o formato de estilos SQL (por exemplo, MM/DD/YYYY HH24:MI:SS.FF3). Se este valor estiver presente, este formato é o único formato DATETIME compatível. A deteção automática do esquema também decide o tipo de coluna DATETIME com base neste formato, em vez do formato existente. Se este valor não estiver presente, o campo DATETIME é analisado com os formatos predefinidos. (Pré-visualizar).
   • Para Formato de hora, introduza os elementos de formato que definem como os valores de TIME são formatados nos ficheiros de entrada. Este campo espera o formato de estilos SQL (por exemplo, HH24:MI:SS.FF3). Se este valor estiver presente, este formato é o único formato de TIME compatível. A deteção automática do esquema também decide o tipo de coluna TIME com base neste formato, em vez do formato existente. Se este valor não estiver presente, o campo TIME é analisado com os formatos predefinidos. (Pré-visualizar).
   • Para o Formato de data/hora, introduza os elementos de formato que definem como os valores de data/hora são formatados nos ficheiros de entrada. Este campo espera o formato de estilos SQL (por exemplo, MM/DD/YYYY HH24:MI:SS.FF3). Se este valor estiver presente, este formato é o único formato TIMESTAMP compatível. A deteção automática do esquema também decide o tipo de coluna TIMESTAMP com base neste formato, em vez do formato existente. Se este valor não estiver presente, o campo TIMESTAMP é analisado com os formatos predefinidos. (Pré-visualizar).
   • Se quiser ignorar valores numa linha que não estejam presentes no esquema da tabela, selecione Valores desconhecidos.
   • Para Delimitador de campo, escolha o caráter que separa as células no seu ficheiro CSV: Vírgula, Tabulação, Barra vertical ou Personalizado. Se escolher Personalizado, introduza o delimitador na caixa Delimitador de campo personalizado. O valor predefinido é Comma.
   • Para Correspondência de colunas de origem, escolha uma das seguintes estratégias usadas para fazer corresponder as colunas carregadas ao esquema (Pré-visualização).
   • Default: o comportamento predefinido é escolhido com base na forma como o esquema é fornecido. Se a deteção automática estiver ativada, o comportamento predefinido é fazer a correspondência das colunas por nome. Caso contrário, a predefinição é fazer a correspondência das colunas por posição. Isto é feito para manter o comportamento retrocompatível.
   • Position: faz corresponder as colunas por posição, partindo do princípio de que as colunas estão ordenadas da mesma forma que o esquema.
   • Name: corresponde por nome lendo a linha de cabeçalho como os nomes das colunas e reordenando as colunas para corresponder aos nomes dos campos no esquema. Os nomes das colunas são lidos a partir da última linha ignorada com base em Linhas de cabeçalho a ignorar.
   • Para Linhas de cabeçalho a ignorar, introduza o número de linhas de cabeçalho a ignorar na parte superior do ficheiro CSV. O valor predefinido é 0.
   • Para Novas linhas entre aspas, selecione Permitir novas linhas entre aspas para permitir secções de dados entre aspas que contenham carateres de nova linha num ficheiro CSV. O valor predefinido é false.
   • Para Linhas irregulares, selecione Permitir linhas irregulares para aceitar linhas em ficheiros CSV que não tenham colunas opcionais finais. Os valores em falta são tratados como nulos. Se esta opção não estiver selecionada, os registos com colunas finais em falta são tratados como registos inválidos e, se existirem demasiados registos inválidos, é devolvido um erro inválido no resultado da tarefa. O valor predefinido é false.
   • Para Marcadores nulos, introduza uma lista de strings personalizadas que representam um valor NULL nos dados CSV. (Pré-visualizar).
   • Para Encriptação, clique em Chave gerida pelo cliente para usar uma chave do Cloud Key Management Service. Se deixar a definição Google Cloud-powered key, o BigQuery encripta os dados em repouso.
6. Clique em Criar tabela.

SQL

Use a LOAD DATA declaração DDL. O exemplo seguinte carrega um ficheiro CSV na nova tabela mytable:

1. Na Trusted Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, introduza a seguinte declaração:

   LOAD DATA OVERWRITE mydataset.mytable
   (x INT64,y STRING)
   FROM FILES (
     format = 'CSV',
     uris = ['gs://bucket/path/file.csv']);

3. Clique em play_circle Executar.

Para mais informações sobre como executar consultas, consulte o artigo Execute uma consulta interativa.

bq

Use o comando bq load, especifique CSV usando a flag --source_format e inclua um URI do Cloud Storage. Pode incluir um único URI, uma lista de URIs separados por vírgulas ou um URI que contenha um caractere universal. Forneça o esquema inline, num ficheiro de definição do esquema ou use a deteção automática de esquemas. Se não especificar um esquema e --autodetect for false, e a tabela de destino existir, é usado o esquema da tabela de destino.

(Opcional) Forneça a flag --location e defina o valor para a sua localização.

Outras flags opcionais incluem:

• --allow_jagged_rows: quando especificado, aceita linhas em ficheiros CSV que não tenham colunas opcionais finais. Os valores em falta são tratados como nulos. Se a caixa não estiver selecionada, os registos com colunas finais em falta são tratados como registos inválidos e, se existirem demasiados registos inválidos, é devolvido um erro inválido no resultado da tarefa. O valor predefinido é false.
• --allow_quoted_newlines: quando especificado, permite secções de dados entre aspas que contenham carateres de nova linha num ficheiro CSV. O valor predefinido é false.
• --field_delimiter: o caráter que indica o limite entre as colunas nos dados. São permitidos \t e tab para delimitadores de tabulações. O valor predefinido é ,.
• --null_marker: uma string personalizada opcional que representa um valor NULL nos dados CSV.
• --null_markers: (Pré-visualização) Uma lista opcional de strings personalizadas separadas por vírgulas que representam valores NULL nos dados CSV. Não é possível usar esta opção com a flag --null_marker.
• --source_column_match: (Pré-visualização) Especifica a estratégia usada para fazer corresponder as colunas carregadas ao esquema. Pode especificar POSITION para fazer corresponder as colunas carregadas por posição, partindo do princípio de que as colunas estão ordenadas da mesma forma que o esquema. Também pode especificar NAME para fazer a correspondência por nome lendo a linha de cabeçalho como os nomes das colunas e reordenando as colunas para corresponder aos nomes dos campos no esquema. Se este valor não for especificado, o valor predefinido baseia-se na forma como o esquema é fornecido. Se a política --autodetect estiver ativada, o comportamento predefinido é fazer a correspondência das colunas por nome. Caso contrário, a predefinição é fazer a correspondência das colunas por posição.
• --skip_leading_rows: Especifica o número de linhas de cabeçalho a ignorar na parte superior do ficheiro CSV. O valor predefinido é 0.
• --quote: o caráter de aspas a usar para incluir registos. O valor predefinido é ". Para indicar que não existe um caráter de aspas, use uma string vazia.
• --max_bad_records: um número inteiro que especifica o número máximo de registos inválidos permitidos antes de toda a tarefa falhar. O valor predefinido é 0. São devolvidos, no máximo, cinco erros de qualquer tipo, independentemente do valor de --max_bad_records.
• --ignore_unknown_values: quando especificado, permite e ignora valores adicionais não reconhecidos em dados CSV ou JSON.
• --time_zone: (Pré-visualização) Um fuso horário predefinido opcional que é aplicado ao analisar valores de data/hora que não têm um fuso horário específico nos dados CSV ou JSON.
• --date_format: (Pré-visualização) Uma string personalizada opcional que define como os valores DATE são formatados nos dados CSV ou JSON.
• --datetime_format: (Pré-visualização) Uma string personalizada opcional que define como os valores DATETIME são formatados em dados CSV ou JSON.
• --time_format: (Pré-visualização) Uma string personalizada opcional que define como os valores TIME são formatados nos dados CSV ou JSON.
• --timestamp_format: (Pré-visualização) Uma string personalizada opcional que define como os valores de TIMESTAMP são formatados nos dados CSV ou JSON.
• --autodetect: Quando especificado, ativa a deteção automática de esquemas para dados CSV e JSON.
• --time_partitioning_type: ativa a partição baseada no tempo numa tabela e define o tipo de partição. Os valores possíveis são HOUR, DAY, MONTH e YEAR. Esta flag é opcional quando cria uma tabela particionada numa coluna DATE, DATETIME ou TIMESTAMP. O tipo de partição predefinido para a partição baseada no tempo é DAY. Não pode alterar a especificação de partição numa tabela existente.
• --time_partitioning_expiration: um número inteiro que especifica (em segundos) quando uma partição baseada no tempo deve ser eliminada. O tempo de expiração é avaliado como a data UTC da partição mais o valor inteiro.
• --time_partitioning_field: a coluna DATE ou TIMESTAMP usada para criar uma tabela particionada. Se a partição baseada no tempo estiver ativada sem este valor, é criada uma tabela particionada por tempo de ingestão.
• --require_partition_filter: quando ativada, esta opção exige que os utilizadores incluam uma cláusula WHERE que especifique as partições a consultar. Exigir um filtro de partição pode reduzir o custo e melhorar o desempenho. Para mais informações, consulte o artigo Consultar tabelas particionadas.
• --clustering_fields: uma lista separada por vírgulas de até quatro nomes de colunas usados para criar uma tabela agrupada.
• --destination_kms_key: a chave do Cloud KMS para a encriptação dos dados da tabela.

• --column_name_character_map: define o âmbito e o processamento de carateres nos nomes das colunas, com a opção de ativar nomes de colunas flexíveis. Requer a opção --autodetect para ficheiros CSV. Para mais informações, consulte load_option_list.

  Para mais informações sobre o comando bq load, consulte:

  • Referência da linha de comandos

  Para mais informações sobre tabelas particionadas, consulte:

  • Criar tabelas particionadas

  Para mais informações sobre tabelas agrupadas, consulte:

  • Criar e usar tabelas agrupadas

  Para mais informações sobre a encriptação de tabelas, consulte:

  • Proteger dados com chaves do Cloud KMS

Para carregar dados CSV para o BigQuery, introduza o seguinte comando:

bq --location=location load \
--source_format=format \
dataset.table \
path_to_source \
schema

Onde:

• location é a sua localização. A flag --location é opcional. Por exemplo, se estiver a usar o BigQuery na região de Tóquio, pode definir o valor da flag como asia-northeast1. Pode definir um valor predefinido para a localização através do ficheiro.bigqueryrc.
• format é CSV.
• dataset é um conjunto de dados existente.
• table é o nome da tabela para a qual está a carregar dados.
• path_to_source é um URI do Cloud Storage totalmente qualificado ou uma lista de URIs separados por vírgulas. Os carateres universais também são suportados.
• schema é um esquema válido. O esquema pode ser um ficheiro JSON local ou pode ser introduzido inline como parte do comando. Também pode usar a flag --autodetect em vez de fornecer uma definição de esquema.

Exemplos:

O comando seguinte carrega dados de gs://mybucket/mydata.csv para uma tabela denominada mytable em mydataset. O esquema está definido num ficheiro de esquema local denominado myschema.json.

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

O comando seguinte carrega dados de gs://mybucket/mydata.csv para uma tabela denominada mytable em mydataset. O esquema está definido num ficheiro de esquema local denominado myschema.json. O ficheiro CSV inclui duas linhas de cabeçalho. Se --skip_leading_rows não estiver especificado, o comportamento predefinido é assumir que o ficheiro não contém cabeçalhos.

    bq load \
    --source_format=CSV \
    --skip_leading_rows=2
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

O comando seguinte carrega dados de gs://mybucket/mydata.csv para uma tabela particionada por tempo de ingestão denominada mytable em mydataset. O esquema está definido num ficheiro de esquema local denominado myschema.json.

    bq load \
    --source_format=CSV \
    --time_partitioning_type=DAY \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

O comando seguinte carrega dados de gs://mybucket/mydata.csv para uma nova tabela particionada denominada mytable em mydataset. A tabela está particionada na coluna mytimestamp. O esquema está definido num ficheiro de esquema local com o nome myschema.json.

    bq load \
    --source_format=CSV \
    --time_partitioning_field mytimestamp \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

O comando seguinte carrega dados de gs://mybucket/mydata.csv para uma tabela denominada mytable em mydataset. O esquema é detetado automaticamente.

    bq load \
    --autodetect \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv

O comando seguinte carrega dados de gs://mybucket/mydata.csv para uma tabela denominada mytable em mydataset. O esquema é definido inline no formato field:data_type,field:data_type.

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    qtr:STRING,sales:FLOAT,year:STRING

O comando seguinte carrega dados de vários ficheiros em gs://mybucket/ para uma tabela denominada mytable em mydataset. O URI do Cloud Storage usa um caráter universal. O esquema é detetado automaticamente.

    bq load \
    --autodetect \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata*.csv

O comando seguinte carrega dados de vários ficheiros em gs://mybucket/ para uma tabela denominada mytable em mydataset. O comando inclui uma lista de URIs do Cloud Storage separados por vírgulas com carateres universais. O esquema está definido num ficheiro de esquema local denominado myschema.json.

    bq load \
    --source_format=CSV \
    mydataset.mytable \
    "gs://mybucket/00/*.csv","gs://mybucket/01/*.csv" \
    ./myschema.json

API

1. Crie uma tarefa load que aponte para os dados de origem no Cloud Storage.

2. (Opcional) Especifique a sua localização na propriedade location na secção jobReference do recurso de emprego.

3. A propriedade source URIs tem de ser totalmente qualificada, no formato gs://bucket/object. Cada URI pode conter um caráter universal "*".

4. Especifique o formato de dados CSV definindo a propriedade sourceFormat como CSV.

5. Para verificar o estado da tarefa, chame jobs.get(job_id*), onde job_id é o ID da tarefa devolvido pelo pedido inicial.

   • Se status.state = DONE, a tarefa foi concluída com êxito.
   • Se a propriedade status.errorResult estiver presente, o pedido falhou e esse objeto inclui informações que descrevem o que correu mal. Quando um pedido falha, não é criada nenhuma tabela nem são carregados dados.
   • Se status.errorResult estiver ausente, a tarefa foi concluída com êxito, embora possam ter ocorrido alguns erros não fatais, como problemas na importação de algumas linhas. Os erros não fatais são apresentados na propriedade status.errors do objeto de tarefa devolvido.

Notas da API:

• Os trabalhos de carregamento são atómicos e consistentes. Se um trabalho de carregamento falhar, nenhum dos dados está disponível. Se um trabalho de carregamento for bem-sucedido, todos os dados estão disponíveis.

• Como prática recomendada, gere um ID exclusivo e transmita-o como jobReference.jobId quando chamar jobs.insert para criar uma tarefa de carregamento. Esta abordagem é mais robusta em caso de falha de rede, uma vez que o cliente pode sondar ou tentar novamente com o ID da tarefa conhecido.

• A chamada jobs.insert num determinado ID da tarefa é idempotente. Pode tentar novamente quantas vezes quiser com o mesmo ID da tarefa e, no máximo, uma dessas operações vai ter êxito.

C#

using Google.Cloud.BigQuery.V2;
using System;

public class BigQueryLoadTableGcsCsv
{
    public void LoadTableGcsCsv(
        string projectId = "your-project-id",
        string datasetId = "your_dataset_id"
    )
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        var gcsURI = "gs://cloud-samples-data/bigquery/us-states/us-states.csv";
        var dataset = client.GetDataset(datasetId);
        var schema = new TableSchemaBuilder {
            { "name", BigQueryDbType.String },
            { "post_abbr", BigQueryDbType.String }
        }.Build();
        var destinationTableRef = dataset.GetTableReference(
            tableId: "us_states");
        // Create job configuration
        var jobOptions = new CreateLoadJobOptions()
        {
            // The source format defaults to CSV; line below is optional.
            SourceFormat = FileFormat.Csv,
            SkipLeadingRows = 1
        };
        // Create and run job
        var loadJob = client.CreateLoadJob(
            sourceUri: gcsURI, destination: destinationTableRef,
            schema: schema, options: jobOptions);
        loadJob = loadJob.PollUntilCompleted().ThrowOnAnyError();  // Waits for the job to complete.

        // Display the number of rows uploaded
        BigQueryTable table = client.GetTable(destinationTableRef);
        Console.WriteLine(
            $"Loaded {table.Resource.NumRows} rows to {table.FullyQualifiedId}");
    }
}

Go

import (
	"context"
	"fmt"

	"cloud.google.com/go/bigquery"
)

// importCSVExplicitSchema demonstrates loading CSV data from Cloud Storage into a BigQuery
// table and providing an explicit schema for the data.
func importCSVExplicitSchema(projectID, datasetID, tableID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	// tableID := "mytable"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	gcsRef := bigquery.NewGCSReference("gs://cloud-samples-data/bigquery/us-states/us-states.csv")
	gcsRef.SkipLeadingRows = 1
	gcsRef.Schema = bigquery.Schema{
		{Name: "name", Type: bigquery.StringFieldType},
		{Name: "post_abbr", Type: bigquery.StringFieldType},
	}
	loader := client.Dataset(datasetID).Table(tableID).LoaderFrom(gcsRef)
	loader.WriteDisposition = bigquery.WriteEmpty

	job, err := loader.Run(ctx)
	if err != nil {
		return err
	}
	status, err := job.Wait(ctx)
	if err != nil {
		return err
	}

	if status.Err() != nil {
		return fmt.Errorf("job completed with error: %v", status.Err())
	}
	return nil
}

Java

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.CsvOptions;
import com.google.cloud.bigquery.Field;
import com.google.cloud.bigquery.Job;
import com.google.cloud.bigquery.JobInfo;
import com.google.cloud.bigquery.LoadJobConfiguration;
import com.google.cloud.bigquery.Schema;
import com.google.cloud.bigquery.StandardSQLTypeName;
import com.google.cloud.bigquery.TableId;

// Sample to load CSV data from Cloud Storage into a new BigQuery table
public class LoadCsvFromGcs {

  public static void runLoadCsvFromGcs() throws Exception {
    // TODO(developer): Replace these variables before running the sample.
    String datasetName = "MY_DATASET_NAME";
    String tableName = "MY_TABLE_NAME";
    String sourceUri = "gs://cloud-samples-data/bigquery/us-states/us-states.csv";
    Schema schema =
        Schema.of(
            Field.of("name", StandardSQLTypeName.STRING),
            Field.of("post_abbr", StandardSQLTypeName.STRING));
    loadCsvFromGcs(datasetName, tableName, sourceUri, schema);
  }

  public static void loadCsvFromGcs(
      String datasetName, String tableName, String sourceUri, Schema schema) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      // Skip header row in the file.
      CsvOptions csvOptions = CsvOptions.newBuilder().setSkipLeadingRows(1).build();

      TableId tableId = TableId.of(datasetName, tableName);
      LoadJobConfiguration loadConfig =
          LoadJobConfiguration.newBuilder(tableId, sourceUri, csvOptions).setSchema(schema).build();

      // Load data from a GCS CSV file into the table
      Job job = bigquery.create(JobInfo.of(loadConfig));
      // Blocks until this load table job completes its execution, either failing or succeeding.
      job = job.waitFor();
      if (job.isDone()) {
        System.out.println("CSV from GCS successfully added during load append job");
      } else {
        System.out.println(
            "BigQuery was unable to load into the table due to an error:"
                + job.getStatus().getError());
      }
    } catch (BigQueryException | InterruptedException e) {
      System.out.println("Column not added during load append \n" + e.toString());
    }
  }
}

Node.js

// Import the Google Cloud client libraries
const {BigQuery} = require('@google-cloud/bigquery');
const {Storage} = require('@google-cloud/storage');

// Instantiate clients
const bigquery = new BigQuery();
const storage = new Storage();

/**
 * This sample loads the CSV file at
 * https://storage.googleapis.com/cloud-samples-data/bigquery/us-states/us-states.csv
 *
 * TODO(developer): Replace the following lines with the path to your file.
 */
const bucketName = 'cloud-samples-data';
const filename = 'bigquery/us-states/us-states.csv';

async function loadCSVFromGCS() {
  // Imports a GCS file into a table with manually defined schema.

  /**
   * TODO(developer): Uncomment the following lines before running the sample.
   */
  // const datasetId = 'my_dataset';
  // const tableId = 'my_table';

  // Configure the load job. For full list of options, see:
  // https://cloud.google.com/bigquery/docs/reference/rest/v2/Job#JobConfigurationLoad
  const metadata = {
    sourceFormat: 'CSV',
    skipLeadingRows: 1,
    schema: {
      fields: [
        {name: 'name', type: 'STRING'},
        {name: 'post_abbr', type: 'STRING'},
      ],
    },
    location: 'US',
  };

  // Load data from a Google Cloud Storage file into the table
  const [job] = await bigquery
    .dataset(datasetId)
    .table(tableId)
    .load(storage.bucket(bucketName).file(filename), metadata);

  // load() waits for the job to finish
  console.log(`Job ${job.id} completed.`);

  // Check the job's status for errors
  const errors = job.status.errors;
  if (errors && errors.length > 0) {
    throw errors;
  }
}

PHP

use Google\Cloud\BigQuery\BigQueryClient;
use Google\Cloud\Core\ExponentialBackoff;

/** Uncomment and populate these variables in your code */
// $projectId  = 'The Google project ID';
// $datasetId  = 'The BigQuery dataset ID';

// instantiate the bigquery table service
$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);
$dataset = $bigQuery->dataset($datasetId);
$table = $dataset->table('us_states');

// create the import job
$gcsUri = 'gs://cloud-samples-data/bigquery/us-states/us-states.csv';
$schema = [
    'fields' => [
        ['name' => 'name', 'type' => 'string'],
        ['name' => 'post_abbr', 'type' => 'string']
    ]
];
$loadConfig = $table->loadFromStorage($gcsUri)->schema($schema)->skipLeadingRows(1);
$job = $table->runJob($loadConfig);
// poll the job until it is complete
$backoff = new ExponentialBackoff(10);
$backoff->execute(function () use ($job) {
    print('Waiting for job to complete' . PHP_EOL);
    $job->reload();
    if (!$job->isComplete()) {
        throw new Exception('Job has not yet completed', 500);
    }
});
// check if the job has errors
if (isset($job->info()['status']['errorResult'])) {
    $error = $job->info()['status']['errorResult']['message'];
    printf('Error running job: %s' . PHP_EOL, $error);
} else {
    print('Data imported successfully' . PHP_EOL);
}

Python

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

# TODO(developer): Set table_id to the ID of the table to create.
# table_id = "your-project.your_dataset.your_table_name"

job_config = bigquery.LoadJobConfig(
    schema=[
        bigquery.SchemaField("name", "STRING"),
        bigquery.SchemaField("post_abbr", "STRING"),
    ],
    skip_leading_rows=1,
    # The source format defaults to CSV, so the line below is optional.
    source_format=bigquery.SourceFormat.CSV,
)
uri = "gs://cloud-samples-data/bigquery/us-states/us-states.csv"

load_job = client.load_table_from_uri(
    uri, table_id, job_config=job_config
)  # Make an API request.

load_job.result()  # Waits for the job to complete.

destination_table = client.get_table(table_id)  # Make an API request.
print("Loaded {} rows.".format(destination_table.num_rows))

Ruby

require "google/cloud/bigquery"

def load_table_gcs_csv dataset_id = "your_dataset_id"
  bigquery = Google::Cloud::Bigquery.new
  dataset  = bigquery.dataset dataset_id
  gcs_uri  = "gs://cloud-samples-data/bigquery/us-states/us-states.csv"
  table_id = "us_states"

  load_job = dataset.load_job table_id, gcs_uri, skip_leading: 1 do |schema|
    schema.string "name"
    schema.string "post_abbr"
  end
  puts "Starting job #{load_job.job_id}"

  load_job.wait_until_done! # Waits for table load to complete.
  puts "Job finished."

  table = dataset.table table_id
  puts "Loaded #{table.rows_count} rows to table #{table.id}"
end

Go

Antes de experimentar este exemplo, siga as Goinstruções de configuração no início rápido do BigQuery com bibliotecas cliente. Para mais informações, consulte a API Go BigQuery documentação de referência.

Para se autenticar no BigQuery, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para bibliotecas de cliente.

Antes de executar exemplos de código, defina a variável GOOGLE_CLOUD_UNIVERSE_DOMAIN environment como s3nsapis.fr.

import (
	"context"
	"fmt"
	"time"

	"cloud.google.com/go/bigquery"
)

// importPartitionedTable demonstrates specifing time partitioning for a BigQuery table when loading
// CSV data from Cloud Storage.
func importPartitionedTable(projectID, destDatasetID, destTableID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	// tableID := "mytable"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	gcsRef := bigquery.NewGCSReference("gs://cloud-samples-data/bigquery/us-states/us-states-by-date.csv")
	gcsRef.SkipLeadingRows = 1
	gcsRef.Schema = bigquery.Schema{
		{Name: "name", Type: bigquery.StringFieldType},
		{Name: "post_abbr", Type: bigquery.StringFieldType},
		{Name: "date", Type: bigquery.DateFieldType},
	}
	loader := client.Dataset(destDatasetID).Table(destTableID).LoaderFrom(gcsRef)
	loader.TimePartitioning = &bigquery.TimePartitioning{
		Field:      "date",
		Expiration: 90 * 24 * time.Hour,
	}
	loader.WriteDisposition = bigquery.WriteEmpty

	job, err := loader.Run(ctx)
	if err != nil {
		return err
	}
	status, err := job.Wait(ctx)
	if err != nil {
		return err
	}

	if status.Err() != nil {
		return fmt.Errorf("job completed with error: %v", status.Err())
	}
	return nil
}

Java

Antes de experimentar este exemplo, siga as Javainstruções de configuração no início rápido do BigQuery com bibliotecas cliente. Para mais informações, consulte a API Java BigQuery documentação de referência.

Para se autenticar no BigQuery, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para bibliotecas de cliente.

Antes de executar exemplos de código, defina a variável GOOGLE_CLOUD_UNIVERSE_DOMAIN environment como s3nsapis.fr.

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Field;
import com.google.cloud.bigquery.FormatOptions;
import com.google.cloud.bigquery.Job;
import com.google.cloud.bigquery.JobId;
import com.google.cloud.bigquery.JobInfo;
import com.google.cloud.bigquery.LoadJobConfiguration;
import com.google.cloud.bigquery.Schema;
import com.google.cloud.bigquery.StandardSQLTypeName;
import com.google.cloud.bigquery.TableId;
import com.google.cloud.bigquery.TimePartitioning;
import java.time.Duration;
import java.time.temporal.ChronoUnit;
import java.util.UUID;

public class LoadPartitionedTable {

  public static void runLoadPartitionedTable() throws Exception {
    // TODO(developer): Replace these variables before running the sample.
    String datasetName = "MY_DATASET_NAME";
    String tableName = "MY_TABLE_NAME";
    String sourceUri = "/path/to/file.csv";
    loadPartitionedTable(datasetName, tableName, sourceUri);
  }

  public static void loadPartitionedTable(String datasetName, String tableName, String sourceUri)
      throws Exception {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      TableId tableId = TableId.of(datasetName, tableName);

      Schema schema =
          Schema.of(
              Field.of("name", StandardSQLTypeName.STRING),
              Field.of("post_abbr", StandardSQLTypeName.STRING),
              Field.of("date", StandardSQLTypeName.DATE));

      // Configure time partitioning. For full list of options, see:
      // https://cloud.google.com/bigquery/docs/reference/rest/v2/tables#TimePartitioning
      TimePartitioning partitioning =
          TimePartitioning.newBuilder(TimePartitioning.Type.DAY)
              .setField("date")
              .setExpirationMs(Duration.of(90, ChronoUnit.DAYS).toMillis())
              .build();

      LoadJobConfiguration loadJobConfig =
          LoadJobConfiguration.builder(tableId, sourceUri)
              .setFormatOptions(FormatOptions.csv())
              .setSchema(schema)
              .setTimePartitioning(partitioning)
              .build();

      // Create a job ID so that we can safely retry.
      JobId jobId = JobId.of(UUID.randomUUID().toString());
      Job loadJob = bigquery.create(JobInfo.newBuilder(loadJobConfig).setJobId(jobId).build());

      // Load data from a GCS parquet file into the table
      // Blocks until this load table job completes its execution, either failing or succeeding.
      Job completedJob = loadJob.waitFor();

      // Check for errors
      if (completedJob == null) {
        throw new Exception("Job not executed since it no longer exists.");
      } else if (completedJob.getStatus().getError() != null) {
        // You can also look at queryJob.getStatus().getExecutionErrors() for all
        // errors, not just the latest one.
        throw new Exception(
            "BigQuery was unable to load into the table due to an error: \n"
                + loadJob.getStatus().getError());
      }
      System.out.println("Data successfully loaded into time partitioned table during load job");
    } catch (BigQueryException | InterruptedException e) {
      System.out.println(
          "Data not loaded into time partitioned table during load job \n" + e.toString());
    }
  }
}

Node.js

Antes de experimentar este exemplo, siga as Node.jsinstruções de configuração no início rápido do BigQuery com bibliotecas cliente. Para mais informações, consulte a API Node.js BigQuery documentação de referência.

Para se autenticar no BigQuery, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para bibliotecas de cliente.

Antes de executar exemplos de código, defina a variável GOOGLE_CLOUD_UNIVERSE_DOMAIN environment como s3nsapis.fr.

// Import the Google Cloud client libraries
const {BigQuery} = require('@google-cloud/bigquery');
const {Storage} = require('@google-cloud/storage');

// Instantiate clients
const bigquery = new BigQuery();
const storage = new Storage();

/**
 * This sample loads the CSV file at
 * https://storage.googleapis.com/cloud-samples-data/bigquery/us-states/us-states.csv
 *
 * TODO(developer): Replace the following lines with the path to your file.
 */
const bucketName = 'cloud-samples-data';
const filename = 'bigquery/us-states/us-states-by-date.csv';

async function loadTablePartitioned() {
  // Load data into a table that uses column-based time partitioning.

  /**
   * TODO(developer): Uncomment the following lines before running the sample.
   */
  // const datasetId = 'my_dataset';
  // const tableId = 'my_new_table';

  // Configure the load job. For full list of options, see:
  // https://cloud.google.com/bigquery/docs/reference/rest/v2/Job#JobConfigurationLoad
  const partitionConfig = {
    type: 'DAY',
    expirationMs: '7776000000', // 90 days
    field: 'date',
  };

  const metadata = {
    sourceFormat: 'CSV',
    skipLeadingRows: 1,
    schema: {
      fields: [
        {name: 'name', type: 'STRING'},
        {name: 'post_abbr', type: 'STRING'},
        {name: 'date', type: 'DATE'},
      ],
    },
    location: 'US',
    timePartitioning: partitionConfig,
  };

  // Load data from a Google Cloud Storage file into the table
  const [job] = await bigquery
    .dataset(datasetId)
    .table(tableId)
    .load(storage.bucket(bucketName).file(filename), metadata);

  // load() waits for the job to finish
  console.log(`Job ${job.id} completed.`);
}

Python

Antes de experimentar este exemplo, siga as Pythoninstruções de configuração no início rápido do BigQuery com bibliotecas cliente. Para mais informações, consulte a API Python BigQuery documentação de referência.

Para se autenticar no BigQuery, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para bibliotecas de cliente.

Antes de executar exemplos de código, defina a variável GOOGLE_CLOUD_UNIVERSE_DOMAIN environment como s3nsapis.fr.

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

# TODO(developer): Set table_id to the ID of the table to create.
# table_id = "your-project.your_dataset.your_table_name"

job_config = bigquery.LoadJobConfig(
    schema=[
        bigquery.SchemaField("name", "STRING"),
        bigquery.SchemaField("post_abbr", "STRING"),
        bigquery.SchemaField("date", "DATE"),
    ],
    skip_leading_rows=1,
    time_partitioning=bigquery.TimePartitioning(
        type_=bigquery.TimePartitioningType.DAY,
        field="date",  # Name of the column to use for partitioning.
        expiration_ms=7776000000,  # 90 days.
    ),
)
uri = "gs://cloud-samples-data/bigquery/us-states/us-states-by-date.csv"

load_job = client.load_table_from_uri(
    uri, table_id, job_config=job_config
)  # Make an API request.

load_job.result()  # Wait for the job to complete.

table = client.get_table(table_id)
print("Loaded {} rows to table {}".format(table.num_rows, table_id))

Consola

1. Na Trusted Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No painel Explorador, expanda o seu projeto e, de seguida, selecione um conjunto de dados.
3. Na secção Informações do conjunto de dados, clique em add_box Criar tabela.
4. No painel Criar tabela, especifique os seguintes detalhes:
1. Na secção Origem, selecione Google Cloud Storage na lista Criar tabela a partir de. Em seguida, faça o seguinte:
   1. Selecione um ficheiro do contentor do Cloud Storage ou introduza o URI do Cloud Storage. Não pode incluir vários URIs na Trusted Cloud consola, mas os carateres universais são suportados. O contentor do Cloud Storage tem de estar na mesma localização que o conjunto de dados que contém a tabela que quer criar, acrescentar ou substituir.
   2. Em Formato de ficheiro, selecione CSV.
2. Na secção Destino, especifique os seguintes detalhes:
   1. Para Conjunto de dados, selecione o conjunto de dados no qual quer criar a tabela.
   2. No campo Tabela, introduza o nome da tabela que quer criar.
   3. Verifique se o campo Tipo de tabela está definido como Tabela nativa.
3. Na secção Esquema, introduza a definição do esquema. Para ativar a deteção automática de um esquema, selecione Deteção automática. Pode introduzir manualmente informações do esquema através de um dos seguintes métodos:
   • Opção 1: clique em Editar como texto e cole o esquema sob a forma de uma matriz JSON. Quando usa uma matriz JSON, gera o esquema através do mesmo processo que criar um ficheiro de esquema JSON. Pode ver o esquema de uma tabela existente no formato JSON introduzindo o seguinte comando:

         bq show --format=prettyjson dataset.table
         

   • Opção 2: clique em add_box Adicionar campo e introduza o esquema da tabela. Especifique o Nome, Tipo e Modo de cada campo.
4. Opcional: especifique as definições de partição e cluster. Para mais informações, consulte os artigos Criar tabelas particionadas e Criar e usar tabelas agrupadas. Não pode converter uma tabela numa tabela particionada ou agrupada anexando-a ou substituindo-a. A Trusted Cloud consola não suporta a anexação nem a substituição de tabelas particionadas ou agrupadas num trabalho de carregamento.
5. Clique em Opções avançadas e faça o seguinte:
   • Para Preferência de escrita, escolha Anexar à tabela ou Substituir tabela.
   • Para Número de erros permitidos, aceite o valor predefinido de 0 ou introduza o número máximo de linhas com erros que podem ser ignorados. Se o número de linhas com erros exceder este valor, a tarefa vai gerar uma mensagem invalid e falhar. Esta opção aplica-se apenas a ficheiros CSV e JSON.
   • Em Fuso horário, introduza o fuso horário predefinido que vai ser aplicado quando analisar valores de data/hora que não tenham um fuso horário específico. Consulte aqui mais nomes de fusos horários válidos. Se este valor não estiver presente, os valores de data/hora sem um fuso horário específico são analisados através do fuso horário predefinido UTC. (Pré-visualizar).
   • Para Formato de data, introduza os elementos de formato que definem como os valores DATE são formatados nos ficheiros de entrada. Este campo espera o formato de estilos SQL (por exemplo, MM/DD/YYYY). Se este valor estiver presente, este formato é o único formato DATE compatível. A deteção automática de esquemas também decide o tipo de coluna DATE com base neste formato, em vez do formato existente. Se este valor não estiver presente, o campo DATE é analisado com os formatos predefinidos. (Pré-visualizar).
   • Para Formato de data/hora, introduza os elementos de formato que definem como os valores DATETIME são formatados nos ficheiros de entrada. Este campo espera o formato de estilos SQL (por exemplo, MM/DD/YYYY HH24:MI:SS.FF3). Se este valor estiver presente, este formato é o único formato DATETIME compatível. A deteção automática do esquema também decide o tipo de coluna DATETIME com base neste formato, em vez do formato existente. Se este valor não estiver presente, o campo DATETIME é analisado com os formatos predefinidos. (Pré-visualizar).
   • Para Formato de hora, introduza os elementos de formato que definem como os valores de TIME são formatados nos ficheiros de entrada. Este campo espera o formato de estilos SQL (por exemplo, HH24:MI:SS.FF3). Se este valor estiver presente, este formato é o único formato de TIME compatível. A deteção automática do esquema também decide o tipo de coluna TIME com base neste formato, em vez do formato existente. Se este valor não estiver presente, o campo TIME é analisado com os formatos predefinidos. (Pré-visualizar).
   • Para o Formato de data/hora, introduza os elementos de formato que definem como os valores de data/hora são formatados nos ficheiros de entrada. Este campo espera o formato de estilos SQL (por exemplo, MM/DD/YYYY HH24:MI:SS.FF3). Se este valor estiver presente, este formato é o único formato TIMESTAMP compatível. A deteção automática do esquema também decide o tipo de coluna TIMESTAMP com base neste formato, em vez do formato existente. Se este valor não estiver presente, o campo TIMESTAMP é analisado com os formatos predefinidos. (Pré-visualizar).
   • Se quiser ignorar valores numa linha que não estejam presentes no esquema da tabela, selecione Valores desconhecidos.
   • Para Delimitador de campo, escolha o caráter que separa as células no seu ficheiro CSV: Vírgula, Tabulação, Barra vertical ou Personalizado. Se escolher Personalizado, introduza o delimitador na caixa Delimitador de campo personalizado. O valor predefinido é Comma.
   • Para Correspondência de colunas de origem, escolha uma das seguintes estratégias usadas para fazer corresponder as colunas carregadas ao esquema (Pré-visualização).
   • Default: o comportamento predefinido é escolhido com base na forma como o esquema é fornecido. Se a deteção automática estiver ativada, o comportamento predefinido é fazer a correspondência das colunas por nome. Caso contrário, a predefinição é fazer a correspondência das colunas por posição. Isto é feito para manter o comportamento retrocompatível.
   • Position: faz corresponder as colunas por posição, partindo do princípio de que as colunas estão ordenadas da mesma forma que o esquema.
   • Name: corresponde por nome lendo a linha de cabeçalho como os nomes das colunas e reordenando as colunas para corresponder aos nomes dos campos no esquema. Os nomes das colunas são lidos a partir da última linha ignorada com base em Linhas de cabeçalho a ignorar.
   • Para Linhas de cabeçalho a ignorar, introduza o número de linhas de cabeçalho a ignorar na parte superior do ficheiro CSV. O valor predefinido é 0.
   • Para Novas linhas entre aspas, selecione Permitir novas linhas entre aspas para permitir secções de dados entre aspas que contenham carateres de nova linha num ficheiro CSV. O valor predefinido é false.
   • Para Linhas irregulares, selecione Permitir linhas irregulares para aceitar linhas em ficheiros CSV que não tenham colunas opcionais finais. Os valores em falta são tratados como nulos. Se esta opção não estiver selecionada, os registos com colunas finais em falta são tratados como registos inválidos e, se existirem demasiados registos inválidos, é devolvido um erro inválido no resultado da tarefa. O valor predefinido é false.
   • Para Marcadores nulos, introduza uma lista de strings personalizadas que representam um valor NULL nos dados CSV. (Pré-visualizar).
   • Para Encriptação, clique em Chave gerida pelo cliente para usar uma chave do Cloud Key Management Service. Se deixar a definição Google Cloud-powered key, o BigQuery encripta os dados em repouso.
6. Clique em Criar tabela.

SQL

Use a LOAD DATA declaração DDL. O exemplo seguinte anexa um ficheiro CSV à tabela mytable:

1. Na Trusted Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, introduza a seguinte declaração:

   LOAD DATA INTO mydataset.mytable
   FROM FILES (
     format = 'CSV',
     uris = ['gs://bucket/path/file.csv']);

3. Clique em play_circle Executar.

Para mais informações sobre como executar consultas, consulte o artigo Execute uma consulta interativa.

bq

Use o comando bq load, especifique CSV usando a flag --source_format e inclua um URI do Cloud Storage. Pode incluir um único URI, uma lista de URIs separados por vírgulas ou um URI que contenha um caractere universal.

Forneça o esquema inline, num ficheiro de definição do esquema ou use a deteção automática de esquemas. Se não especificar um esquema e --autodetect for false, e a tabela de destino existir, é usado o esquema da tabela de destino.

Especifique a flag --replace para substituir a tabela. Use a flag --noreplace para anexar dados à tabela. Se não for especificada nenhuma flag, a predefinição é anexar dados.

É possível modificar o esquema da tabela quando a acrescenta ou substitui. Para mais informações sobre as alterações ao esquema suportadas durante uma operação de carregamento, consulte o artigo Modificar esquemas de tabelas.

(Opcional) Forneça a flag --location e defina o valor para a sua localização.

Outras flags opcionais incluem:

• --allow_jagged_rows: quando especificado, aceita linhas em ficheiros CSV que não tenham colunas opcionais finais. Os valores em falta são tratados como nulos. Se a caixa não estiver selecionada, os registos com colunas finais em falta são tratados como registos inválidos e, se existirem demasiados registos inválidos, é devolvido um erro inválido no resultado da tarefa. O valor predefinido é false.
• --allow_quoted_newlines: quando especificado, permite secções de dados entre aspas que contenham carateres de nova linha num ficheiro CSV. O valor predefinido é false.
• --field_delimiter: o caráter que indica o limite entre as colunas nos dados. São permitidos \t e tab para delimitadores de tabulações. O valor predefinido é ,.
• --null_marker: uma string personalizada opcional que representa um valor NULL nos dados CSV.
• --null_markers: (Pré-visualização) Uma lista opcional de strings personalizadas separadas por vírgulas que representam valores NULL nos dados CSV. Não é possível usar esta opção com a flag --null_marker.
• --source_column_match: (Pré-visualização) Especifica a estratégia usada para fazer corresponder as colunas carregadas ao esquema. Pode especificar POSITION para fazer corresponder as colunas carregadas por posição, partindo do princípio de que as colunas estão ordenadas da mesma forma que o esquema. Também pode especificar NAME para fazer a correspondência por nome lendo a linha de cabeçalho como os nomes das colunas e reordenando as colunas para corresponder aos nomes dos campos no esquema. Se este valor não for especificado, o valor predefinido baseia-se na forma como o esquema é fornecido. Se a política --autodetect estiver ativada, o comportamento predefinido é fazer a correspondência das colunas por nome. Caso contrário, a predefinição é fazer a correspondência das colunas por posição.
• --skip_leading_rows: Especifica o número de linhas de cabeçalho a ignorar na parte superior do ficheiro CSV. O valor predefinido é 0.
• --quote: o caráter de aspas a usar para incluir registos. O valor predefinido é ". Para indicar que não existe um caráter de aspas, use uma string vazia.
• --max_bad_records: um número inteiro que especifica o número máximo de registos inválidos permitidos antes de toda a tarefa falhar. O valor predefinido é 0. São devolvidos, no máximo, cinco erros de qualquer tipo, independentemente do valor de --max_bad_records.
• --ignore_unknown_values: quando especificado, permite e ignora valores adicionais não reconhecidos em dados CSV ou JSON.
• --time_zone: (Pré-visualização) Um fuso horário predefinido opcional que é aplicado ao analisar valores de data/hora que não têm um fuso horário específico nos dados CSV ou JSON.
• --date_format: (Pré-visualização) Uma string personalizada opcional que define como os valores DATE são formatados nos dados CSV ou JSON.
• --datetime_format: (Pré-visualização) Uma string personalizada opcional que define como os valores DATETIME são formatados em dados CSV ou JSON.
• --time_format: (Pré-visualização) Uma string personalizada opcional que define como os valores TIME são formatados nos dados CSV ou JSON.
• --timestamp_format: (Pré-visualização) Uma string personalizada opcional que define como os valores de TIMESTAMP são formatados nos dados CSV ou JSON.
• --autodetect: Quando especificado, ativa a deteção automática de esquemas para dados CSV e JSON.
• --destination_kms_key: a chave do Cloud KMS para a encriptação dos dados da tabela.

bq --location=location load \
--[no]replace \
--source_format=format \
dataset.table \
path_to_source \
schema

where:

• location é a sua localização. A flag --location é opcional. Pode predefinir um valor para a localização através do ficheiro.bigqueryrc.
• format é CSV.
• dataset é um conjunto de dados existente.
• table é o nome da tabela para a qual está a carregar dados.
• path_to_source é um URI do Cloud Storage totalmente qualificado ou uma lista de URIs separados por vírgulas. Os carateres universais também são suportados.
• schema é um esquema válido. O esquema pode ser um ficheiro JSON local ou pode ser introduzido inline como parte do comando. Também pode usar a flag --autodetect em vez de fornecer uma definição de esquema.

Exemplos:

O comando seguinte carrega dados de gs://mybucket/mydata.csv e substitui uma tabela denominada mytable em mydataset. O esquema é definido através da deteção automática de esquemas.

    bq load \
    --autodetect \
    --replace \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv

O comando seguinte carrega dados de gs://mybucket/mydata.csv e anexa dados a uma tabela denominada mytable em mydataset. O esquema é definido através de um ficheiro de esquema JSON: myschema.json.

    bq load \
    --noreplace \
    --source_format=CSV \
    mydataset.mytable \
    gs://mybucket/mydata.csv \
    ./myschema.json

API

1. Crie uma tarefa load que aponte para os dados de origem no Cloud Storage.

2. (Opcional) Especifique a sua localização na propriedade location na secção jobReference do recurso de emprego.

3. A propriedade source URIs tem de ser totalmente qualificada, no formato gs://bucket/object. Pode incluir vários URIs como uma lista separada por vírgulas. Tenha em atenção que os carateres universais também são suportados.

4. Especifique o formato de dados definindo a propriedade configuration.load.sourceFormat como CSV.

5. Especifique a preferência de escrita definindo a propriedade configuration.load.writeDisposition como WRITE_TRUNCATE ou WRITE_APPEND.

Go

import (
	"context"
	"fmt"

	"cloud.google.com/go/bigquery"
)

// importCSVTruncate demonstrates loading data from CSV data in Cloud Storage and overwriting/truncating
// data in the existing table.
func importCSVTruncate(projectID, datasetID, tableID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	// tableID := "mytable"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	gcsRef := bigquery.NewGCSReference("gs://cloud-samples-data/bigquery/us-states/us-states.csv")
	gcsRef.SourceFormat = bigquery.CSV
	gcsRef.AutoDetect = true
	gcsRef.SkipLeadingRows = 1
	loader := client.Dataset(datasetID).Table(tableID).LoaderFrom(gcsRef)
	loader.WriteDisposition = bigquery.WriteTruncate

	job, err := loader.Run(ctx)
	if err != nil {
		return err
	}
	status, err := job.Wait(ctx)
	if err != nil {
		return err
	}

	if status.Err() != nil {
		return fmt.Errorf("job completed with error: %v", status.Err())
	}
	return nil
}

Java

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.FormatOptions;
import com.google.cloud.bigquery.Job;
import com.google.cloud.bigquery.JobInfo;
import com.google.cloud.bigquery.JobInfo.WriteDisposition;
import com.google.cloud.bigquery.LoadJobConfiguration;
import com.google.cloud.bigquery.TableId;

// Sample to overwrite the BigQuery table data by loading a CSV file from GCS
public class LoadCsvFromGcsTruncate {

  public static void runLoadCsvFromGcsTruncate() throws Exception {
    // TODO(developer): Replace these variables before running the sample.
    String datasetName = "MY_DATASET_NAME";
    String tableName = "MY_TABLE_NAME";
    String sourceUri = "gs://cloud-samples-data/bigquery/us-states/us-states.csv";
    loadCsvFromGcsTruncate(datasetName, tableName, sourceUri);
  }

  public static void loadCsvFromGcsTruncate(String datasetName, String tableName, String sourceUri)
      throws Exception {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      TableId tableId = TableId.of(datasetName, tableName);

      LoadJobConfiguration configuration =
          LoadJobConfiguration.builder(tableId, sourceUri)
              .setFormatOptions(FormatOptions.csv())
              // Set the write disposition to overwrite existing table data
              .setWriteDisposition(WriteDisposition.WRITE_TRUNCATE)
              .build();

      // For more information on Job see:
      // https://googleapis.dev/java/google-cloud-clients/latest/index.html?com/google/cloud/bigquery/package-summary.html
      // Load the table
      Job loadJob = bigquery.create(JobInfo.of(configuration));

      // Load data from a GCS parquet file into the table
      // Blocks until this load table job completes its execution, either failing or succeeding.
      Job completedJob = loadJob.waitFor();

      // Check for errors
      if (completedJob == null) {
        throw new Exception("Job not executed since it no longer exists.");
      } else if (completedJob.getStatus().getError() != null) {
        // You can also look at queryJob.getStatus().getExecutionErrors() for all
        // errors, not just the latest one.
        throw new Exception(
            "BigQuery was unable to load into the table due to an error: \n"
                + loadJob.getStatus().getError());
      }
      System.out.println("Table is successfully overwritten by CSV file loaded from GCS");
    } catch (BigQueryException | InterruptedException e) {
      System.out.println("Column not added during load append \n" + e.toString());
    }
  }
}

Node.js

// Import the Google Cloud client libraries
const {BigQuery} = require('@google-cloud/bigquery');
const {Storage} = require('@google-cloud/storage');

// Instantiate clients
const bigquery = new BigQuery();
const storage = new Storage();

/**
 * This sample loads the CSV file at
 * https://storage.googleapis.com/cloud-samples-data/bigquery/us-states/us-states.csv
 *
 * TODO(developer): Replace the following lines with the path to your file.
 */
const bucketName = 'cloud-samples-data';
const filename = 'bigquery/us-states/us-states.csv';

async function loadCSVFromGCSTruncate() {
  /**
   * Imports a GCS file into a table and overwrites
   * table data if table already exists.
   */

  /**
   * TODO(developer): Uncomment the following lines before running the sample.
   */
  // const datasetId = 'my_dataset';
  // const tableId = 'my_table';

  // Configure the load job. For full list of options, see:
  // https://cloud.google.com/bigquery/docs/reference/rest/v2/Job#JobConfigurationLoad
  const metadata = {
    sourceFormat: 'CSV',
    skipLeadingRows: 1,
    schema: {
      fields: [
        {name: 'name', type: 'STRING'},
        {name: 'post_abbr', type: 'STRING'},
      ],
    },
    // Set the write disposition to overwrite existing table data.
    writeDisposition: 'WRITE_TRUNCATE',
    location: 'US',
  };

  // Load data from a Google Cloud Storage file into the table
  const [job] = await bigquery
    .dataset(datasetId)
    .table(tableId)
    .load(storage.bucket(bucketName).file(filename), metadata);
  // load() waits for the job to finish
  console.log(`Job ${job.id} completed.`);

  // Check the job's status for errors
  const errors = job.status.errors;
  if (errors && errors.length > 0) {
    throw errors;
  }
}

use Google\Cloud\BigQuery\BigQueryClient;
use Google\Cloud\Core\ExponentialBackoff;

/** Uncomment and populate these variables in your code */
// $projectId = 'The Google project ID';
// $datasetId = 'The BigQuery dataset ID';
// $tableId = 'The BigQuery table ID';

// instantiate the bigquery table service
$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);
$table = $bigQuery->dataset($datasetId)->table($tableId);

// create the import job
$gcsUri = 'gs://cloud-samples-data/bigquery/us-states/us-states.csv';
$loadConfig = $table->loadFromStorage($gcsUri)->skipLeadingRows(1)->writeDisposition('WRITE_TRUNCATE');
$job = $table->runJob($loadConfig);

// poll the job until it is complete
$backoff = new ExponentialBackoff(10);
$backoff->execute(function () use ($job) {
    print('Waiting for job to complete' . PHP_EOL);
    $job->reload();
    if (!$job->isComplete()) {
        throw new Exception('Job has not yet completed', 500);
    }
});

// check if the job has errors
if (isset($job->info()['status']['errorResult'])) {
    $error = $job->info()['status']['errorResult']['message'];
    printf('Error running job: %s' . PHP_EOL, $error);
} else {
    print('Data imported successfully' . PHP_EOL);
}

Python

import six

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

# TODO(developer): Set table_id to the ID of the table to create.
# table_id = "your-project.your_dataset.your_table_name

job_config = bigquery.LoadJobConfig(
    schema=[
        bigquery.SchemaField("name", "STRING"),
        bigquery.SchemaField("post_abbr", "STRING"),
    ],
)

body = six.BytesIO(b"Washington,WA")
client.load_table_from_file(body, table_id, job_config=job_config).result()
previous_rows = client.get_table(table_id).num_rows
assert previous_rows > 0

job_config = bigquery.LoadJobConfig(
    write_disposition=bigquery.WriteDisposition.WRITE_TRUNCATE,
    source_format=bigquery.SourceFormat.CSV,
    skip_leading_rows=1,
)

uri = "gs://cloud-samples-data/bigquery/us-states/us-states.csv"
load_job = client.load_table_from_uri(
    uri, table_id, job_config=job_config
)  # Make an API request.

load_job.result()  # Waits for the job to complete.

destination_table = client.get_table(table_id)
print("Loaded {} rows.".format(destination_table.num_rows))