Carregue dados do MySQL para o BigQuery

Pode carregar dados do MySQL para o BigQuery através do conetor do Serviço de transferência de dados do BigQuery para o MySQL. Suporta instâncias do MySQL alojadas no seu ambiente local, no Cloud SQL e noutros fornecedores de nuvem pública, como os serviços Web da Amazon (AWS) e o Microsoft Azure. Com o Serviço de transferência de dados do BigQuery, pode agendar tarefas de transferência recorrentes que adicionam os seus dados mais recentes do MySQL ao BigQuery.

Antes de começar

• Crie um utilizador na base de dados do MySQL.
• Verifique se concluiu todas as ações necessárias para ativar o Serviço de transferência de dados do BigQuery.
• Crie um conjunto de dados do BigQuery para armazenar os seus dados.
• Verifique se tem as funções necessárias para concluir as tarefas descritas neste documento.

Funções necessárias

Se pretender configurar notificações de execução de transferências para o Pub/Sub, certifique-se de que tem a autorização de pubsub.topics.setIamPolicygestão de identidade e de acesso (IAM) . Não são necessárias autorizações do Pub/Sub se configurar apenas notificações por email. Para mais informações, consulte o artigo Notificações de execução do Serviço de transferência de dados do BigQuery.

Para receber as autorizações de que precisa para criar uma transferência de dados do MySQL, peça ao seu administrador para lhe conceder a função do IAM de administrador do BigQuery (roles/bigquery.admin) no seu projeto. Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Esta função predefinida contém as autorizações necessárias para criar uma transferência de dados do MySQL. Para ver as autorizações exatas que são necessárias, expanda a secção Autorizações necessárias:

Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.

Ligações de rede

Se não estiver disponível um endereço IP público para a ligação à base de dados MySQL, tem de configurar uma associação de rede.

Para ver instruções detalhadas sobre a configuração de rede necessária, consulte os seguintes documentos:

• Se estiver a fazer a transferência a partir do Cloud SQL, consulte o artigo Configurar o acesso à instância do Cloud SQL.
• Se estiver a fazer a transferência a partir da AWS, consulte o artigo Configure a VPN e um anexo de rede da AWS.Trusted Cloud
• Se estiver a fazer a transferência a partir do Azure, consulte o artigo Configure a VPN do Azure e a associação de rede.Trusted Cloud

Limitações

As transferências de dados do MySQL estão sujeitas às seguintes limitações:

• O número máximo de ligações simultâneas a uma base de dados MySQL é determinado pelo parâmetro de configuração do MySQL max_connections. Por predefinição, este valor está definido como 151 ligações, mas pode ser configurado para um limite superior, conforme necessário. Como resultado, o número de execuções de transferência simultâneas para uma única base de dados MySQL está limitado a esse valor máximo. Esta limitação também significa que o número de tarefas de transferência simultâneas deve ser limitado a um valor inferior ao número máximo de ligações simultâneas suportadas pela base de dados MySQL.
• No MySQL, alguns tipos de dados são mapeados para o tipo de string no BigQuery para evitar qualquer perda de dados. Por exemplo, os tipos numéricos definidos no MySQL que não têm uma precisão e uma escala definidas são mapeados para o tipo de string no BigQuery.
• Uma única configuração de transferência só pode suportar uma execução de transferência de dados num determinado momento. No caso em que uma segunda transferência de dados esteja agendada para ser executada antes de a primeira transferência estar concluída, apenas a primeira transferência de dados é concluída, enquanto todas as outras transferências de dados que se sobreponham à primeira transferência são ignoradas.
  • Para evitar transferências ignoradas numa única configuração de transferência, recomendamos que aumente a duração do tempo entre transferências de dados grandes configurando a frequência de repetição.

Carregue dados do MySQL para o BigQuery

Adicione dados do MySQL ao BigQuery configurando uma configuração de transferência através de uma das seguintes opções:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

bq mk
    --transfer_config
    --target_dataset=mydataset
    --data_source=mysql
    --display_name='My Transfer'
    --params='{"assets":["DB1/DEPARTMENT","DB1/EMPLOYEES"],
        "connector.authentication.username": "User1",
        "connector.authentication.password":"ABC12345",
        "connector.encryptionMode":"FULL",
        "connector.database":"DB1",
        "connector.endpoint.host":"54.74.220.23",
        "connector.endpoint.port":3306}'

Para executar manualmente uma transferência de dados fora da sua programação normal, pode iniciar uma execução de preenchimento.

Mapeamento de tipos de dados

A tabela seguinte mapeia os tipos de dados do MySQL para os tipos de dados do BigQuery correspondentes.

Resolver problemas

Se estiver a ter problemas com a configuração da transferência de dados, consulte a secção Problemas de transferência do MySQL.

O que se segue?

• Para uma vista geral do Serviço de transferência de dados do BigQuery, consulte o artigo O que é o Serviço de transferência de dados do BigQuery?.
• Para obter informações sobre a utilização de transferências, incluindo a obtenção de informações sobre uma configuração de transferência, a apresentação de configurações de transferência e a visualização do histórico de execução de uma transferência, consulte o artigo Faça a gestão das transferências.
• Saiba como carregar dados com operações em várias nuvens.