Replicação a partir de um servidor externo (v1)

Esta página descreve como criar uma configuração que replica dados de um servidor de base de dados de origem para réplicas do MySQL.

O servidor de base de dados de origem pode ser qualquer servidor MySQL que cumpra todos os requisitos do servidor, incluindo instâncias do Cloud SQL. As instâncias alojadas por outros fornecedores de nuvem também podem servir como origem de dados, desde que cumpram os requisitos, incluindo o suporte de GTID.

Para obter informações mais detalhadas sobre esta configuração, consulte o artigo Acerca da replicação a partir de um servidor externo.

Antes de começar

Antes de configurar a replicação a partir de um servidor externo, tem de concluir os seguintes passos:

• In the Trusted Cloud console, on the project selector page, select or create a Trusted Cloud project.

  Roles required to select or create a project

  • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
  • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

  Go to project selector

• Verify that billing is enabled for your Trusted Cloud project.

• Enable the Cloud SQL Admin API.

  Roles required to enable APIs

  To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

  Enable the API

• Instale e autentique a CLI gcloud.
• Certifique-se de que o servidor cumpre os requisitos do servidor da base de dados de origem.
• Determine o nível de segurança necessário para as ligações entre a instância principal e a réplica, e obtenha os ficheiros de certificado necessários.
• Decida que Trusted Cloud região quer usar para conter a sua réplica do Cloud SQL.

• Reúna as informações necessárias sobre o servidor da base de dados de origem:

  • Endereço IPv4 externo e número da porta

    Por predefinição, o MySQL usa a porta 3306.

  • Nome de utilizador e palavra-passe da conta de utilizador da replicação do MySQL
  • Número da versão do MySQL
  • Localização de todos os certificados e chaves SSL/TLS necessários, consoante o nível de segurança que selecionou

• Prepare-se para atualizar a firewall de rede do servidor da base de dados de origem para aceitar ligações da réplica do Cloud SQL.

  Este passo tem de ser concluído no prazo de 30 minutos após a criação da réplica.

• Se não for proprietário do projeto, tem de ter a função Storage Admin.

Requisitos para o servidor da base de dados de origem

Antes de poder replicar a partir de um servidor externo para uma réplica do Cloud SQL, certifique-se de que o servidor da base de dados de origem cumpre estes requisitos de configuração:

• Executar o MySQL Community Edition, versão 5.6 ou 5.7.

• Registos binários ativados. Saiba mais.

• Os registos binários foram retidos durante tempo suficiente para que a réplica concluísse a importação.

  Geralmente, uma semana é suficiente. Saiba mais sobre a definição da política de retenção de registos binários.

• Usar o registo binário baseado em linhas. Saiba mais.

• O GTID está ativado e a consistência do GTID é aplicada.

  Saiba mais acerca do GTID. Veja a opção para aplicar a consistência do GTID.

• Todas as tabelas (exceto as tabelas em bases de dados do sistema) usam o motor de armazenamento InnoDB.

  Saiba mais sobre o InnoDB. Saiba mais sobre a conversão para o InnoDB.

• Conta de utilizador do MySQL com o privilégio REPLICATION_SLAVE.

  Configure esta conta para aceitar ligações de qualquer lugar (anfitrião = %). Pode restringir o acesso a este utilizador num passo posterior. Não use esta conta de utilizador para qualquer outro fim que não seja a replicação.

  Saiba mais acerca dos privilégios. Saiba mais sobre as contas de utilizador.

• Um endereço IPv4 e uma porta TCP acessíveis externamente.

Processo de configuração

Para configurar a replicação a partir de um servidor de base de dados externo, siga estes passos:

1. Crie um contentor do Cloud Storage para os seus dados.
2. Exporte os seus dados para o Cloud Storage.
3. Configure a configuração de replicação.

4. Configure o servidor da base de dados de origem para aceitar ligações da réplica.

5. Restrinja o acesso ao utilizador de replicação do MySQL.

6. Finalize a configuração da réplica.

7. Confirme o estado da replicação.

8. Limpe o seu armazenamento.

1. Crie um contentor do Cloud Storage para os seus dados

Crie um contentor para armazenar temporariamente os seus dados durante o processo de exportação ou use um contentor existente.

Para mais informações sobre como criar um contentor, consulte o artigo Criar contentores de armazenamento. Para mais informações sobre a função de administrador de armazenamento, consulte o artigo Funções de IAM do Cloud Storage.

2. Exporte os seus dados para o Cloud Storage

A réplica procura os respetivos dados no Cloud Storage, pelo que coloca uma cópia dos dados do servidor nesse local. Pode continuar a aceitar operações de escrita no seu servidor após a exportação. Depois de a réplica terminar a importação do ficheiro de despejo, começa a processar todas as alterações desde que a exportação foi feita e, eventualmente, fica sincronizada com o servidor principal.

Numa máquina com a CLI gcloud instalada e conetividade de rede ao seu servidor MySQL, execute o seguinte comando:

mysqldump \
    -h [PRIMARY_INSTANCE_IP] -P [PRIMARY_INSTANCE_PORT] -u [USERNAME] -p \
    --databases [DBS]  \
    --hex-blob  --skip-triggers  --master-data=1  \
    --order-by-primary --no-autocommit \
    --default-character-set=utf8mb4 \
    --single-transaction --set-gtid-purged=on | gzip | \
    gcloud storage cp - gs://[BUCKET]/[PATH_TO_DUMP]

If the source of the migration is a Relational Database Service (RDS) for MySQL,
the master-data flag is not supported and should not be specified.
This command might look like the following example:

mysqldump \
    -h [PRIMARY_INSTANCE_IP] -P [PRIMARY_INSTANCE_PORT] -u [USERNAME] -p \
    --databases [DBS]  \
    --hex-blob  --skip-triggers \
    --order-by-primary --no-autocommit \
    --default-character-set=utf8mb4 \
    --single-transaction --set-gtid-purged=on | gzip | \
    gcloud storage cp - gs://[BUCKET]/[PATH_TO_DUMP]

Additionally, you should configure RDS instances to retain binlogs for a
a longer period of time.
This command might look like the following example:

// Sets the retention period to one day.
call mysql.rds_set_configuration('binlog retention hours', 24);

Substitua [PROPERTIES_IN_BRACKETS] pelos seguintes valores:

Se vir um aviso sobre despejos parciais e GTIDs, isso é esperado.

Este comando pode ter o seguinte aspeto:

mysqldump \
    -h 192.0.2.1 -P 3306 -u replicationUser \
    --databases guestbook  \
    --hex-blob  --skip-triggers  --master-data=1  \
    --order-by-primary --no-autocommit \
    --default-character-set=utf8mb4 \
    --single-transaction --set-gtid-purged=on | gzip | \
    gcloud storage cp - gs://export-bucket/hq-primary1.sql.gz

3. Crie a configuração de replicação

Se a réplica estiver a usar o IP privado, o servidor da base de dados de origem tem de estar configurado para acesso a partir da VPC da réplica. A criação de réplicas em VPCs privadas só é suportada através da CLI gcloud e da API Admin do Cloud SQL.

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "name": "[SOURCE_REPRESENTATION_NAME]",
         "region": "[REGION]",
         "databaseVersion": "[MYSQL_VERSION]",
         "onPremisesConfiguration": {
             "hostPort": "[SOURCE_SERVER_IP]:[SOURCE_SERVER_PORT]"
         }
     }' \
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/[PROJECT-ID]/instances

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "name": "hq-primary1",
         "region": "us-central1",
         "databaseVersion": "MYSQL_5_7",
         "onPremisesConfiguration": {
             "hostPort": "192.0.2.0:3306"
         }
     }' \
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/MyProject/instances

{
    "replicaConfiguration": {
        "mysqlReplicaConfiguration": {
            "username": "[USERNAME]",
            "password": "[PASSWORD]",
            "dumpFilePath": "gs://[BUCKET]/[PATH_TO_DUMP]",
            "caCertificate": "[SOURCE_SERVER_CA]",
            "clientCertificate": "[CLIENT_CERT]",
            "clientKey": "[PRIVATE_KEY]"
        }
     },
     "settings": {
         "tier": "[MACHINE_TYPE]",
         "dataDiskSizeGb": "[DISK_SIZE]"
     },
     "masterInstanceName": "[SOURCE_REPRESENTATION_NAME]",
     "region": "[REGION]",
     "databaseVersion": "[MYSQL_VERSION]",
     "name": "[REPLICA_NAME]"
}

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data @[PATH_TO_DATA_FILE] \
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/[PROJECT-ID]/instances

{
    "replicaConfiguration": {
        "mysqlReplicaConfiguration": {
            "username": "replicationUser",
            "password": "486#@%*@",
            "dumpFilePath": "gs://export-bucket/hq-primary1.sql.gz",
            "caCertificate": "[SOURCE_SERVER_CA]",
            "clientCertificate": "[CLIENT_CERT]",
            "clientKey": "[PRIVATE_KEY]"
        }
    },
    "settings": {
        "tier": "db-custom-4-15360",
        "dataDiskSizeGb": "100"
    },
    "masterInstanceName": "hq-primary1",
    "region": "us-central1",
    "databaseVersion": "MYSQL_5_7",
    "name": "hq-primary1-replica1"
}

curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data @./data.json
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/MyProject/instances

Quando a réplica de leitura consegue aceder ao ficheiro de despejo, inicia o processo de importação. A duração do processo de importação depende do tamanho do ficheiro de despejo, do tipo de máquina da réplica e do esquema da base de dados. Como orientação geral para a estimativa, espere que a réplica importe aproximadamente 25 a 50 GB por hora.

A réplica permanece no estado PENDING_CREATE até que o processo de importação esteja concluído. Em seguida, a réplica muda para o estado RUNNABLE.

4. Configure o servidor da base de dados de origem para aceitar ligações da réplica

A réplica tem de se ligar ao servidor da base de dados de origem para que a replicação seja bem-sucedida. Se o servidor da base de dados de origem estiver atrás de uma firewall ou de alguma outra restrição de rede, tem de ativar o acesso à rede para a réplica através do endereço IP da réplica.OUTGOING Tenha em atenção que não é o endereço IP apresentado na ficha principal da réplica na Trusted Cloud consola. Pode obter o OUTGOINGendereço IP passando o cursor do rato sobre a sugestão Mais informações para o endereço IP ou usando o comando gcloud abaixo.

1. Obtenha os endereços IP da réplica de leitura:

   gcloud sql instances describe [REPLICA_NAME] --format="default(ipAddresses)"

2. Configure a firewall de rede, se necessário, para que o servidor da base de dados de origem aceite ligações a partir do endereço IP OUTGOING.

3. Confirme que a réplica foi ligada com êxito ao servidor da base de dados de origem.

   1. O ícone da réplica na página de listagem de instâncias já não está a girar e é verde.

   2. Aceda ao visualizador de registos na Trusted Cloud consola.

      Aceda ao visualizador de registos

   3. Selecione a réplica no menu pendente Instância.

   4. Selecione o ficheiro de registo replication-setup.log.

      Se a réplica não conseguir estabelecer ligação ao servidor da base de dados de origem, confirme os seguintes itens:

      • Qualquer firewall no servidor da base de dados de origem está configurada para permitir ligações a partir do endereço IP OUTGOING da réplica.
      • A sua configuração SSL/TLS está correta.
      • O utilizador, o anfitrião e a palavra-passe da replicação estão corretos.

5. Restrinja o acesso ao utilizador de replicação do MySQL

Este passo é opcional, mas recomendado para segurança.

O utilizador de replicação do MySQL no servidor de base de dados de origem está configurado para aceitar ligações de qualquer anfitrião (%). Atualize essa conta de utilizador para aceitar ligações apenas do endereço IP OUTGOING da réplica:

    UPDATE mysql.user SET Host='[OUTGOING_IP]' WHERE Host='%' AND User='[USERNAME]';
    FLUSH PRIVILEGES;

6. Finalize a configuração da réplica

1. Configure uma conta de utilizador na réplica.

   Pode fazê-lo através da Trusted Cloud consola, da ferramenta gcloud CLI ou da API Cloud SQL. No entanto, não pode usar o cliente mysql. Para mais informações sobre utilizadores do MySQL, consulte o artigo Utilizadores do MySQL.

   Para criar um utilizador através da consola Trusted Cloud :

   1. Aceda à página Instâncias do Cloud SQL na Trusted Cloud consola.
      Aceda à página Instâncias do Cloud SQL
   2. Clique no nome da instância para abrir a página Detalhes da instância.
   3. Selecione o separador Utilizadores.
   4. Clique em Criar conta de utilizador.
   5. Na caixa de diálogo Criar conta de utilizador, especifique os detalhes do utilizador.
   6. Clique em Criar.

2. Autorize o acesso à réplica a partir de qualquer cliente que planeie usar para se ligar à réplica através de endereços IP públicos.

   Para obter instruções, consulte o artigo Adicionar um endereço ou um intervalo de endereços autorizado. Para se ligar à réplica, usa o PRIMARYendereço IP da réplica. Este endereço IP é apresentado na Trusted Cloud consola.

   Caso contrário, pode usar qualquer outro método de ligação para estabelecer ligação à réplica.

7. Confirme o estado da replicação

Quando a réplica terminar de importar o ficheiro de despejo, liga-se ao servidor local e aplica todas as atualizações feitas após a exportação.

É importante verificar o estado da replicação antes de promover a réplica para uma instância autónoma. Se o processo de replicação não estiver concluído e for bem-sucedido, uma réplica promovida não tem todas as alterações da sua instância externa.

8. (Opcional) Promova a réplica a uma instância autónoma

Depois de verificar o estado da replicação, se quiser substituir completamente ("migrar") o servidor da base de dados de origem pelo Cloud SQL, promova a réplica para se tornar uma instância principal autónoma. Depois de a réplica se tornar a instância principal, deixa de estar ligada ao servidor de base de dados de origem original.

Crie uma nova réplica para a nova instância principal e reinicie as aplicações de ligação para apontar para a nova instância principal (para operações de escrita) ou a nova réplica (para operações de leitura).

9. Limpe o seu armazenamento

1. Elimine o ficheiro de exportação:

   gcloud storage rm gs://[BUCKET]/[PATH_TO_DUMP]
   

2. Se já não precisar do contentor, elimine-o:

   gcloud storage rm gs://[BUCKET] --recursive
   

Para mais informações, consulte a documentação do Cloud Storage sobre como eliminar objetos e eliminar contentores.

Atualize a configuração

Para atualizar as definições de configuração mais tarde, pode editar a instância de representação da origem. Se precisar de atualizar as definições de configuração no local, tenha em atenção que hostPort e type não podem ser atualizados.

O que se segue?

• Saiba como atualizar uma instância.
• Saiba como gerir réplicas.