Questa pagina descrive come configurare e utilizzare un'importazione gestita per i dati durante la replica da un server esterno a Cloud SQL.
Devi completare tutti i passaggi di questa pagina. Al termine, puoi amministrare e monitorare l'istanza di rappresentazione di origine nello stesso modo in cui faresti con qualsiasi altra istanza Cloud SQL.
Prima di iniziare
Prima di iniziare, completa questi passaggi:
Aggiorna i privilegi per l'utente di replica
L'utente di replica sul server esterno è configurato per accettare connessioni da qualsiasi host (%). Aggiorna questo account utente in modo che possa essere utilizzato solo con la replica Cloud SQL.
Privilegi obbligatori
Esistono quattro tipi di combinazioni di migrazioni e dump.
- Tipo 1: migrazione continua e dump gestito
- Tipo 2: migrazione continua e dump manuale
- Tipo 3: migrazione una tantum e dump gestito
- Tipo 4: migrazione una tantum e dump manuale
I privilegi per ogni tipo di combinazione di migrazione e dump sono elencati di seguito.
Tipo 1
L'account utente deve disporre dei seguenti privilegi:
- REPLICATION SLAVE
- EXECUTE
- SELECT
- MOSTRA VISUALIZZAZIONE
- REPLICATION CLIENT
- RICARICA
- TRIGGER
- (Solo per la migrazione da Amazon RDS e Amazon Aurora) LOCK TABLES
Per MySQL versione 8.0 e successive, ti consigliamo di saltare il privilegio BACKUP ADMIN per prestazioni ottimali.
Tipo 2
L'account utente deve disporre dei seguenti privilegi:
Tipo 3
L'account utente deve disporre dei seguenti privilegi:
- SELECT
- MOSTRA VISUALIZZAZIONE
- TRIGGER
- (Solo per la migrazione da origini con l'impostazione
GTID_MODE = ON) RICARICA
Per MySQL versione 8.0 e successive, ti consigliamo di saltare il privilegio BACKUP ADMIN per prestazioni ottimali.
Tipo 4
Non sono richiesti privilegi.
Aggiorna privilegi
Per aggiornare i privilegi, apri un terminale sul server esterno e inserisci i seguenti comandi.
Client mysql
Per GTID:
UPDATE mysql.user SET Host='NEW_HOST' WHERE Host='OLD_HOST' AND User='USERNAME'; GRANT REPLICATION SLAVE, EXECUTE, SELECT, SHOW VIEW, REPLICATION CLIENT, RELOAD ON . TO 'USERNAME'@'HOST'; FLUSH PRIVILEGES;
Per binlog:
UPDATE mysql.user SET Host='NEW_HOST' WHERE Host='OLD_HOST' AND User='USERNAME'; GRANT REPLICATION SLAVE, EXECUTE, SELECT, SHOW VIEW, REPLICATION CLIENT, RELOAD ON . TO 'GCP_USERNAME'@'HOST'; FLUSH PRIVILEGES;
esempio
UPDATE mysql.user
SET Host='192.0.2.0'
WHERE Host='%'
AND User='replicationUser';
GRANT REPLICATION SLAVE, EXECUTE, SELECT, SHOW VIEW, REPLICATION CLIENT,
RELOAD ON *.* TO 'username'@'host.com';
FLUSH PRIVILEGES;
| Proprietà | Descrizione |
|---|---|
| NEW_HOST | Specifica l'IP in uscita della replica Cloud SQL. |
| OLD_HOST | Il valore corrente assegnato a Host che vuoi modificare. |
| USERNAME | L'account utente di replica sul server esterno. |
| GCP_USERNAME | Il nome utente dell'account utente. |
| HOST | Il nome host dell'account utente. |
Verifica le impostazioni di replica
Al termine della configurazione, assicurati che la replica Cloud SQL possa eseguire la replica dal server esterno.
Le seguenti impostazioni di sincronizzazione esterna devono essere corrette.
- Connettività tra la replica Cloud SQL e il server esterno
- Privilegi utente di replica
- Compatibilità delle versioni
- La replica Cloud SQL non è già in fase di replica
- I binlog sono abilitati sul server esterno
- Il GTID è abilitato se stai tentando di eseguire una sincronizzazione esterna da un server esterno RDS e utilizzi un bucket Cloud de Confiance
Per verificare queste impostazioni, apri un terminale Cloud Shell e inserisci i seguenti comandi:
curl
gcloud auth login ACCESS_TOKEN="$(gcloud auth print-access-token)" curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \ --header 'Content-Type: application/json' \ --data '{ "syncMode": "SYNC_MODE", "syncParallelLevel": "SYNC_PARALLEL_LEVEL", "selectedObjects": "SELECTED_OBJECTS", "mysqlSyncConfig": { "initialSyncFlags": "SYNC_FLAGS" } }' \ -X POST \ https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/REPLICA_INSTANCE_ID/verifyExternalSyncSettings
esempio
gcloud auth login ACCESS_TOKEN="$(gcloud auth print-access-token)" curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \ --header 'Content-Type: application/json' \ --data '{ "syncMode": "online", "syncParallelLevel": "optimal", "selectedObjects":[{"database":"db1"}, {"database":"db2"}] }' \ -X POST \ https://sqladmin.googleapis.com/sql/v1beta4/projects/myproject/instances/myreplica/verifyExternalSyncSettings
esempio con flag di sincronizzazione
gcloud auth login ACCESS_TOKEN="$(gcloud auth print-access-token)" curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \ --header 'Content-Type: application/json' \ --data '{ "syncMode": "online", "syncParallelLevel": "optimal", "selectedObjects":[{"database":"db1"}, {"database":"db2"}], "mysqlSyncConfig": { "initialSyncFlags": [{"name": "max-allowed-packet", "value": "1073741824"}, {"name": "hex-blob"}, {"name": "compress"}] } }' \ -X POST \ https://sqladmin.googleapis.com/sql/v1beta4/projects/MyProject/instances/replica-instance/verifyExternalSyncSettings
Queste chiamate restituiscono un elenco di tipo sql#externalSyncSettingErrorList.
Se l'elenco è vuoto, non sono presenti errori. Una risposta senza errori è simile alla seguente:
{ "kind": "sql#externalSyncSettingErrorList" }
| Proprietà | Descrizione |
|---|---|
| SYNC_MODE | Assicurati di poter mantenere sincronizzati la replica Cloud SQL e il server esterno dopo la configurazione della replica. Le modalità di sincronizzazione includono EXTERNAL_SYNC_MODE_UNSPECIFIED, ONLINE e OFFLINE. |
| SYNC_PARALLEL_LEVEL | Verifica l'impostazione che controlla la velocità con cui vengono trasferiti i dati dalle tabelle di un database. Sono disponibili i seguenti valori:
Nota: il valore predefinito di questo parametro è |
| SYNC_FLAGS | Un elenco di flag di sincronizzazione iniziale da verificare. Consigliato solo se prevedi di utilizzare flag di sincronizzazione personalizzati durante la replica dall'origine. Per un elenco dei flag consentiti, consulta Flag di sincronizzazione iniziale. |
| SELECTED_OBJECTS | Un elenco separato da virgole di oggetti, che specifica i database di cui stai eseguendo la migrazione dalla rappresentazione di origine all'istanza Cloud SQL di destinazione. Se non utilizzi questo parametro o fornisci un elenco vuoto come valore del parametro, viene eseguita la migrazione di tutti i database dall'origine alla destinazione. |
| PROJECT_ID | L'ID del tuo progetto Cloud de Confiance . |
| REPLICA_INSTANCE_ID | L'ID della replica Cloud SQL. |
Aggiorna un'istanza di rappresentazione di origine
Per aggiornare i database di cui vuoi eseguire la migrazione dall'istanza di rappresentazione di origine all'istanza Cloud SQL di destinazione, aggiorna l'elenco dei nomi dei database associati al parametro selectedObjects. Se non utilizzi questo parametro o fornisci un elenco vuoto come valore, viene eseguita la migrazione di tutti i database dall'origine alla destinazione.
source.json
{ "name": "SOURCE_NAME", "region": "REGION", "databaseVersion": "DATABASE_VERSION", "onPremisesConfiguration": { "selectedObjects": "SELECTED_OBJECTS", "username": "USERNAME", "password": "PASSWORD" } }
esempio
// example of source.json for external server that
// - initiates replication from a Cloud SQL managed import
// - doesn't use SSL/TLS
{
"name": "cloudsql-source-instance",
"region": "us-central1",
"databaseVersion": "POSTGRES_9_6",
"onPremisesConfiguration": {
"selectedObjects":[{"database":"db1"}, {"database":"db3"}],
"username": "newReplicationUser",
"password": "525#@%*@"
}
}
| Proprietà | Descrizione |
|---|---|
| SOURCE_NAME | Il nome dell'istanza di rappresentazione di origine. |
| REGION | La regione in cui si trova l'istanza di rappresentazione di origine. |
| DATABASE_VERSION | La versione del database in esecuzione sul tuo server esterno. Le opzioni sono MYSQL_5_6, MYSQL_5_7, MYSQL_8_0 o MYSQL_8_4 |
| SELECTED_OBJECTS | Un elenco aggiornato di oggetti separati da virgole, che specifica i database di cui esegui la migrazione dall'istanza di rappresentazione di origine all'istanza Cloud SQL di destinazione. |
| USERNAME | L'account utente di replica sul server esterno. |
| PASSWORD | La password dell'account. |
Poi, per modificare l'istanza di rappresentazione di origine in Cloud SQL, apri un terminale Cloud Shell e inserisci i seguenti comandi:
curl
gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
--header 'Content-Type: application/json' \
--data @JSON_PATH \
-X PATCH \
https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/SOURCE_NAME
esempio
gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
--header 'Content-Type: application/json' \
--data @./source.json \
-X PATCH \
https://sqladmin.googleapis.com/sql/v1beta4/projects/MyProject/instances/cloudsql-source-instance
| Proprietà | Descrizione |
|---|---|
| JSON_PATH | Il percorso del file JSON che contiene i dati della richiesta per il server esterno. |
| PROJECT_ID | L'ID del tuo progetto Cloud de Confiance . |
| SOURCE_NAME | Il nome dell'istanza di rappresentazione di origine. |
Autorizzazione di blocco in lettura globale
Se non disponi dell'autorizzazione per accedere al blocco di lettura globale sul server esterno, come potrebbe accadere con Amazon RDS e Amazon Aurora, metti in pausa le scritture sul server come descritto nei passaggi seguenti:
- Vai a Esplora log e seleziona la replica Cloud SQL dall'elenco delle risorse. Dovresti visualizzare un elenco dei log più recenti per la replica Cloud SQL. Per il momento ignorali.
- Apri un terminale e inserisci i comandi in Avvia la replica sul server esterno per eseguire la replica dal server esterno.
Torna a Esplora log. Quando vedi il log come segue, interrompi la scrittura nel database sul server esterno. Nella maggior parte dei casi, questa operazione è necessaria solo per pochi secondi.
DUMP_IMPORT(START): Start importing data, please pause any write to the external primary database.Quando vedi la seguente voce di log in Esplora log, riattiva la scrittura nel database sul server esterno.
DUMP_IMPORT(SYNC): Consistent state on primary and replica. Writes to the external primary may resume.
Avvia la replica sul server esterno
Dopo aver verificato che puoi eseguire la replica dal server esterno, avvia la replica. La velocità di esecuzione della replica per il processo di importazione iniziale è di massimo 500 GB all'ora. Tuttavia, questa velocità può variare in base al livello della macchina, alle dimensioni del disco dati, al throughput di rete e alla natura del database.
Durante il processo di importazione iniziale, non eseguire operazioni DDL sul server esterno. In caso contrario, potrebbero verificarsi incoerenze durante l'importazione. Al termine del processo di importazione, la replica utilizza i log binari sul server esterno per aggiornarsi allo stato attuale del server esterno.
curl
gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
--header 'Content-Type: application/json' \
--data '{
"syncMode": "SYNC_MODE",
"skipVerification": "SKIP_VERIFICATION",
"syncParallelLevel": "SYNC_PARALLEL_LEVEL",
"mysqlSyncConfig": {
"initialSyncFlags": "SYNC_FLAGS"
}
}' \
-X POST \
https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/REPLICA_INSTANCE_ID/startExternalSync
esempio
gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
--header 'Content-Type: application/json' \
--data '{
"syncMode": "online",
"syncParallelLevel": "optimal"
}' \
-X POST \
https://sqladmin.googleapis.com/sql/v1beta4/projects/MyProject/instances/replica-instance/startExternalSync
esempio con flag di sincronizzazione
gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
--header 'Content-Type: application/json' \
--data '{
"syncMode": "online",
"syncParallelLevel": "optimal"
"skipVerification": false,
"mysqlSyncConfig": {
"initialSyncFlags": [{"name": "max-allowed-packet", "value": "1073741824"}, {"name": "hex-blob"}, {"name": "compress"}]
}
}' \
-X POST \
https://sqladmin.googleapis.com/sql/v1beta4/projects/MyProject/instances/replica-instance/startExternalSync
| Proprietà | Descrizione |
|---|---|
| SYNC_MODE | Verifica di poter mantenere sincronizzati la replica Cloud SQL e il server esterno dopo la configurazione della replica. |
| SKIP_VERIFICATION | Se saltare o meno il passaggio di verifica integrato prima di sincronizzare i dati. Questo parametro è consigliato solo se hai già verificato le impostazioni di replica. |
| SYNC_PARALLEL_LEVEL | Fornisci un'impostazione che controlli la velocità con cui vengono trasferiti i dati dalle tabelle di un database. Sono disponibili i seguenti valori:
Nota: il valore predefinito di questo parametro è |
| SYNC_FLAGS | Un elenco di flag di sincronizzazione iniziale da verificare. Consigliato solo se prevedi di utilizzare flag di sincronizzazione personalizzati durante la replica dall'origine. Per un elenco dei flag consentiti, consulta Flag di sincronizzazione iniziale. |
| PROJECT_ID | L'ID del tuo progetto Cloud de Confiance . |
| REPLICA_INSTANCE_ID | L'ID della replica Cloud SQL. |
Flag di sincronizzazione iniziale
Per eseguire la migrazione con flag di database personalizzati, puoi utilizzare i seguenti flag consentiti:
- --add-drop-database
- --add-drop-table
- --add-drop-trigger
- --add-locks
- --allow-keywords
- --all-tablespaces
- --apply-slave-statements
- --column-statistics
- --comments
- --compact
- --compatible
- --complete-insert
- --compress
- --compression-algorithms
- --create-options
- --default-character-set
- --delayed-insert
- --disable-keys
- --dump-date
- --events
- --extended-insert
- --fields-enclosed-by
- --fields-escaped-by
- --fields-optionally-enclosed-by
- --fields-terminated-by
- --flush-logs
- --flush-privileges
- --force
- --get-server-public-key
- --hex-blob
- --ignore-error
- --ignore-read-lock-error
- --ignore-table
- --insert-ignore
- --lines-terminated-by
- --lock-all-tables
- --lock-tables
- --max-allowed-packet
- --net-buffer-length
- --network-timeout
- --no-autocommit
- --no-create-db
- --no-create-info
- --no-data
- --no-defaults
- --no-set-names
- --no-tablespaces
- --opt
- --order-by-primary
- --pipe
- --quote-names
- --quick
- --replace
- --routines
- --secure-auth
- --set-charset
- --shared-memory-base-name
- --show-create-skip-secondary-engine
- --skip-opt
- --ssl-cipher
- --ssl-fips-mode
- --ssl-verify-server-cert
- --tls-ciphersuites
- --tls-version
- --triggers
- --tz-utc
- --verbose
- --xml
- --zstd-compression-level
Per i valori consentiti, consulta la documentazione pubblica di MySQL.
Monitoraggio della migrazione
Una volta avviata la replica dal server esterno, devi monitorarla. Per saperne di più, consulta Monitoraggio della replica. A questo punto, puoi completare la migrazione.
Risoluzione dei problemi
Valuta le seguenti opzioni per la risoluzione dei problemi:
| Problema | Risoluzione dei problemi |
|---|---|
| La replica di lettura non ha avviato la replica al momento della creazione. | Probabilmente nei file di log è presente un errore più specifico. Ispeziona i log in Cloud Logging per trovare l'errore effettivo. |
| Impossibile creare la replica di lettura - Errore invalidFlagValue. | Uno dei flag nella richiesta non è valido. Potrebbe essere un flag che hai fornito esplicitamente o uno impostato su un valore predefinito.
Innanzitutto, verifica che il valore del flag Se il flag |
| Impossibile creare la replica di lettura. Errore sconosciuto. | Probabilmente nei file di log è presente un errore più specifico.
Ispeziona i log in Cloud Logging per trovare l'errore effettivo.
Se l'errore è |
| Lo spazio sul disco è esaurito. | Le dimensioni del disco dell'istanza principale possono riempirsi durante la creazione della replica. Modifica l'istanza principale per eseguire l'upgrade a un disco di dimensioni maggiori. |
| L'istanza di replica utilizza troppa memoria. | La replica utilizza la memoria temporanea per memorizzare nella cache le operazioni di lettura richieste di frequente, il che può comportare un utilizzo di memoria maggiore rispetto all'istanza principale.
Riavvia l'istanza di replica per recuperare lo spazio di memoria temporaneo. |
| Replica interrotta. | È stato raggiunto il limite massimo di spazio di archiviazione e l'aumento automatico dello spazio di archiviazione non è abilitato.
Modifica l'istanza per abilitare |
| Il ritardo di replica è costantemente elevato. | Il carico di scrittura è troppo elevato per essere gestito dalla replica. Il ritardo di replica si verifica quando il thread SQL su una replica non riesce a tenere il passo con il thread IO. Alcuni tipi di query o workload possono causare un ritardo di replica elevato temporaneo o permanente per un determinato schema. Alcune delle cause tipiche del ritardo di replica sono:
Ecco alcune possibili soluzioni:
|
| Il ritardo della replica aumenta improvvisamente. | Ciò è causato da transazioni a lunga esecuzione. Quando viene eseguito il commit di una transazione (singola istruzione o più istruzioni) nell'istanza di origine, l'ora di inizio della transazione viene registrata nel log binario. Quando la replica riceve questo evento binlog, confronta il timestamp con quello corrente per calcolare il ritardo di replica. Pertanto, una transazione a lunga esecuzione nell'origine comporterebbe un ritardo di replica immediato nella replica. Se il numero di modifiche alle righe nella transazione è elevato, anche la replica impiegherà molto tempo per eseguirla. Durante questo periodo, il ritardo della replica aumenta. Una volta che la replica ha completato questa transazione, il periodo di recupero dipende dal workload di scrittura sull'origine e dalla velocità di elaborazione della replica.
Per evitare una transazione lunga, alcune possibili soluzioni includono:
|
| La modifica dei flag di replica parallela genera un errore. | È stato impostato un valore errato per uno o più di questi flag.
Nell'istanza principale che visualizza il messaggio di errore, imposta i flag di replica parallela:
|
| La creazione della replica non riesce con un timeout. | Le transazioni non sottoposte a commit di lunga durata nell'istanza principale possono causare
la mancata creazione della replica di lettura.
Ricrea la replica dopo aver interrotto tutte le query in esecuzione. |
Inoltre, per MySQL, valuta anche le seguenti opzioni:
| Problema | Risoluzione dei problemi |
|---|---|
Lost connection to MySQL server during query when dumping table. |
La sorgente potrebbe non essere più disponibile o il dump conteneva pacchetti troppo grandi.
Assicurati che l'istanza principale esterna sia disponibile per la connessione. Puoi anche modificare i valori dei flag net_read_timeout e net_write_timeout nell'istanza di origine per interrompere l'errore. Per ulteriori informazioni sui valori consentiti per questi flag, consulta Configura i flag di database. Per scoprire di più sull'utilizzo dei flag |
Il dump iniziale non riesce con errori di timeout o di connessione persa (ad esempio, Dump timeout o Lost connection to MySQL server). |
Questo errore può verificarsi se una o più istruzioni DDL interagiscono con il processo di dump parallelo, causando l'attesa indefinita del processo.
Risoluzione: non eseguire istruzioni DDL sul database di origine durante la fase di dump iniziale. Prima di eseguire qualsiasi istruzione DDL, riavvia la migrazione e attendi il completamento della fase di dump iniziale. |
| La migrazione iniziale dei dati è riuscita, ma non viene eseguita la replica dei dati. | Una possibile causa principale potrebbe essere che il database di origine ha definito flag di replica che impediscono la replica di alcune o tutte le modifiche al database. Assicurati che i flag di replica come Esegui il comando |
| La migrazione iniziale dei dati è riuscita, ma la replica dei dati smette di funzionare dopo un po'. | Tentativi da effettuare
Se trovi l'errore
|
mysqld check failed: data disk is full. |
Il disco dati dell'istanza di replica è pieno.
Aumenta le dimensioni del disco dell'istanza di replica. Puoi aumentare manualmente le dimensioni del disco o attivare l'aumento automatico dello spazio di archiviazione. |
Esamina i log di replica
Quando verifichi le impostazioni di replica, vengono generati dei log.
Per visualizzare questi log, segui questi passaggi:
Vai al visualizzatore log nella console Cloud de Confiance .
- Seleziona la replica Cloud SQL dal menu a discesa Istanza.
- Seleziona il file di log
replication-setup.log.
Se la replica Cloud SQL non riesce a connettersi al server esterno, verifica quanto segue:
- Qualsiasi firewall sul server esterno è configurato per consentire le connessioni dall'indirizzo IP in uscita della replica Cloud SQL.
- La configurazione SSL/TLS è corretta.
- L'utente di replica, l'host e la password sono corretti.
Passaggi successivi
- Scopri di più sull'aggiornamento di un'istanza.
- Scopri di più sulla gestione delle repliche.
- Scopri di più sul monitoraggio delle istanze.
- Scopri di più sulla promozione della replica Cloud SQL.