שימוש בייבוא מנוהל כדי להגדיר שכפול ממסדי נתונים חיצוניים

בדף הזה מוסבר איך להגדיר ייבוא מנוהל של נתונים ולהשתמש בו כשמשכפלים משרת חיצוני ל-Cloud SQL.

אתם צריכים להשלים את כל השלבים בדף הזה. בסיום התהליך, תוכלו לנהל ולנטר את מכונת הייצוג של המקור בדיוק כמו כל מכונה אחרת של Cloud SQL.

לפני שמתחילים

לפני שמתחילים, צריך לבצע את השלבים הבאים:

1. מגדירים את השרת החיצוני.

2. יוצרים את מופע הייצוג של המקור.

3. מגדירים את רפליקת Cloud SQL.

עדכון ההרשאות של משתמש השכפול

משתמש השכפול בשרת החיצוני מוגדר לקבל חיבורים מכל מארח (%). צריך לעדכן את חשבון המשתמש הזה כך שאפשר יהיה להשתמש בו רק עם הרפליקה של Cloud SQL.

הרשאות נדרשות

יש ארבעה סוגים של שילובים של העברות וגיבויים.

• סוג 1: העברה רציפה וגיבוי מנוהל
• סוג 2: העברה רציפה ופריקה ידנית
• סוג 3: העברה חד-פעמית ופריקה מנוהלת
• סוג 4: העברה חד-פעמית ופריקה ידנית

בהמשך מפורטות ההרשאות לכל סוג של העברה ושילוב של נתונים.

עדכון הרשאות

כדי לעדכן את ההרשאות, פותחים טרמינל בשרת החיצוני ומזינים את הפקודות הבאות.

    UPDATE mysql.user
      SET Host='NEW_HOST'
      WHERE Host='OLD_HOST'
      AND User='USERNAME';
    GRANT REPLICATION SLAVE, EXECUTE, SELECT, SHOW VIEW, REPLICATION CLIENT,
    RELOAD ON . TO
    'USERNAME'@'HOST';
    FLUSH PRIVILEGES;

    UPDATE mysql.user
    SET Host='NEW_HOST'
    WHERE Host='OLD_HOST'
    AND User='USERNAME';
    GRANT REPLICATION SLAVE, EXECUTE, SELECT, SHOW VIEW, REPLICATION CLIENT,
    RELOAD ON . TO 'GCP_USERNAME'@'HOST';
    FLUSH PRIVILEGES;

UPDATE mysql.user
  SET Host='192.0.2.0'
  WHERE Host='%'
  AND User='replicationUser';
GRANT REPLICATION SLAVE, EXECUTE, SELECT, SHOW VIEW, REPLICATION CLIENT,
RELOAD ON *.* TO 'username'@'host.com';
FLUSH PRIVILEGES;

אימות הגדרות השכפול

אחרי שמשלימים את ההגדרה, מוודאים שהרפליקה של Cloud SQL יכולה לשכפל מהשרת החיצוני.

ההגדרות הבאות של סנכרון חיצוני צריכות להיות נכונות.

• קישוריות בין העותק המשוכפל של Cloud SQL לבין שרת חיצוני
• הרשאות משתמש לשכפול
• תאימות גרסאות
• השכפול של הרפליקה ב-Cloud SQL לא מתבצע כבר
• קבצי ה-binlog מופעלים בשרת החיצוני
• אם אתם מנסים לבצע סנכרון חיצוני משרת חיצוני של RDS ומשתמשים בדלי Cloud de Confiance , ה-GTID מופעל.

כדי לוודא שההגדרות האלה תקינות, פותחים טרמינל ב-Cloud Shell ומזינים את הפקודות הבאות:

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "SYNC_MODE",
         "syncParallelLevel": "SYNC_PARALLEL_LEVEL",
         "mysqlSyncConfig": {
           "initialSyncFlags": "SYNC_FLAGS"
         }
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/REPLICA_INSTANCE_ID/verifyExternalSyncSettings

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "online",
         "syncParallelLevel": "optimal"
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/myproject/instances/myreplica/verifyExternalSyncSettings

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "online",
         "syncParallelLevel": "optimal"
         "mysqlSyncConfig": {
             "initialSyncFlags": [{"name": "max-allowed-packet", "value": "1073741824"}, {"name": "hex-blob"}, {"name": "compress"}]
             }
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/MyProject/instances/replica-instance/verifyExternalSyncSettings

הקריאות האלה מחזירות רשימה מהסוג sql#externalSyncSettingErrorList.

אם הרשימה ריקה, אין שגיאות. תגובה ללא שגיאות נראית כך:

  {
    "kind": "sql#externalSyncSettingErrorList"
  }

הרשאת נעילה גלובלית לקריאה

אם אין לכם הרשאה לגשת לנעילת הקריאה הגלובלית בשרת החיצוני, כמו במקרה של Amazon RDS ו-Amazon Aurora, צריך להשהות את פעולות הכתיבה לשרת לפי השלבים הבאים:

1. עוברים אל Logs Explorer ובוחרים את הרפליקה של Cloud SQL מתוך רשימת המשאבים. תוצג רשימה של היומנים האחרונים של העותק המשוכפל של Cloud SQL. אפשר להתעלם מהם בשלב הזה.
2. פותחים טרמינל ומזינים את הפקודות שבקטע הפעלת השכפול בשרת החיצוני כדי לשכפל מהשרת החיצוני.

3. חוזרים אל Logs Explorer. אם היומן נראה כמו בדוגמה הבאה, צריך להפסיק את הכתיבה למסד הנתונים בשרת החיצוני. ברוב המקרים, נדרש אימות רק למשך כמה שניות.

      DUMP_IMPORT(START): Start importing data, please pause any write to the
      external primary database.
   

4. אם רואים את רשומת היומן הבאה בכלי Logs Explorer, צריך להפעיל מחדש את הכתיבה למסד הנתונים בשרת החיצוני.

      DUMP_IMPORT(SYNC): Consistent state on primary and replica. Writes to the
      external primary may resume.
   
   

הפעלת השכפול בשרת החיצוני

אחרי שמוודאים שאפשר לשכפל מהשרת החיצוני, מתחילים את השכפול. המהירות של ביצוע השכפול בתהליך הייבוא הראשוני היא עד 500GB לשעה. עם זאת, המהירות הזו יכולה להשתנות בהתאם לרמת המכונה, לגודל דיסק הנתונים, לתפוקת הרשת ולסוג מסד הנתונים.

במהלך תהליך הייבוא הראשוני, אל תבצעו פעולות DDL בשרת החיצוני. פעולה כזו עלולה לגרום לחוסר עקביות במהלך הייבוא. אחרי שתהליך הייבוא מסתיים, הרפליקה משתמשת ביומני הנתונים הבינאריים בשרת החיצוני כדי להתעדכן במצב הנוכחי של השרת החיצוני.

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "SYNC_MODE",
         "skipVerification": "SKIP_VERIFICATION",
         "syncParallelLevel": "SYNC_PARALLEL_LEVEL",
         "mysqlSyncConfig": {
           "initialSyncFlags": "SYNC_FLAGS"
         }
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/REPLICA_INSTANCE_ID/startExternalSync

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "online",
         "syncParallelLevel": "optimal"
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/MyProject/instances/replica-instance/startExternalSync

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "online",
         "syncParallelLevel": "optimal"
         "skipVerification": false,
         "mysqlSyncConfig": {
             "initialSyncFlags": [{"name": "max-allowed-packet", "value": "1073741824"}, {"name": "hex-blob"}, {"name": "compress"}]
             }
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/MyProject/instances/replica-instance/startExternalSync

התרעות לגבי סנכרון ראשוני

כדי לבצע מיגרציה עם דגלים מותאמים אישית של מסד נתונים, אפשר להשתמש בדגלים המותרים הבאים:

• --add-drop-database
• --add-drop-table
• --add-drop-trigger
• --add-locks
• --allow-keywords
• --all-tablespaces
• --apply-slave-statements
• --column-statistics
• ‫--comments
• ‫--compact
• ‎--compatible
• --complete-insert
• ‫‎--compress
• --compression-algorithms
• --create-options
• --default-character-set
• --delayed-insert
• --disable-keys
• --dump-date
• ‫--events
• --extended-insert
• --fields-enclosed-by
• --fields-escaped-by
• --fields-optionally-enclosed-by
• --fields-terminated-by
• --flush-logs
• --flush-privileges
• ‫--force
• --get-server-public-key
• --hex-blob
• --ignore-error
• --ignore-read-lock-error
• --ignore-table
• --insert-ignore
• --lines-terminated-by
• --lock-all-tables
• --lock-tables
• --max-allowed-packet
• --net-buffer-length
• --network-timeout
• --no-autocommit
• --no-create-db
• --no-create-info
• --no-data
• --no-defaults
• --no-set-names
• --no-tablespaces
• ‫--opt
• --order-by-primary
• ‫--pipe
• --quote-names
• ‫--quick
• ‫--replace
• ‫--routines
• --secure-auth
• --set-charset
• --shared-memory-base-name
• --show-create-skip-secondary-engine
• --skip-opt
• --ssl-cipher
• --ssl-fips-mode
• --ssl-verify-server-cert
• --tls-ciphersuites
• --tls-version
• ‫--triggers
• --tz-utc
• ‎--verbose
• ‎--xml
• --zstd-compression-level

הערכים המותרים מפורטים במסמכי התיעוד הציבוריים של MySQL.

מעקב אחרי ההעברה

אחרי שמתחילים את השכפול מהשרת החיצוני, צריך לעקוב אחרי השכפול. מידע נוסף זמין במאמר בנושא מעקב אחרי רפליקציה. אחרי הלחיצה אפשר להשלים את ההעברה.

פתרון בעיות

כדאי לנסות את האפשרויות הבאות לפתרון בעיות:

בנוסף, אם אתם משתמשים ב-MySQL, כדאי לשקול גם את האפשרויות הבאות:

בדיקת יומני השכפול

כשמאמתים את הגדרות השכפול, נוצרים יומנים.

כדי לראות את היומנים האלה:

1. נכנסים אל Logs Viewer במסוף Cloud de Confiance .

   כניסה לדף Logs Viewer

2. בתפריט הנפתח Instance (מופע), בוחרים את הרפליקה של Cloud SQL.
3. בוחרים את קובץ היומן replication-setup.log.

אם הרפליקה של Cloud SQL לא מצליחה להתחבר לשרת החיצוני, צריך לוודא את הדברים הבאים:

• חומת אש בשרת החיצוני מוגדרת כך שהיא מאפשרת חיבורים מכתובת ה-IP היוצאת של העותק המשוכפל של Cloud SQL.
• הגדרת ה-SSL/TLS נכונה.
• המשתמש, המארח והסיסמה של השכפול נכונים.

המאמרים הבאים

• מידע נוסף על עדכון של מופע
• מידע נוסף על ניהול רפליקות
• מידע על מעקב אחר מופעים
• מידע נוסף על קידום הרפליקה של Cloud SQL