שכפול משרת חיצוני (גרסה 1)

בדף הזה מוסבר איך ליצור הגדרה שמשכפלת נתונים משרת מסד נתונים של מקור למכונות שכפול של MySQL.

שרת מסד הנתונים של המקור יכול להיות כל שרת MySQL שעומד בכל דרישות השרת, כולל מופעים של Cloud SQL. גם מקרים שמתארחים אצל ספקי ענן אחרים יכולים לשמש כמקור נתונים, בתנאי שהם עומדים בדרישות, כולל תמיכה ב-GTID.

מידע מפורט יותר על ההגדרה הזו זמין במאמר מידע על שכפול משרת חיצוני.

לפני שמתחילים

לפני שמגדירים שכפול משרת חיצוני, צריך לבצע את השלבים הבאים:

• In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

  Roles required to select or create a project

  • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
  • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

  Go to project selector

• Verify that billing is enabled for your Cloud de Confiance project.

• מפעילים את Cloud SQL Admin API.

  תפקידים שנדרשים להפעלת ממשקי API

  כדי להפעיל ממשקי API, צריך את תפקיד ה-IAM 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin), שכולל את ההרשאה serviceusage.services.enable. איך מקצים תפקידים

  להפעלת ה-API

• מתקינים ומאמתים את ה-CLI של gcloud.
• מוודאים שהשרת עומד בדרישות של שרת מסד הנתונים של המקור.
• קובעים את רמת האבטחה הנדרשת לחיבורים בין המופע הראשי לבין העותק המשוכפל, ומשיגים את קובצי האישורים הנדרשים.
• מחליטים באיזה Cloud de Confiance אזור רוצים להשתמש כדי להכיל את העותק המשוכפל של Cloud SQL.

• מכינים את המידע הנדרש על שרת מסד הנתונים של המקור:

  • כתובת IPv4 חיצונית ומספר יציאה

    כברירת מחדל, MySQL משתמש ביציאה 3306.

  • שם המשתמש והסיסמה של חשבון המשתמש בשכפול MySQL
  • מספר הגרסה של MySQL
  • המיקום של כל האישורים והמפתחות הנדרשים של SSL/TLS, בהתאם לרמת האבטחה שבחרתם

• צריך להיות מוכנים לעדכן את חומת האש של הרשת בשרת של מסד הנתונים המקורי כדי לאפשר חיבורים מהרפליקה של Cloud SQL.

  צריך להשלים את השלב הזה תוך 30 דקות ממועד יצירת העותק.

• אם אתם לא בעלי הפרויקט, אתם צריכים לקבל את התפקיד Storage Admin.

הדרישות לגבי שרת מסד הנתונים של המקור

כדי לשכפל משרת חיצוני לרפליקה של Cloud SQL, צריך לוודא ששרת מסד הנתונים של המקור עומד בדרישות ההגדרה הבאות:

• פועלת גרסה 5.6 או 5.7 של MySQL Community Edition.

• היומנים הבינאריים מופעלים. מידע נוסף

• יומנים בינאריים נשמרים מספיק זמן כדי שהשכפול יושלם.

  בדרך כלל, שבוע מספיק. מידע נוסף על הגדרת מדיניות שמירת הנתונים של יומן בינארי

• שימוש ברישום ביומן בינארי שמבוסס על שורות. מידע נוסף

• ה-GTID מופעל, והעקביות של ה-GTID נאכפת.

  מידע נוסף על GTID אפשר לעיין באפשרות החלת עקביות של GTID.

• כל הטבלאות (חוץ מטבלאות במסדי נתונים של המערכת) משתמשות במנוע האחסון InnoDB.

  מידע נוסף על InnoDB מידע נוסף על המרה ל-InnoDB

• חשבון משתמש ב-MySQL עם ההרשאה REPLICATION_SLAVE.

  מגדירים את החשבון הזה כך שיקבל חיבורים מכל מקום (host = %). אפשר להגביל את הגישה למשתמש הזה בשלב מאוחר יותר. אסור להשתמש בחשבון המשתמש הזה למטרה אחרת חוץ משכפול.

  מידע נוסף על הרשאות מידע נוסף על חשבונות משתמשים

• כתובת IPv4 ויציאת TCP שאפשר לגשת אליהן מבחוץ.

תהליך ההגדרה

כדי להגדיר שכפול משרת מסד נתונים חיצוני, מבצעים את השלבים הבאים:

1. יצירת קטגוריה של Cloud Storage לנתונים.
2. ייצוא הנתונים ל-Cloud Storage.
3. הגדרת השכפול

4. מגדירים את שרת מסד הנתונים של המקור כך שיקבל חיבורים מהעותק.

5. הגבלת הגישה למשתמש השכפול של MySQL.

6. איך מסיימים את ההגדרה של העותק

7. מאשרים את סטטוס השכפול.

8. פינוי נפח אחסון

1. יצירת קטגוריה של Cloud Storage לנתונים

יוצרים קטגוריה כדי לאחסן באופן זמני את הנתונים במהלך תהליך הייצוא, או משתמשים בקטגוריה קיימת.

מידע נוסף על יצירת קטגוריה זמין במאמר יצירת קטגוריות ב-Storage. מידע נוסף על התפקיד 'אדמין אחסון' זמין במאמר תפקידי IAM ב-Cloud Storage.

2. ייצוא הנתונים ל-Cloud Storage

העותק המשוכפל מחפש את הנתונים שלו ב-Cloud Storage, ולכן צריך להעתיק לשם את הנתונים של השרת. אפשר להמשיך לאשר פעולות כתיבה לשרת אחרי הייצוא. אחרי שהרפליקה מסיימת לייבא את קובץ ה-dump, היא מתחילה לעבד את כל השינויים שבוצעו מאז הייצוא, ובסופו של דבר היא מתעדכנת בהתאם לשרת הראשי.

ממכונה שמותקן בה ה-CLI של gcloud ושמחוברת לרשת של שרת MySQL, מריצים את הפקודה הבאה:

mysqldump \
    -h [PRIMARY_INSTANCE_IP] -P [PRIMARY_INSTANCE_PORT] -u [USERNAME] -p \
    --databases [DBS]  \
    --hex-blob  --skip-triggers  --master-data=1  \
    --order-by-primary --no-autocommit \
    --default-character-set=utf8mb4 \
    --single-transaction --set-gtid-purged=on | gzip | \
    gcloud storage cp - gs://[BUCKET]/[PATH_TO_DUMP]

If the source of the migration is a Relational Database Service (RDS) for MySQL,
the master-data flag is not supported and should not be specified.
This command might look like the following example:

mysqldump \
    -h [PRIMARY_INSTANCE_IP] -P [PRIMARY_INSTANCE_PORT] -u [USERNAME] -p \
    --databases [DBS]  \
    --hex-blob  --skip-triggers \
    --order-by-primary --no-autocommit \
    --default-character-set=utf8mb4 \
    --single-transaction --set-gtid-purged=on | gzip | \
    gcloud storage cp - gs://[BUCKET]/[PATH_TO_DUMP]

Additionally, you should configure RDS instances to retain binlogs for a
a longer period of time.
This command might look like the following example:

// Sets the retention period to one day.
call mysql.rds_set_configuration('binlog retention hours', 24);

מחליפים את [PROPERTIES_IN_BRACKETS] בערכים הבאים:

אם מוצגת אזהרה לגבי פריקות חלקיות ומזהי GTID, זה צפוי.

הפקודה עשויה להיראות כמו בדוגמה הבאה:

mysqldump \
    -h 192.0.2.1 -P 3306 -u replicationUser \
    --databases guestbook  \
    --hex-blob  --skip-triggers  --master-data=1  \
    --order-by-primary --no-autocommit \
    --default-character-set=utf8mb4 \
    --single-transaction --set-gtid-purged=on | gzip | \
    gcloud storage cp - gs://export-bucket/hq-primary1.sql.gz

3. יצירת הגדרת השכפול

אם העותק משתמש בכתובת IP פרטית, צריך להגדיר את שרת מסד הנתונים של המקור כך שתהיה לו גישה ל-VPC של העותק. יצירת רפליקות ב-VPC פרטי נתמכת רק באמצעות ה-CLI של gcloud ו-Cloud SQL Admin API.

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "name": "[SOURCE_REPRESENTATION_NAME]",
         "region": "[REGION]",
         "databaseVersion": "[MYSQL_VERSION]",
         "onPremisesConfiguration": {
             "hostPort": "[SOURCE_SERVER_IP]:[SOURCE_SERVER_PORT]"
         }
     }' \
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/[PROJECT-ID]/instances

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "name": "hq-primary1",
         "region": "us-central1",
         "databaseVersion": "MYSQL_5_7",
         "onPremisesConfiguration": {
             "hostPort": "192.0.2.0:3306"
         }
     }' \
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/MyProject/instances

{
    "replicaConfiguration": {
        "mysqlReplicaConfiguration": {
            "username": "[USERNAME]",
            "password": "[PASSWORD]",
            "dumpFilePath": "gs://[BUCKET]/[PATH_TO_DUMP]",
            "caCertificate": "[SOURCE_SERVER_CA]",
            "clientCertificate": "[CLIENT_CERT]",
            "clientKey": "[PRIVATE_KEY]"
        }
     },
     "settings": {
         "tier": "[MACHINE_TYPE]",
         "dataDiskSizeGb": "[DISK_SIZE]"
     },
     "masterInstanceName": "[SOURCE_REPRESENTATION_NAME]",
     "region": "[REGION]",
     "databaseVersion": "[MYSQL_VERSION]",
     "name": "[REPLICA_NAME]"
}

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data @[PATH_TO_DATA_FILE] \
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/[PROJECT-ID]/instances

{
    "replicaConfiguration": {
        "mysqlReplicaConfiguration": {
            "username": "replicationUser",
            "password": "486#@%*@",
            "dumpFilePath": "gs://export-bucket/hq-primary1.sql.gz",
            "caCertificate": "[SOURCE_SERVER_CA]",
            "clientCertificate": "[CLIENT_CERT]",
            "clientKey": "[PRIVATE_KEY]"
        }
    },
    "settings": {
        "tier": "db-custom-4-15360",
        "dataDiskSizeGb": "100"
    },
    "masterInstanceName": "hq-primary1",
    "region": "us-central1",
    "databaseVersion": "MYSQL_5_7",
    "name": "hq-primary1-replica1"
}

curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data @./data.json
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/MyProject/instances

כשלרפליקה לקריאה יש גישה לקובץ ה-dump, היא מתחילה את תהליך הייבוא. משך תהליך הייבוא תלוי בגודל קובץ ה-dump, בסוג המכונה של העותק ובסכימת מסד הנתונים. ככלל, צפוי שההעתק ישלים ייבוא של כ-25-50GB לשעה.

העותק יישאר במצב PENDING_CREATE עד שתהליך הייבוא יסתיים, ואז הוא ישתנה למצב RUNNABLE.

4. הגדרת שרת מסד הנתונים של המקור כך שיקבל חיבורים מהעותק

העותק צריך להתחבר לשרת של מסד הנתונים המקורי כדי שהשכפול יצליח. אם שרת מסד הנתונים של המקור נמצא מאחורי חומת אש או הגבלה אחרת ברשת, צריך להפעיל גישה לרשת עבור העותק, באמצעות OUTGOING כתובת ה-IP של העותק. שימו לב שזו לא כתובת ה-IP שמוצגת ברשימה הראשית של העותק במסוף Cloud de Confiance . כדי לאחזר את כתובת ה-IP שלכם, אפשר להעביר את העכבר מעל תיאור הכלי מידע נוסף של כתובת ה-IP, או להשתמש בפקודה gcloud שבהמשך.OUTGOING

1. מאחזרים את כתובות ה-IP של העותק לקריאה:

   gcloud sql instances describe [REPLICA_NAME] --format="default(ipAddresses)"

2. אם צריך, מגדירים את חומת האש של הרשת כדי ששרת מסד הנתונים של המקור יקבל חיבורים מכתובת ה-IP‏ OUTGOING.

3. מוודאים שהרפליקה התחברה בהצלחה לשרת של מסד הנתונים המקורי.

   1. הסמל של העותק בדף רשימת המופעים לא מסתובב יותר והוא ירוק.

   2. נכנסים אל Logs Viewer במסוף Cloud de Confiance .

      כניסה לדף Logs Viewer

   3. בוחרים את העותק המשוכפל מהתפריט הנפתח Instance (מופע).

   4. בוחרים את replication-setup.log קובץ היומן.

      אם העותק לא מצליח להתחבר לשרת של מסד הנתונים המקורי, צריך לוודא את הדברים הבאים:

      • חומת האש בשרת מסד הנתונים של המקור מוגדרת כך שהיא מאפשרת חיבורים מכתובת ה-IP של העותק המשוכפל OUTGOING.
      • הגדרת ה-SSL/TLS שלכם נכונה.
      • המשתמש, המארח והסיסמה של השכפול נכונים.

5. הגבלת הגישה למשתמש השכפול של MySQL

השלב הזה הוא אופציונלי, אבל מומלץ לביצוע מטעמי אבטחה.

משתמש השכפול של MySQL בשרת מסד הנתונים של המקור מוגדר לקבל חיבורים מכל מארח (%). צריך לעדכן את חשבון המשתמש הזה כך שיקבל חיבורים רק מכתובת ה-IP של הרפליקה OUTGOING:

    UPDATE mysql.user SET Host='[OUTGOING_IP]' WHERE Host='%' AND User='[USERNAME]';
    FLUSH PRIVILEGES;

6. סיום הגדרת העותק

1. מגדירים חשבון משתמש בעותק המשוכפל.

   אפשר לעשות את זה באמצעות המסוף Cloud de Confiance , כלי ה-CLI של gcloud או Cloud SQL API. עם זאת, אי אפשר להשתמש בלקוח mysql. מידע נוסף על משתמשי MySQL זמין במאמר משתמשי MySQL.

   כדי ליצור משתמש באמצעות מסוף Cloud de Confiance :

   1. נכנסים לדף Cloud SQL Instances במסוף Cloud de Confiance .
      כניסה לדף Cloud SQL Instances
   2. לוחצים על שם המופע כדי לפתוח את הדף פרטי המופע.
   3. לוחצים על הכרטיסייה משתמשים.
   4. לוחצים על יצירת חשבון משתמש.
   5. בתיבת הדו-שיח יצירת חשבון משתמש, מציינים את הפרטים של המשתמש.
   6. לוחצים על יצירה.

2. מאשרים גישה לרפליקה מכל לקוח שמתכננים להשתמש בו כדי להתחבר לרפליקה באמצעות כתובות IP ציבוריות.

   הוראות מפורטות זמינות במאמר בנושא הוספת כתובת או טווח כתובות מורשים. כדי להתחבר לרפליקה, משתמשים בכתובת ה-IP של הרפליקה PRIMARY. כתובת ה-IP הזו מוצגת במסוף Cloud de Confiance .

   אפשר גם להשתמש בכל שיטת חיבור אחרת כדי להתחבר לרפליקה.

7. אישור סטטוס הרפליקציה

כשהשכפול מסיים לייבא את קובץ ה-dump, הוא מתחבר לשרת המקומי ומחיל את כל העדכונים שבוצעו אחרי הייצוא.

חשוב לבדוק את סטטוס השכפול לפני הפיכת העותק למופע עצמאי. אם תהליך השכפול לא הושלם בהצלחה, העותק המשוכפל שקודם לא יכלול את כל השינויים מהמופע החיצוני.

‫8. (אופציונלי) קידום הרפליקה למופע עצמאי

אחרי שבודקים את סטטוס הרפליקציה, אם רוצים להחליף לחלוטין את שרת מסד הנתונים של המקור ב-Cloud SQL (כלומר לבצע 'העברה'), צריך לקדם את העותק כדי שיהפוך למופע עצמאי ראשי. אחרי שהעותק הופך למופע הראשי, הוא כבר לא מחובר לשרת של מסד הנתונים המקורי.

יוצרים העתק חדש למופע הראשי החדש, ומפעילים מחדש את האפליקציות המתחברות כדי שיצביעו על המופע הראשי החדש (לפעולות כתיבה) או על ההעתק החדש (לפעולות קריאה).

‫9. פינוי מקום באחסון

1. מחיקת קובץ הייצוא:

   gcloud storage rm gs://[BUCKET]/[PATH_TO_DUMP]
   

2. אם אין יותר צורך בקטגוריה, מוחקים אותה:

   gcloud storage rm gs://[BUCKET] --recursive
   

מידע נוסף זמין במאמרי העזרה בנושא Cloud Storage בנושאים מחיקת אובייקטים ומחיקת דליים.

עדכון ההגדרות

כדי לעדכן את הגדרות התצורה מאוחר יותר, אפשר לערוך את מופע ייצוג המקור. אם אתם צריכים לעדכן את הגדרות השרתים המקומיים, שימו לב שאי אפשר לעדכן את hostPort ואת type.

המאמרים הבאים

• מידע נוסף על עדכון של מופע
• מידע נוסף על ניהול עותקים משוכפלים