יצירת טבלה עם הפעלה של זרם שינויים ותיעוד השינויים

בעזרת סנכרון שינויים בזרמי נתונים ב-Bigtable, אפשר לתעד ולעבד שינויים בנתונים בזמן אמת, כדי ליצור תהליכי עבודה מבוססי-אירועים וניתוח נתונים במורד הזרם. במדריך למתחילים הזה מוסבר איך להפעיל סנכרון שינויים בזרמי נתונים בטבלה, להריץ פייפליין עיבוד נתונים ולצפות בעדכוני הנתונים שמוזרמים.

לפני שמתחילים

  1. בדף לבחירת הפרויקט במסוף Cloud de Confiance , בוחרים פרויקט ב- Cloud de Confiance או יוצרים אותו.

    תפקידים שנדרשים כדי לבחור או ליצור פרויקט

    • Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
    • יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים

    כניסה לדף לבחירת הפרויקט

  2. מוודאים שהחיוב מופעל בפרויקט Cloud de Confiance .

  3. מפעילים את ממשקי ה-API‏ Dataflow,‏ Cloud Bigtable API ו-Cloud Bigtable Admin API, אם הם עדיין לא מופעלים.

    תפקידים שנדרשים להפעלת ממשקי API

    כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

    הפעלת ממשקי ה-API

  4. במסוף Cloud de Confiance , מפעילים את Cloud Shell.

    הפעלת Cloud Shell

יצירת טבלה עם הפעלה של זרם שינויים

  1. נכנסים לדף Instances של Bigtable במסוף Cloud de Confiance .

    כניסה לדף Instances

  2. לוחצים על המזהה של המופע שבו משתמשים במדריך למתחילים הזה.

    אם אין לכם מכונה זמינה, אתם יכולים ליצור מכונה עם הגדרות ברירת המחדל באזור שקרוב אליכם.

  3. בחלונית הניווט שמשמאל, לוחצים על Tables (טבלאות).

  4. לוחצים על יצירת טבלה.

  5. נותנים לטבלה את השם change-streams-quickstart.

  6. מוסיפים קבוצת עמודות בשם cf.

  7. בוחרים באפשרות הפעלת מקור נתונים לשינויים.

  8. לוחצים על יצירה.

הפעלת צינור נתונים כדי לתעד את זרם השינויים

  1. ב-Cloud Shell, מריצים את הפקודות הבאות כדי להוריד את הקוד ולהריץ אותו.

    git clone https://github.com/GoogleCloudPlatform/java-docs-samples.git
cd java-docs-samples/bigtable/beam/change-streams
mvn compile exec:java -Dexec.mainClass=ChangeStreamsHelloWorld \
"-Dexec.args=--project=PROJECT_ID --bigtableProjectId=PROJECT_ID \
--bigtableInstanceId=BIGTABLE_INSTANCE_ID --bigtableTableId=change-streams-quickstart \
--runner=dataflow --region=BIGTABLE_REGION --experiments=use_runner_v2"

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫PROJECT_ID: מזהה הפרויקט שבו אתם משתמשים
    • ‫BIGTABLE_INSTANCE_ID: המזהה של המכונה שמכילה את הטבלה החדשה
    • ‫BIGTABLE_REGION: האזור שבו נמצאת מכונת Bigtable, למשל us-east5

  2. נכנסים לדף Dataflow במסוף Cloud de Confiance .

    מעבר אל Dataflow

  3. לוחצים על העבודה עם שם שמתחיל ב-changestreamquickstart.

  4. בתחתית המסך, לוחצים על הצגה כדי לפתוח את חלונית היומנים.

  5. לוחצים על Worker logs (יומני עובדים) כדי לעקוב אחרי הפלט של מקור הנתונים.

  6. ב-Cloud Shell, כותבים נתונים ל-Bigtable כדי לראות את התהליך של מקור הנתונים לשינויים.

    cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
import change-streams-quickstart quickstart-data.csv column-family=cf

  7. במסוף Cloud de Confiance , מוודאים שההגדרה Severity (חומרה) מוגדרת לערך Info לפחות.

  8. הפלט של יומן העובדים מכיל את השורה הבאה:

    Change captured: user123#2023,USER,SetCell,cf,col1,abc
Change captured: user546#2023,USER,SetCell,cf,col1,def
Change captured: user789#2023,USER,SetCell,cf,col1,ghi

הסרת המשאבים

כדי לא לצבור חיובים לחשבון Cloud de Confiance על המשאבים שבהם השתמשתם בדף הזה:

  1. השבתת עדכון השינויים בטבלה

    gcloud bigtable instances tables update change-streams-quickstart --instance=BIGTABLE_INSTANCE_ID \
--clear-change-stream-retention-period

  2. מחיקת הטבלה change-streams-quickstart:

    cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID deletetable change-streams-quickstart

  3. עוצרים את צינור עיבוד הנתונים של שינוי השידור:

    1. נכנסים לדף Jobs ב-Dataflow במסוף Cloud de Confiance .

      מעבר אל Jobs

    2. בוחרים את משימת הסטרימינג מרשימת המשימות.

    3. בסרגל הניווט, לוחצים על עצירה.

    4. בתיבת הדו-שיח Stop job (הפסקת העבודה), מבטלים את הצינור ולוחצים על Stop job (הפסקת העבודה).

  4. אופציונלי: אם יצרתם מופע חדש בשביל המדריך הזה למתחילים, אתם יכולים למחוק אותו:

    cbt deleteinstance BIGTABLE_INSTANCE_ID

המאמרים הבאים