שימוש בניתוח נתונים גיאו-מרחביים כדי לשרטט את המסלול של הוריקן

במדריך הזה נסביר על ניתוח נתונים גיאו-מרחביים. ניתוח נתונים גיאו-מרחביים מאפשר לכם לנתח נתונים גיאו-מרחביים ולהציג אותם ב-BigQuery בקלות.

מטרות

במדריך הזה תלמדו:

  • שימוש בפונקציה של ניתוח נתונים גיאו-מרחביים כדי להמיר עמודות של קווי אורך ורוחב לנקודות גיאוגרפיות
  • הרצת שאילתה שיוצרת תרשים של נתיב הוריקן
  • הצגה חזותית של התוצאות ב-BigQuery
  • המחשה חזותית של התוצאות ב-BigQuery Geo Viz

עלויות

‫BigQuery הוא מוצר בתשלום, ובמהלך ההדרכה הזו תשתמשו ב-BigQuery. ‫BigQuery מציע משאבים מסוימים בחינם עד למגבלה מסוימת. מידע נוסף זמין במאמר פעולות בחינם ורמת שימוש בחינם ב-BigQuery.

לפני שמתחילים

לפני שמתחילים את המדריך הזה, צריך להשתמש במסוף Cloud de Confiance כדי ליצור פרויקט או לבחור פרויקט.

  1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. ‫BigQuery מופעל באופן אוטומטי בפרויקטים חדשים. כדי להפעיל את BigQuery בפרויקט קיים, עוברים אל

    אם BigQuery API לא מופעל, מפעילים אותו.

    תפקידים שנדרשים להפעלת ממשקי API

    כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

    להפעלת ה-API

  3. אופציונלי: מפעילים את החיוב בפרויקט. גם אם לא רוצים להפעיל את החיוב או לספק פרטי כרטיס אשראי, אפשר לפעול לפי השלבים שמתוארים במאמר הזה. ‫BigQuery מספק לכם ארגז חול לביצוע השלבים. מידע נוסף זמין במאמר בנושא הפעלת ארגז החול של BigQuery.

עיון בנתונים לדוגמה

במדריך הזה נעשה שימוש במערך נתונים שזמין דרך Cloud de Confiance by S3NS תוכנית מערכי הנתונים הציבוריים. מערך נתונים ציבורי הוא כל מערך נתונים שמאוחסן ב-BigQuery וזמין לציבור הרחב. מערכי הנתונים הציבוריים הם מערכי נתונים שמארחים ב-BigQuery כדי שתוכלו לגשת אליהם ולשלב אותם באפליקציות שלכם. ‫Google משלמת על האחסון של מערכי הנתונים האלה ומספקת גישה ציבורית לנתונים באמצעות פרויקט. משלמים רק על השאילתות שמריצים על הנתונים (ה-1TB הראשון בכל חודש הוא בחינם, בכפוף לפרטי התמחור של השאילתות).

מערך הנתונים Global Hurricane Tracks (IBTrACS)

קבוצת הנתונים של מסלולי הוריקנים גלובליים (IBTrACS)

המיקומים והעוצמות ההיסטוריים לאורך המסלולים של ציקלונים טרופיים (TC) ברחבי העולם מסופקים על ידי International Best Track Archive for Climate Stewardship (ארכיון המסלולים הטובים ביותר הבינלאומי לניהול אקלים, IBTrACS) של NOAA. סופות טרופיות נקראות הוריקנים באגני האוקיינוס האטלנטי הצפוני והאוקיינוס השקט הצפון-מזרחי, טייפונים באגן האוקיינוס השקט הצפון-מערבי, ציקלונים באגני האוקיינוס ההודי הצפוני והדרומי וסופות טרופיות באגן האוקיינוס השקט הדרום-מערבי.

ב-IBTrACS נאספים נתונים על סופות טרופיות שדווחו על ידי מרכזי מעקב בינלאומיים, שמוטלת עליהם האחריות לחזות סופות טרופיות ולדווח עליהן (המאגר כולל גם כמה מערכי נתונים היסטוריים חשובים). המאגר IBTrACS כולל נתונים מ-9 מדינות שונות. בעבר, הנתונים שמתארים את המערכות האלה כללו את ההערכות הטובות ביותר של המסלול והעוצמה שלהן (ומכאן המונח 'המסלול הטוב ביותר').

כדי להתחיל לבדוק את הנתונים האלה במסוף Cloud de Confiance , אפשר להציג את הפרטים של טבלת hurricanes:

מעבר לסכימת הנתונים של הוריקנים

שאילתה לגבי הנתיב של הוריקן מריה בשנת 2017

בקטע הזה של המדריך, תריצו שאילתת GoogleSQL שמחפשת את הנתיב של הוריקן מריה בעונת 2017. כדי לשרטט את המסלול של ההוריקן, צריך לשלוח שאילתה לגבי המיקום של ההוריקן בנקודות זמן שונות.

פרטי שאילתה

השאילתה הבאה ב-GoogleSQL משמשת לאיתור הנתיב של הוריקן מריה.

SELECT
  ST_GeogPoint(longitude, latitude) AS point,
  name,
  iso_time,
  dist2land,
  usa_wind,
  usa_pressure,
  usa_sshs,
  (usa_r34_ne + usa_r34_nw + usa_r34_se + usa_r34_sw)/4 AS radius_34kt,
  (usa_r50_ne + usa_r50_nw + usa_r50_se + usa_r50_sw)/4 AS radius_50kt
FROM
  `bigquery-public-data.noaa_hurricanes.hurricanes`
WHERE
  name LIKE '%MARIA%'
  AND season = '2017'
  AND ST_DWithin(ST_GeogFromText('POLYGON((-179 26, -179 48, -10 48, -10 26, -100 -10.1, -179 26))'),
    ST_GeogPoint(longitude, latitude), 10)
ORDER BY
  iso_time ASC

סעיפי השאילתה מבצעים את הפעולות הבאות:

  • SELECT ST_GeogPoint(longitude, latitude) AS point, name, iso_time, dist2land, usa_wind, usa_pressure, usa_sshs, (usa_r34_ne + usa_r34_nw + usa_r34_se + usa_r34_sw)/4 AS radius_34kt, (usa_r50_ne + usa_r50_nw + usa_r50_se + usa_r50_sw)/4 AS radius_50kt
    ‫
    הפסוקית SELECT בוחרת את כל נתוני מזג האוויר של הסופה ומשתמשת בפונקציה ST_GeogPoint כדי להמיר את הערכים בעמודות latitude ו-longitude לסוגים GEOGRAPHY (נקודות).
  • FROM bigquery-public-data.noaa_hurricanes.hurricanes
    ‫
    The FROM clause specifies the table being queried: hurricanes.
  • WHERE name LIKE '%MARIA%' AND season = '2017' AND ST_DWithin(ST_GeogFromText('POLYGON((-179 26, -179 48, -10 48, -10 26, -100 -10.1, -179 26))'), ST_GeogPoint(longitude, latitude), 10)
    ‫
    clause WHERE מסנן את הנתונים כך שיוצגו רק הנקודות באוקיינוס האטלנטי שמתאימות להוריקן מריה בעונת ההוריקנים של 2017.
  • ORDER BY iso_time ASC
    הפסקה ORDER BY מסדרת את הנקודות כך שיווצר נתיב כרונולוגי של הסערה.

הרצה של שאילתה

כדי להריץ את השאילתה באמצעות מסוף Cloud de Confiance :

  1. נכנסים לדף BigQuery במסוף Cloud de Confiance .

    לדף BigQuery

  2. מזינים את שאילתת GoogleSQL הבאה באזור הטקסט של עורך השאילתות.

    SELECT
      ST_GeogPoint(longitude, latitude) AS point,
      name,
      iso_time,
      dist2land,
      usa_wind,
      usa_pressure,
      usa_sshs,
      (usa_r34_ne + usa_r34_nw + usa_r34_se + usa_r34_sw)/4 AS radius_34kt,
      (usa_r50_ne + usa_r50_nw + usa_r50_se + usa_r50_sw)/4 AS radius_50kt
    FROM
      `bigquery-public-data.noaa_hurricanes.hurricanes`
    WHERE
      name LIKE '%MARIA%'
      AND season = '2017'
      AND ST_DWithin(ST_GeogFromText('POLYGON((-179 26, -179 48, -10 48, -10 26, -100 -10.1, -179 26))'),
        ST_GeogPoint(longitude, latitude), 10)
    ORDER BY
      iso_time ASC
  3. לוחצים על Run.

    הרצת השאילתה תימשך כמה רגעים. אחרי שהשאילתה מורצת, התוצאות מופיעות בחלונית Query results.

    תוצאות של שאילתה לגבי הוריקן מריה ב-BigQuery

הדמיה של תוצאות השאילתה ב-BigQuery

כדי להציג את התוצאות ב-BigQuery, פועלים לפי השלבים הבאים:

  1. כדי ליצור תרשים של התוצאות ב-BigQuery, בחלונית Query results (תוצאות השאילתה), לוחצים על Visualization (תרשים).

  2. בעמודה נתונים, בוחרים באפשרות usa_wind.

    מוצגת מפה עם נקודות שמייצגות את מיקום ההוריקן לאורך זמן, עם סגנון של טווח צבעים לפי מהירות הרוח.

  3. אופציונלי: כדי לשנות את הנראות של הנקודות, מגדירים את Min ל-0 ובוחרים שיפוע צבע שונה מהרשימה Color.

הדמיה של תוצאות שאילתה לגבי הוריקן מריה ב-BigQuery

הצגה חזותית של תוצאות השאילתה ב-Geo Viz

אפשר גם להציג את התוצאות באמצעות BigQuery Geo Viz – כלי אינטרנטי להצגת נתונים גיאו-מרחביים ב-BigQuery באמצעות Google Maps APIs.

הפעלת Geo Viz ואימות

לפני שמשתמשים ב-Geo Viz, צריך לאמת את הגישה לנתונים ב-BigQuery ולאשר אותה.

כדי להגדיר את Geo Viz:

  1. פותחים את כלי האינטרנט Geo Viz.

    פתיחת הכלי האינטרנטי Geo Viz

  2. בשלב הראשון, בחירת נתונים, לוחצים על הרשאה.

    כפתור ההרשאה של Geo Viz

  3. בתיבת הדו-שיח בחירת חשבון, לוחצים על חשבון Google.

    תיבת דו-שיח לבחירת חשבון

  4. בתיבת הדו-שיח של הגישה, לוחצים על אישור כדי להעניק ל-Geo Viz גישה לנתוני BigQuery.

    מתן גישה לתיבת הדו-שיח של Geo Viz

הרצת השאילתה ב-Geo Viz

אחרי שמבצעים אימות ומעניקים גישה, השלב הבא הוא להריץ את השאילתה ב-Geo Viz.

כדי להריץ את השאילתה:

  1. בשלב הראשון, Select data (בחירת נתונים), מזינים את מזהה הפרויקט בשדה Project ID (מזהה הפרויקט).

  2. בחלון השאילתה, מזינים את שאילתת GoogleSQL הבאה.

    SELECT
      ST_GeogPoint(longitude, latitude) AS point,
      name,
      iso_time,
      dist2land,
      usa_wind,
      usa_pressure,
      usa_sshs,
      (usa_r34_ne + usa_r34_nw + usa_r34_se + usa_r34_sw)/4 AS radius_34kt,
      (usa_r50_ne + usa_r50_nw + usa_r50_se + usa_r50_sw)/4 AS radius_50kt
    FROM
      `bigquery-public-data.noaa_hurricanes.hurricanes`
    WHERE
      name LIKE '%MARIA%'
      AND season = '2017'
      AND ST_DWithin(ST_GeogFromText('POLYGON((-179 26, -179 48, -10 48, -10 26, -100 -10.1, -179 26))'),
        ST_GeogPoint(longitude, latitude), 10)
    ORDER BY
      iso_time ASC
  3. לוחצים על Run.

  4. בסיום השאילתה, לוחצים על הצגת תוצאות. אפשר גם ללחוץ על שלב שני נתונים.

  5. תועברו לשלב השני. בשלב השני, בעמודה Geometry column, בוחרים באפשרות point. הנקודות שמתאימות לנתיב של הוריקן מריה מוצגות בתרשים.

    תוצאות ממופות ב-BigQuery Geo Viz

עיצוב ההמחשה ב-Geo Viz

בקטע סגנון מופיעה רשימה של סגנונות חזותיים שאפשר להתאים אישית. מידע נוסף על מאפייני סגנון וערכים זמין במאמר עיצוב הוויזואליזציה.

כדי לעצב את המפה:

  1. לוחצים על הוספת סגנונות בשלב השני או לוחצים על שלב 3 סגנון.

  2. לשנות את הצבע של הנקודות. לוחצים על fillColor.

  3. בחלונית fillColor:

    1. לוחצים על מבוסס נתונים.
    2. בקטע פונקציה, בוחרים באפשרות לינארית.
    3. בשדה Field (שדה), בוחרים באפשרות usa_wind.
    4. בקטע דומיין, מזינים 0 בתיבה הראשונה ו-150 בתיבה השנייה.
    5. בקטע טווח, לוחצים על התיבה הראשונה ומזינים #0006ff בתיבה הקסדצימלי. לוחצים על התיבה השנייה ומזינים #ff0000. הפעולה הזו משנה את הצבע של הנקודה בהתאם למהירות הרוח. כחול לרוחות חלשות יותר ואדום לרוחות חזקות יותר.

      הוספת צבע מילוי ב-BigQuery Geo Viz

  4. בודקים את המפה. אם מעבירים את מצביע העכבר מעל אחת מהנקודות, מוצגים נתוני מזג האוויר של הנקודה.

    פרטים על נקודה במפה

  5. לוחצים על fillOpacity.

  6. בשדה ערך, מזינים 0.5.

    שינוי השקיפות של מילוי המפה ב-BigQuery Geo Viz

  7. בודקים את המפה. צבע המילוי של הנקודות שקוף למחצה.

  8. שינוי הגודל של הנקודות בהתאם לרדיוס של ההוריקן. לוחצים על circleRadius.

  9. בחלונית circleRadius:

    1. לוחצים על מבוסס נתונים.
    2. בקטע פונקציה, בוחרים באפשרות לינארית.
    3. בשדה Field (שדה), בוחרים באפשרות radius_50kt.
    4. בקטע דומיין, מזינים 0 בתיבה הראשונה ו-135 בתיבה השנייה.
    5. בשדה Range, מזינים 5 בתיבה הראשונה ו-135000 בתיבה השנייה.

      הוספת רדיוס של מעגל ב-BigQuery Geo Viz

  10. בודקים את המפה. הרדיוס של כל נקודה תואם עכשיו לרדיוס של ההוריקן.

    מפה סופית של BigQuery Geo Viz

  11. סוגרים את Geo Viz.

הסרת המשאבים

כדי להימנע מחיובים בחשבון Google Cloud בגלל השימוש במשאבים שנעשה במסגרת המדריך הזה, אפשר למחוק את הפרויקט שמכיל את המשאבים, או להשאיר את הפרויקט ולמחוק את המשאבים בנפרד.

  • אתם יכולים למחוק את הפרויקט שיצרתם.
  • אפשר גם לשמור את הפרויקט לשימוש עתידי.

כדי למחוק את הפרויקט:

  1. במסוף Cloud de Confiance , נכנסים לדף Manage resources.

    כניסה לדף Manage resources

  2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
  3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

המאמרים הבאים