במדריך הזה נסביר על ניתוח נתונים גיאו-מרחביים. ניתוח נתונים גיאו-מרחביים מאפשר לכם לנתח נתונים גיאו-מרחביים ולהציג אותם ב-BigQuery בקלות.
מטרות
במדריך הזה תלמדו:
- שימוש בפונקציה של ניתוח נתונים גיאו-מרחביים כדי להמיר עמודות של קווי אורך ורוחב לנקודות גיאוגרפיות
- הרצת שאילתה שיוצרת תרשים של נתיב הוריקן
- הצגה חזותית של התוצאות ב-BigQuery
- המחשה חזותית של התוצאות ב-BigQuery Geo Viz
עלויות
BigQuery הוא מוצר בתשלום, ובמהלך ההדרכה הזו תשתמשו ב-BigQuery. BigQuery מציע משאבים מסוימים בחינם עד למגבלה מסוימת. מידע נוסף זמין במאמר פעולות בחינם ורמת שימוש בחינם ב-BigQuery.
לפני שמתחילים
לפני שמתחילים את המדריך הזה, צריך להשתמש במסוף Cloud de Confiance כדי ליצור פרויקט או לבחור פרויקט.
-
In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
- BigQuery מופעל באופן אוטומטי בפרויקטים חדשים.
כדי להפעיל את BigQuery בפרויקט קיים, עוברים אל
אם BigQuery API לא מופעל, מפעילים אותו.
תפקידים שנדרשים להפעלת ממשקי API
כדי להפעיל ממשקי API, נדרשת ההרשאה
serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים - אופציונלי: מפעילים את החיוב בפרויקט. גם אם לא רוצים להפעיל את החיוב או לספק פרטי כרטיס אשראי, אפשר לפעול לפי השלבים שמתוארים במאמר הזה. BigQuery מספק לכם ארגז חול לביצוע השלבים. מידע נוסף זמין במאמר בנושא הפעלת ארגז החול של BigQuery.
עיון בנתונים לדוגמה
במדריך הזה נעשה שימוש במערך נתונים שזמין דרך Cloud de Confiance by S3NS תוכנית מערכי הנתונים הציבוריים. מערך נתונים ציבורי הוא כל מערך נתונים שמאוחסן ב-BigQuery וזמין לציבור הרחב. מערכי הנתונים הציבוריים הם מערכי נתונים שמארחים ב-BigQuery כדי שתוכלו לגשת אליהם ולשלב אותם באפליקציות שלכם. Google משלמת על האחסון של מערכי הנתונים האלה ומספקת גישה ציבורית לנתונים באמצעות פרויקט. משלמים רק על השאילתות שמריצים על הנתונים (ה-1TB הראשון בכל חודש הוא בחינם, בכפוף לפרטי התמחור של השאילתות).
מערך הנתונים Global Hurricane Tracks (IBTrACS)
קבוצת הנתונים של מסלולי הוריקנים גלובליים (IBTrACS)
המיקומים והעוצמות ההיסטוריים לאורך המסלולים של ציקלונים טרופיים (TC) ברחבי העולם מסופקים על ידי International Best Track Archive for Climate Stewardship (ארכיון המסלולים הטובים ביותר הבינלאומי לניהול אקלים, IBTrACS) של NOAA. סופות טרופיות נקראות הוריקנים באגני האוקיינוס האטלנטי הצפוני והאוקיינוס השקט הצפון-מזרחי, טייפונים באגן האוקיינוס השקט הצפון-מערבי, ציקלונים באגני האוקיינוס ההודי הצפוני והדרומי וסופות טרופיות באגן האוקיינוס השקט הדרום-מערבי.
ב-IBTrACS נאספים נתונים על סופות טרופיות שדווחו על ידי מרכזי מעקב בינלאומיים, שמוטלת עליהם האחריות לחזות סופות טרופיות ולדווח עליהן (המאגר כולל גם כמה מערכי נתונים היסטוריים חשובים). המאגר IBTrACS כולל נתונים מ-9 מדינות שונות. בעבר, הנתונים שמתארים את המערכות האלה כללו את ההערכות הטובות ביותר של המסלול והעוצמה שלהן (ומכאן המונח 'המסלול הטוב ביותר').
כדי להתחיל לבדוק את הנתונים האלה במסוף Cloud de Confiance , אפשר להציג את הפרטים של טבלת hurricanes:
מעבר לסכימת הנתונים של הוריקנים
שאילתה לגבי הנתיב של הוריקן מריה בשנת 2017
בקטע הזה של המדריך, תריצו שאילתת GoogleSQL שמחפשת את הנתיב של הוריקן מריה בעונת 2017. כדי לשרטט את המסלול של ההוריקן, צריך לשלוח שאילתה לגבי המיקום של ההוריקן בנקודות זמן שונות.
פרטי שאילתה
השאילתה הבאה ב-GoogleSQL משמשת לאיתור הנתיב של הוריקן מריה.
SELECT ST_GeogPoint(longitude, latitude) AS point, name, iso_time, dist2land, usa_wind, usa_pressure, usa_sshs, (usa_r34_ne + usa_r34_nw + usa_r34_se + usa_r34_sw)/4 AS radius_34kt, (usa_r50_ne + usa_r50_nw + usa_r50_se + usa_r50_sw)/4 AS radius_50kt FROM `bigquery-public-data.noaa_hurricanes.hurricanes` WHERE name LIKE '%MARIA%' AND season = '2017' AND ST_DWithin(ST_GeogFromText('POLYGON((-179 26, -179 48, -10 48, -10 26, -100 -10.1, -179 26))'), ST_GeogPoint(longitude, latitude), 10) ORDER BY iso_time ASC
סעיפי השאילתה מבצעים את הפעולות הבאות:
SELECT ST_GeogPoint(longitude, latitude) AS point, name, iso_time, dist2land, usa_wind, usa_pressure, usa_sshs, (usa_r34_ne + usa_r34_nw + usa_r34_se + usa_r34_sw)/4 AS radius_34kt, (usa_r50_ne + usa_r50_nw + usa_r50_se + usa_r50_sw)/4 AS radius_50kt
- הפסוקית
SELECTבוחרת את כל נתוני מזג האוויר של הסופה ומשתמשת בפונקציהST_GeogPointכדי להמיר את הערכים בעמודותlatitudeו-longitudeלסוגיםGEOGRAPHY(נקודות).
FROMbigquery-public-data.noaa_hurricanes.hurricanes
- The
FROMclause specifies the table being queried:hurricanes.
WHERE name LIKE '%MARIA%' AND season = '2017' AND ST_DWithin(ST_GeogFromText('POLYGON((-179 26, -179 48, -10 48, -10 26, -100 -10.1, -179 26))'), ST_GeogPoint(longitude, latitude), 10)
- clause
WHEREמסנן את הנתונים כך שיוצגו רק הנקודות באוקיינוס האטלנטי שמתאימות להוריקן מריה בעונת ההוריקנים של 2017.
ORDER BY iso_time ASC- הפסקה
ORDER BYמסדרת את הנקודות כך שיווצר נתיב כרונולוגי של הסערה.
הרצה של שאילתה
כדי להריץ את השאילתה באמצעות מסוף Cloud de Confiance :
נכנסים לדף BigQuery במסוף Cloud de Confiance .
מזינים את שאילתת GoogleSQL הבאה באזור הטקסט של עורך השאילתות.
SELECT ST_GeogPoint(longitude, latitude) AS point, name, iso_time, dist2land, usa_wind, usa_pressure, usa_sshs, (usa_r34_ne + usa_r34_nw + usa_r34_se + usa_r34_sw)/4 AS radius_34kt, (usa_r50_ne + usa_r50_nw + usa_r50_se + usa_r50_sw)/4 AS radius_50kt FROM `bigquery-public-data.noaa_hurricanes.hurricanes` WHERE name LIKE '%MARIA%' AND season = '2017' AND ST_DWithin(ST_GeogFromText('POLYGON((-179 26, -179 48, -10 48, -10 26, -100 -10.1, -179 26))'), ST_GeogPoint(longitude, latitude), 10) ORDER BY iso_time ASC
לוחצים על Run.
הרצת השאילתה תימשך כמה רגעים. אחרי שהשאילתה מורצת, התוצאות מופיעות בחלונית Query results.
הדמיה של תוצאות השאילתה ב-BigQuery
כדי להציג את התוצאות ב-BigQuery, פועלים לפי השלבים הבאים:
כדי ליצור תרשים של התוצאות ב-BigQuery, בחלונית Query results (תוצאות השאילתה), לוחצים על Visualization (תרשים).
בעמודה נתונים, בוחרים באפשרות
usa_wind.מוצגת מפה עם נקודות שמייצגות את מיקום ההוריקן לאורך זמן, עם סגנון של טווח צבעים לפי מהירות הרוח.
אופציונלי: כדי לשנות את הנראות של הנקודות, מגדירים את Min ל-0 ובוחרים שיפוע צבע שונה מהרשימה Color.
הצגה חזותית של תוצאות השאילתה ב-Geo Viz
אפשר גם להציג את התוצאות באמצעות BigQuery Geo Viz – כלי אינטרנטי להצגת נתונים גיאו-מרחביים ב-BigQuery באמצעות Google Maps APIs.
הפעלת Geo Viz ואימות
לפני שמשתמשים ב-Geo Viz, צריך לאמת את הגישה לנתונים ב-BigQuery ולאשר אותה.
כדי להגדיר את Geo Viz:
פותחים את כלי האינטרנט Geo Viz.
בשלב הראשון, בחירת נתונים, לוחצים על הרשאה.
בתיבת הדו-שיח בחירת חשבון, לוחצים על חשבון Google.
בתיבת הדו-שיח של הגישה, לוחצים על אישור כדי להעניק ל-Geo Viz גישה לנתוני BigQuery.
הרצת השאילתה ב-Geo Viz
אחרי שמבצעים אימות ומעניקים גישה, השלב הבא הוא להריץ את השאילתה ב-Geo Viz.
כדי להריץ את השאילתה:
בשלב הראשון, Select data (בחירת נתונים), מזינים את מזהה הפרויקט בשדה Project ID (מזהה הפרויקט).
בחלון השאילתה, מזינים את שאילתת GoogleSQL הבאה.
SELECT ST_GeogPoint(longitude, latitude) AS point, name, iso_time, dist2land, usa_wind, usa_pressure, usa_sshs, (usa_r34_ne + usa_r34_nw + usa_r34_se + usa_r34_sw)/4 AS radius_34kt, (usa_r50_ne + usa_r50_nw + usa_r50_se + usa_r50_sw)/4 AS radius_50kt FROM `bigquery-public-data.noaa_hurricanes.hurricanes` WHERE name LIKE '%MARIA%' AND season = '2017' AND ST_DWithin(ST_GeogFromText('POLYGON((-179 26, -179 48, -10 48, -10 26, -100 -10.1, -179 26))'), ST_GeogPoint(longitude, latitude), 10) ORDER BY iso_time ASC
לוחצים על Run.
בסיום השאילתה, לוחצים על הצגת תוצאות. אפשר גם ללחוץ על שלב שני נתונים.
תועברו לשלב השני. בשלב השני, בעמודה Geometry column, בוחרים באפשרות point. הנקודות שמתאימות לנתיב של הוריקן מריה מוצגות בתרשים.
עיצוב ההמחשה ב-Geo Viz
בקטע סגנון מופיעה רשימה של סגנונות חזותיים שאפשר להתאים אישית. מידע נוסף על מאפייני סגנון וערכים זמין במאמר עיצוב הוויזואליזציה.
כדי לעצב את המפה:
לוחצים על הוספת סגנונות בשלב השני או לוחצים על שלב 3 סגנון.
לשנות את הצבע של הנקודות. לוחצים על fillColor.
בחלונית fillColor:
- לוחצים על מבוסס נתונים.
- בקטע פונקציה, בוחרים באפשרות לינארית.
- בשדה Field (שדה), בוחרים באפשרות
usa_wind. - בקטע דומיין, מזינים
0בתיבה הראשונה ו-150בתיבה השנייה. בקטע טווח, לוחצים על התיבה הראשונה ומזינים
#0006ffבתיבה הקסדצימלי. לוחצים על התיבה השנייה ומזינים#ff0000. הפעולה הזו משנה את הצבע של הנקודה בהתאם למהירות הרוח. כחול לרוחות חלשות יותר ואדום לרוחות חזקות יותר.
בודקים את המפה. אם מעבירים את מצביע העכבר מעל אחת מהנקודות, מוצגים נתוני מזג האוויר של הנקודה.

לוחצים על fillOpacity.
בשדה ערך, מזינים 0.5.
בודקים את המפה. צבע המילוי של הנקודות שקוף למחצה.
שינוי הגודל של הנקודות בהתאם לרדיוס של ההוריקן. לוחצים על circleRadius.
בחלונית circleRadius:
- לוחצים על מבוסס נתונים.
- בקטע פונקציה, בוחרים באפשרות לינארית.
- בשדה Field (שדה), בוחרים באפשרות
radius_50kt. - בקטע דומיין, מזינים
0בתיבה הראשונה ו-135בתיבה השנייה. בשדה Range, מזינים
5בתיבה הראשונה ו-135000בתיבה השנייה.
בודקים את המפה. הרדיוס של כל נקודה תואם עכשיו לרדיוס של ההוריקן.
סוגרים את Geo Viz.
הסרת המשאבים
כדי להימנע מחיובים בחשבון Google Cloud בגלל השימוש במשאבים שנעשה במסגרת המדריך הזה, אפשר למחוק את הפרויקט שמכיל את המשאבים, או להשאיר את הפרויקט ולמחוק את המשאבים בנפרד.
- אתם יכולים למחוק את הפרויקט שיצרתם.
- אפשר גם לשמור את הפרויקט לשימוש עתידי.
כדי למחוק את הפרויקט:
- במסוף Cloud de Confiance , נכנסים לדף Manage resources.
- ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
- כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.
המאמרים הבאים
- מידע נוסף על המחשת אפשרויות לניתוח נתונים גיאו-מרחביים זמין במאמר המחשת נתונים גיאו-מרחביים.
- מידע נוסף על עבודה עם נתונים גיאו-מרחביים זמין במאמר עבודה עם נתונים גיאו-מרחביים.
- מידע נוסף על פונקציות גיאוגרפיות שאפשר להשתמש בהן בניתוח נתונים גיאו-מרחביים זמין במאמר פונקציות גיאוגרפיות ב-GoogleSQL.