ניפוי באגים בבעיות בחיבור

מבוא

בדרך כלל, בעיות בחיבור משתייכות לאחד משלושת התחומים הבאים:

• מתבצעת התחברות – האם יש לך גישה למכונה דרך הרשת?
• הרשאה – האם יש לכם הרשאה להתחבר למופע?
• אימות – האם מסד הנתונים מקבל את פרטי הכניסה שלכם למסד הנתונים?

כל אחד מהם יכול להתפצל לנתיבים שונים לצורך בדיקה. בקטע הבא מופיעות דוגמאות לשאלות שכדאי לשאול את עצמכם כדי לצמצם את הבעיה:

רשימת משימות לפתרון בעיות בחיבור

• מתבצע חיבור
• כתובת IP פרטית
• האם הפעלת את Service Networking API בפרויקט?
• האם אתם משתמשים ב-VPC משותף?
• האם למשתמש או לחשבון השירות יש את הרשאות ה-IAM הנדרשות לניהול חיבור של גישה לשירותים פרטיים?
• האם חיבור גישה לשירותים פרטיים מוגדר לפרויקט שלכם?
• הקציתם טווח כתובות IP לחיבור הפרטי?
• האם טווח כתובות ה-IP שהוקצה כולל לפחות מרחב של ‎ /24 לכל אזור שבו אתם מתכננים ליצור מופעי postgres?
• אם אתם מציינים טווח כתובות IP שהוקצו למופעי postgres, האם הטווח מכיל לפחות מקום ל-‎ /24 לכל אזור שבו אתם מתכננים ליצור מופעי postgres בטווח הזה?
• האם נוצר חיבור פרטי?
• אם החיבור הפרטי השתנה, האם החיבורים בין רשתות ה-VPC עודכנו?
• האם יומני ה-VPC מציינים שגיאות כלשהן?
• האם כתובת ה-IP של מכשיר המקור היא כתובת שאינה RFC 1918?
• כתובת IP ציבורית
• האם כתובת ה-IP של המקור מופיעה כרשת מורשית?
• האם נדרשים אישורי SSL/TLS?
• האם למשתמש או לחשבון השירות יש את הרשאות ה-IAM הנדרשות כדי להתחבר למופע Cloud SQL?
• אישור הרשאה
• שרת proxy ל-Cloud SQL Auth
• האם שרת ה-Proxy ל-Cloud SQL Auth מעודכן?
• האם שרת ה-Proxy ל-Cloud SQL Auth פועל?
• האם שם החיבור של המופע נוצר בצורה נכונה בפקודת החיבור של שרת ה-proxy ל-Cloud SQL Auth?
• האם בדקת את הפלט של שרת ה-proxy ל-Cloud SQL Auth? מעבירים את הפלט לקובץ או צופים בטרמינל Cloud Shell שבו הפעלתם את שרת ה-proxy ל-Cloud SQL Auth.
• האם למשתמש או לחשבון השירות יש את הרשאות ה-IAM הנדרשות כדי להתחבר למופע Cloud SQL?
• האם הפעלת את Cloud SQL Admin API בפרויקט?
• אם יש לכם מדיניות חומת אש ליציאה, ודאו שהיא מאפשרת חיבורים ליציאה 3307 במכונת היעד של Cloud SQL.
• אם אתם מתחברים באמצעות שקעי דומיין של UNIX, אתם יכולים לוודא שהשקעים נוצרו על ידי הצגת רשימת הספרייה שצוינה באמצעות ‎-dir כשאתם מפעילים את שרת ה-proxy ל-Cloud SQL Auth.
• מחברים של Cloud SQL וקוד ספציפי לשפה
• האם מחרוזת החיבור נוצרה בצורה נכונה?
• האם השוויתם את הקוד שלכם לקוד לדוגמה בשפת התכנות שלכם?
• האם אתם משתמשים בסביבת זמן ריצה או במסגרת שאין לנו עבורה קוד לדוגמה?
• אם כן, חיפשת חומר עזר רלוונטי בקהילה?
• אישורי SSL/TLS בניהול עצמי
• האם הותקן אישור לקוח במחשב המקור?
• האם אישור הלקוח מאוית בצורה נכונה בארגומנטים של החיבור?
• האם אישור הלקוח עדיין בתוקף?
• האם מופיעות שגיאות כשמתחברים באמצעות SSL?
• האם אישור השרת עדיין בתוקף?
• רשתות מורשות
• האם כתובת ה-IP של המקור נכללת?
• האם אתם משתמשים בכתובת IP שהיא לא RFC 1918?
• האם אתם משתמשים בכתובת IP שלא נתמכת?
• כשלים בחיבור
• יש לך הרשאה להתחבר?
• האם מופיעות שגיאות שקשורות למגבלת החיבור?
• האם האפליקציה שלכם סוגרת את החיבורים בצורה תקינה?
• אימות
• אימות מקורי של מסד נתונים (שם משתמש/סיסמה)
• האם מופיעות שגיאות access denied?
• האם שם המשתמש והסיסמה נכונים?
• אימות מסד נתונים ב-IAM
• הפעלת את הדגל cloudsql.iam_authentication במופע?
• האם הוספת קישור למדיניות לחשבון?
• האם אתם משתמשים בשרת proxy ל-Cloud SQL Auth עם -enable_iam_login או עם אסימון OAuth 2.0 כסיסמה למסד הנתונים?
• אם משתמשים בחשבון שירות, האם משתמשים בשם האימייל המקוצר?
• מידע נוסף על אימות מסד נתונים של IAM ב-PostgreSQL

הודעות שגיאה

הודעות שגיאה ספציפיות של API מפורטות בדף ההפניה הודעות שגיאה.

פתרון בעיות נוספות בקישוריות

לבעיות אחרות, אפשר לעיין בקטע במאמר בנושא פתרון בעיות.

בעיות נפוצות בחיבור

מוודאים שהאפליקציה סוגרת את החיבורים בצורה תקינה

אם מופיעות שגיאות שמכילות את המחרוזת Aborted connection nnnn to db:, בדרך כלל זה מצביע על כך שהאפליקציה לא מפסיקה את החיבורים בצורה תקינה. גם בעיות ברשת יכולות לגרום לשגיאה הזו. השגיאה לא אומרת שיש בעיות במופע Cloud SQL. מומלץ גם להריץ את הפקודה tcpdump כדי לבדוק את החבילות ולזהות את מקור הבעיה.

דוגמאות לשיטות מומלצות לניהול חיבורים מפורטות במאמר ניהול חיבורים למסדי נתונים.

מוודאים שהתוקף של האישורים לא פג

אם המופע מוגדר לשימוש ב-SSL, עוברים אל הדף Cloud SQL Instances במסוף Cloud de Confiance ופותחים את המופע. פותחים את הדף Connections (חיבורים), בוחרים בכרטיסייה Security (אבטחה) ומוודאים שאישור השרת תקף. אם התוקף שלו פג, צריך להוסיף אישור חדש ולעבור אליו.

אימות ההרשאה להתחבר

אם החיבורים נכשלים, צריך לבדוק שיש לכם הרשאה להתחבר:

• אם אתם נתקלים בבעיות בחיבור באמצעות כתובת IP, למשל, אם אתם מתחברים מהסביבה המקומית שלכם באמצעות לקוח psql, אתם צריכים לוודא שלכתובת ה-IP שממנה אתם מתחברים יש הרשאה להתחבר למכונת Cloud SQL.

  חיבורים למכונת Cloud SQL באמצעות כתובת IP פרטית מקבלים הרשאה אוטומטית לטווח כתובות RFC 1918. כך, כל הלקוחות הפרטיים יכולים לגשת למסד הנתונים בלי לעבור דרך שרת proxy ל-Cloud SQL Auth. צריך להגדיר טווחי כתובות שהם לא RFC 1918 כרשתות מורשות.

  כברירת מחדל, שירות Cloud SQL לא לומד נתיבים של תת-רשתות שאינן RFC 1918 מה-VPC. כדי לייצא נתיבים שאינם RFC 1918, צריך לעדכן את ה-peering של הרשת ל-Cloud SQL. לדוגמה:

  gcloud compute networks peerings update cloudsql-postgres-googleapis-com \
  --network=NETWORK \
  --export-subnet-routes-with-public-ip \
  --project=PROJECT_ID

• כתובת ה-IP הנוכחית שלך היא:

• אפשר לנסות את הפקודה gcloud sql connect כדי להתחבר למכונה. הפקודה הזו מאשרת את כתובת ה-IP שלכם למשך זמן קצר. אפשר להריץ את הפקודה הזו בסביבה שבה מותקנים ה-CLI של gcloud ולקוח psql. אפשר גם להריץ את הפקודה הזו ב-Cloud Shell, שזמין במסוףCloud de Confiance , וכולל את ה-CLI של gcloud ואת לקוח psql שכבר מותקנים. ‫Cloud Shell מספק מכונה של Compute Engine שבה אפשר להשתמש כדי להתחבר ל-Cloud SQL.
• מאשרים את 0.0.0.0/0 כדי לאפשר לכל כתובות ה-IP להתחבר למכונה באופן זמני.

אימות אופן החיבור

FATAL: database `user` does not exist.

הפקודה gcloud sql connect --user פועלת רק עם משתמש ברירת המחדל (postgres). הפתרון הוא להתחבר באמצעות משתמש ברירת המחדל, ואז להשתמש בפקודה "\c" psql כדי להתחבר מחדש כמשתמש אחר.

קביעת האופן שבו מתבצעת יצירת החיבורים

כדי לראות מידע על החיבורים הנוכחיים, מתחברים למסד הנתונים ומריצים את הפקודה הבאה:

SELECT * from pg_stat_activity ;

חיבורים שמוצגת בהם כתובת IP, כמו 1.2.3.4, מתבצעים באמצעות IP. חיבורים עם cloudsqlproxy~1.2.3.4 משתמשים בשרת proxy ל-Cloud SQL Auth, או שהם נוצרו מ-App Engine. יכול להיות שחיבורים מ-localhost ישמשו חלק מתהליכי Cloud SQL פנימיים.

מגבלות על חיבורים

אין מגבלות על מספר השאילתות לשנייה (QPS) במכונות Cloud SQL. עם זאת, יש מגבלות על החיבור, הגודל והמאפיינים הספציפיים של App Engine. מידע נוסף זמין במאמר בנושא מכסות ומגבלות.

חיבורים למסדי נתונים צורכים משאבים בשרת ובאפליקציה שמבצעת את החיבור. כדי לצמצם את טביעת הרגל של האפליקציה ולהקטין את הסיכוי לחרוג ממגבלות החיבור ב-Cloud SQL, מומלץ תמיד להשתמש בשיטות טובות לניהול חיבורים. איך מנהלים חיבורים למסדי נתונים

הצגת החיבורים והשרשורים

כדי לראות את התהליכים שפועלים במסד הנתונים, משתמשים בטבלה pg_stat_activity:

select * from pg_stat_activity;

הזמן הקצוב לתפוגה של החיבורים (מ-Compute Engine)

החיבורים למכונה של Compute Engine נסגרים אחרי 10 דקות של חוסר פעילות, וזה יכול להשפיע על חיבורים ארוכי טווח שלא נעשה בהם שימוש בין המכונה של Compute Engine לבין המכונה של Cloud SQL. מידע נוסף זמין במאמר רשתות וחומות אש במאמרי העזרה של Compute Engine.

כדי לשמור על חיבורים לא פעילים לטווח ארוך, אפשר להגדיר את הפרוטוקול TCP keepalive. הפקודות הבאות מגדירות את הערך של TCP keepalive לדקה אחת, והופכות את ההגדרה לקבועה גם אחרי הפעלה מחדש של המופע.

הצגת הערך הנוכחי של tcp_keepalive_time.

cat /proc/sys/net/ipv4/tcp_keepalive_time

מגדירים את tcp_keepalive_time ל-60 שניות והופכים את ההגדרה לקבועה בכל הפעלה מחדש.

echo 'net.ipv4.tcp_keepalive_time = 60' | sudo tee -a /etc/sysctl.conf

מחילים את השינוי.

sudo /sbin/sysctl --load=/etc/sysctl.conf

מציגים את הערך של tcp_keepalive_time כדי לוודא שהשינוי הוחל.

cat /proc/sys/net/ipv4/tcp_keepalive_time

כלים לניפוי באגים בקישוריות

tcpdump

‫tcpdump הוא כלי ללכידת חבילות. מומלץ מאוד להריץ את הפקודה tcpdump כדי לתעד ולבדוק את החבילות בין המארח לבין מכונות Cloud SQL כשמבצעים ניפוי באגים בבעיות הקישוריות.

איתור כתובת ה-IP המקומית

אם אתם לא יודעים את הכתובת המקומית של המארח, מריצים את הפקודה ip -br address show. ב-Linux, מוצג ממשק הרשת, הסטטוס של הממשק, כתובת ה-IP המקומית וכתובות ה-MAC. לדוגמה: eth0 UP 10.128.0.7/32 fe80::4001:aff:fe80:7/64.

אפשר גם להריץ את הפקודות ipconfig או ifconfig כדי לראות את הסטטוס של ממשקי הרשת.

בדיקה באמצעות בדיקת קישוריות

בדיקת קישוריות היא כלי אבחון שמאפשר לבדוק את הקישוריות בין נקודות קצה ברשת. הוא מנתח את ההגדרה ובמקרים מסוימים מבצע אימות בזמן ריצה. יש עכשיו תמיכה ב-Cloud SQL. כדי להריץ בדיקות עם מכונות Cloud SQL, פועלים לפי ההוראות האלה.

בדיקת החיבור

אתם יכולים להשתמש בלקוח psql כדי לבדוק את היכולת שלכם להתחבר מהסביבה המקומית. מידע נוסף זמין במאמרים חיבור לקוח psql באמצעות כתובות IP וחיבור לקוח psql באמצעות שרת proxy ל-Cloud SQL Auth.

קביעת כתובת ה-IP של האפליקציה

כדי לזהות את כתובת ה-IP של מחשב שבו האפליקציה פועלת, כדי שתוכלו לאשר גישה למכונה של Cloud SQL מהכתובת הזו, אתם יכולים להשתמש באחת מהאפשרויות הבאות:

• אם המחשב לא נמצא מאחורי שרת proxy או חומת אש, מתחברים למחשב ומשתמשים באפשרות מהי כתובת ה-IP שלי? האתר כדי לקבוע את כתובת ה-IP שלו.
• אם המחשב מוגן על ידי proxy או חומת אש, צריך להתחבר למחשב ולהשתמש בכלי או בשירות כמו whatismyipaddress.com כדי לזהות את כתובת ה-IP האמיתית שלו.

פתיחת יציאות מקומיות

כדי לוודא שהמארח מאזין ליציאות שאתם חושבים שהוא מאזין להן, מריצים את הפקודה ss -tunlp4. כך אפשר לדעת אילו יציאות פתוחות ומאזינות. לדוגמה, אם יש לכם מסד נתונים של PostgreSQL שפועל, היציאה 5432 צריכה להיות פעילה ולהאזין. ב-SSH, אמורה להופיע יציאה 22.

כל פעילות היציאה המקומית

משתמשים בפקודה netstat כדי לראות את כל הפעילות של היציאה המקומית. לדוגמה, הפקודה netstat -lt מציגה את כל היציאות שפעילות כרגע.

התחברות למכונה של Cloud SQL באמצעות telnet

כדי לוודא שאפשר להתחבר למופע Cloud SQL באמצעות TCP, מריצים את הפקודה telnet. פרוטוקול Telnet מנסה להתחבר לכתובת ה-IP ולפורט שציינתם.

אם הפעולה תצליח, תופיע ההודעה הבאה:

Trying 35.193.198.159...

Connected to 35.193.198.159. .

אם הפעולה נכשלת, telnet נתקע עד שמבצעים סגירה בכוח של הניסיון:

Trying 35.193.198.159...

^C. .

אימות לקוח

אימות הלקוח נשלט על ידי קובץ תצורה שנקרא pg_hba.conf (HBA מייצג אימות מבוסס-מארח).

מוודאים שהקטע [client] בקובץ pg_hba.confבמסד הנתונים של המקור עודכן כך שיקבל חיבורים מטווח כתובות ה-IP של ה-VPC ב-Cloud SQL.

Cloud Logging

‫Cloud SQL ו-Cloud SQL משתמשים ב-Cloud Logging. מידע מלא זמין במאמרי העזרה בנושא Cloud Logging. אפשר גם לעיין בשאילתות לדוגמה של Cloud SQL.

צפייה ביומנים

אפשר להציג יומנים של מכונות Cloud SQL ושל פרויקטים אחרים, כמו Cloud VPN או מכונות Compute Engine. Cloud de Confiance by S3NSכדי לראות את הרשומות ביומן של מכונת Cloud SQL:

gcloud logging read "projects/PROJECT_ID/logs/cloudsql.googleapis.com/postgres.log" \
--limit=10

כתובות IP פרטיות

חיבורים למכונת Cloud SQL באמצעות כתובת IP פרטית מקבלים הרשאה אוטומטית לטווח כתובות RFC 1918. צריך להגדיר ב-Cloud SQL טווחי כתובות שהם לא RFC 1918 בתור רשתות מורשות. בנוסף, צריך לעדכן את קישור הרשת בין רשתות שכנות (peering) ל-Cloud SQL כדי לייצא נתיבים שהם לא RFC 1918. לדוגמה:

gcloud compute networks peerings update cloudsql-postgres-googleapis-com 

--network=NETWORK 

--export-subnet-routes-with-public-ip 

--project=PROJECT_ID

פתרון בעיות ב-VPN

אפשר לעיין בדף פתרון בעיות ב-Cloud VPN.