GSP1154

סקירה כללית

‫‏Vertex AI היא פלטפורמה מקיפה לפיתוח למידת מכונה, שכוללת גם יכולות חיזוי (prediction) וגם יכולות של AI גנרטיבי. באמצעותה תוכלו לאמן, לבדוק ולפרוס מודלים לחיזוי של למידת מכונה, ולמצוא, לכוונן ולהוסיף מודלים של AI גנרטיבי כדי לייצר תוכן.

באמצעות Vertex AI Studio תוכלו לבדוק ולהתאים אישית מודלים של AI גנרטיבי, כדי לנצל את היכולות של הבינה המלאכותית באפליקציות. הפלטפורמה כוללת מגוון כלים ומשאבים, וגם דוגמאות לממשקי משתמש (UI) ולקוד, כדי שיהיה לכם קל להתחיל להשתמש ב-AI גנרטיבי גם בלי רקע קודם בלמידת מכונה.

בשיעורי ה-Lab המעשיים האלה תלמדו על Vertex AI Studio, הפלטפורמה שתאפשר לכם לנצל את הפוטנציאל שטמון במודלים חדשניים של AI גנרטיבי. תכירו את Gemini multimodal, ותשתמשו בו כדי לנתח תמונות, לעצב הנחיות וליצור שיחות ישירות במסוף Google Cloud. לא צריך אף API או SDK של Python. הכל נגיש בממשק משתמש אינטואיטיבי.

מטרות

בשיעור ה-Lab הזה תבצעו את המשימות הבאות:

• ניתוח תמונות באמצעות Gemini multimodal.
• הכרת היכולות של multimodal.
• עיצוב הנחיות במצב חופשי ובמצב מובנה.
• יצירת שיחות.

הגדרה ודרישות

לפני שלוחצים על הלחצן Start Lab (התחלת המעבדה)

עליכם לקרוא את ההוראות האלו. המעבדות מוגבלות בזמן ואי אפשר להשהות אותן. הטיימר מתחיל כשלוחצים על Start Lab ומראה את משך הזמן שבו תוכלו להשתמש במשאבים ב-Google Cloud.

במעבדה המעשית הזו של Qwiklabs, תוכלו לבצע את פעילויות המעבדה בעצמכם בסביבת ענן אמיתית, ולא בהדמיה או בסביבה להדגמה. לשם כך, יינתנו לכם פרטי כניסה זמניים שאיתם תיכנסו ותיגשו אל Google Cloud במשך הפעילות של המעבדה.

מה צריך?

כדי להשלים את המעבדה, תצטרכו:

• גישה לדפדפן אינטרנט סטנדרטי (מומלץ להשתמש בדפדפן Chrome).
• זמן להשלמת המעבדה.

הערה: אם כבר יש לכם פרויקט או חשבון Google Cloud אישי משלכם, אין להשתמש בו במעבדה הזו.

הערה: אם משתמשים במכשיר עם Chrome OS, צריך לפתוח חלון אנונימי כדי להריץ את המעבדה הזו.

איך מתחילים שיעור מעשי ונכנסים אל Google Cloud Console

1. לוחצים על הלחצן Start Lab (התחלת השיעור המעשי). אם זה שיעור בתשלום, יקפוץ חלון שבו בוחרים אמצעי תשלום. מימין יש חלונית עם פרטי כניסה זמניים שמולאו מראש. צריך להשתמש בפרטים האלו בשיעור המעשי הזה.

   

2. מעתיקים את שם המשתמש ואז לוחצים על Open Google Console (פתיחת Google Console). יופעלו משאבים במעבדה, ואז ייפתח הדף Sign in (כניסה) בכרטיסייה נפרדת.

   

   טיפ: כדאי לפתוח את הכרטיסיות בחלונות נפרדים, אחד לצד השני.

3. בדף Sign in (כניסה), מדביקים את שם המשתמש שהעתקתם מהחלונית Connection Details (פרטי התחברות). אחר כך מעתיקים ומדביקים את הסיסמה.

   חשוב: צריך להשתמש בפרטי הכניסה מהחלונית Connection Details. אין להשתמש בפרטי הכניסה של Qwiklabs. אם יש לכם חשבון Google Cloud משלכם, אל תשתמשו בו בשיעור המעשי הזה (כך תימנעו מחיוב בתשלום).

4. לוחצים כדי לעבור את הדפים הבאים:

   • הסכמה לתנאים ולהגבלות.
   • אין להוסיף אפשרויות שחזור או אימות דו-שלבי (כי החשבון הזה זמני).
   • אין להירשם לתקופות ניסיון בחינם.

לאחר כמה דקות, Cloud Console ייפתח בכרטיסייה הזו.

הפעלה של Vertex AI API

1. במסוף Google Cloud, מזינים Vertex AI API בסרגל החיפוש העליון.

2. לוחצים על התוצאה של Vertex AI API בקטע Marketplace & APIs.

3. לוחצים על Enable.

כדי לוודא שהמטרה הושגה, לוחצים על Check my objectives.

Enable the Vertex AI API

משימה 1. ניתוח תמונות באמצעות Gemini multimodal

1. במסוף Google Cloud בתפריט הניווט (), עוברים אל Artificial Intelligence‏ > Vertex AI > ‏Vertex AI Studio > ‏Overview.

הערה: אם אתם לא רואים את Vertex AI בתפריט הניווט, צריך ללחוץ על התפריט הנפתח More Products.

תראו ארבעה פיצ'רים: Multimodal‏, Language,‏ Vision ו-Speech. בשיעור ה-Lab הזה נתמקד בשניים הראשונים.

2. בקטע Multimodal powered by Gemini, לוחצים על Try Gemini.

הערה: ה-UI מחולק לשלושה חלקים:

‫Prompt (למעלה): כאן אפשר ליצור משימה שנעזרת ביכולות של multimodal.

‫Configuration (מימין): בחלק הזה אפשר לבחור מודלים, להגדיר פרמטרים ולקבל את הקוד התואם.

‫Response (למטה): כאן מופיעות תוצאות המשימה.

3. נותנים להנחיה את השם Image analysis.

4. מורידים את התמונה לדוגמה. לוחצים לחיצה ימנית על התמונה של לוח הזמנים ושומרים אותה בשולחן העבודה.

5. עכשיו ניצור שם לתמונה. לוחצים על Insert media >‏ Upload from computer בפינה הימנית העליונה ומעלים את התמונה של לוח הזמנים. אפשר להעלות תמונות או סרטונים. מעתיקים את ההנחיה הבאה ולוחצים על Submit.

Title the image.

אפשר גם להיות יותר ספציפיים:

Title the image in 3 words.

האם השם תואם לציפיות שלכם? נסו לשנות את ההנחיה כדי לראות אם אתם מקבלים תוצאות שונות.

6. עכשיו ננסה ליצור תיאור לתמונה. מחליפים את ההנחיה הקודמת בהנחיה הבאה ולוחצים על Submit.

Describe the image in detail.

7. נסו לכוון את הפרמטר באמצעות גלילה משמאל (0) לימין (1) ולשלוח שוב את ההנחיה. האם התוצאה החדשה שונה מהקודמת?

הערה: הטמפרטורה שולטת במידת האקראיות בבחירת האסימון. טמפרטורות נמוכות טובות להנחיות עם ציפייה לתשובה נכונה או מדויקת, ואילו טמפרטורות גבוהות יכולות להוביל לתוצאות יותר מגוונות או לא צפויות. כשהטמפרטורה היא 0, תמיד נבחר האסימון עם ההסתברות הכי גבוהה.

8. ננסה לחלץ את הטקסט מהתמונה. מחליפים את ההנחיה הקודמת בהנחיה הבאה:

Read the text in the image.

אם רוצים שהתשובה תהיה בצורה של רשימה, אפשר להשתמש בהנחיה הבאה:

Parse the time and city in this image into a list with two columns: time and city.

עכשיו תורכם! נסו להשתמש בהנחיות שונות. במה שונות התוצאות החדשות?

9. ננסה לנתח את המידע שבתמונה. מחליפים את ההנחיה הקודמת בהנחיה הבאה:

Calculate the percentage of the flights to different continents.

האם התוצאה תואמת לציפיות שלכם? אתם מוזמנים לנסות הנחיות שונות למשימות אחרות, וגם להתנסות בהגדרות שונות לטמפרטורה כדי לראות את השינויים בתוצאות.

10. לסיום, שומרים את ההנחיה. כשההנחיה מוכנה, לוחצים על Save בפינה הימנית העליונה כדי לשמור אותה, ואז שוב על Save כדי לאשר את השמירה. כדי לראות את ההנחיות השמורות, לוחצים על Multimodal >‏ My prompts.

כדי לוודא שהמטרה הושגה, לוחצים על Check my objectives.

Extract the content of the image.

משימה 2. הכרת היכולות של multimodal

‫Gemini multimodal יכול לקבל קלט של תמונות וטקסט, אבל גם של סרטונים, וליצור פלט של טקסט. אתם מוזמנים להעלות סרטון קצר ולהתנסות בהנחיות שונות כדי לנסות אותו בעצמכם. תוכלו להשתמש בסרטון הזה לדוגמה: gs://spls/gsp154/video/train.mp4 (תצוגה מקדימה).

ל-Gemini multimodal יש יכולות רבות, כמו כתיבת סיפורים מתמונות, ניתוח סרטונים ויצירת מודעות מולטימדיה. תוכלו ללחוץ על Multimodal > ‏Sample Prompts כדי לנסות שימושים שונים בו. למידע נוסף על עיצוב הנחיות ל-multimodal

משימה 3. עיצוב הנחיות במצב חופשי ובמצב מובנה

1. בתפריט Vertex AI, בדף Vertex AI Studio >‏ Overview, לוחצים על סמל הפתיחה ליד Language Powered by Gemini.

יצירת הנחיה

באמצעות Create Prompt אפשר לעצב הנחיות למשימות שרלוונטיות לתרחיש העסקי לדוגמה, כולל יצירת קוד.

לוחצים על הלחצן Text Prompt כמו שמוצג בתמונה למטה. יכול להיות שהממשק בפועל יהיה שונה קצת מצילום המסך.

תוכלו להעביר את העכבר מעל הלחצנים עם ? או ללחוץ על הלחצנים האלה שבצד ימין של הדף כדי לקבל מידע נוסף על כל שדה ופרמטר, כמו מגבלת אסימון וטמפרטורה.

עיצוב הנחיות

אפשר להזין למודל את טקסט הקלט שרוצים, למשל שאלה. המודל יחזיר תשובה על סמך המבנה של ההנחיה שלכם. התהליך של תכנון ועיצוב של טקסט הקלט הטוב ביותר (הנחיה) כדי לקבל את התשובה הרצויה מהמודל נקרא עיצוב הנחיות.

אין שיטה אחת שהיא הכי טובה לעיצוב הנחיות. אפשר להשתמש ב-3 שיטות כדי לעצב את התשובה של המודל:

• יצירת הנחיות מאפס – בשיטה הזאת נותנים ל-LLM הנחיה שמתארת את המשימה בלי נתונים נוספים. לדוגמה, אם רוצים שה-LLM יענה על שאלה, נותנים את ההנחיה "מהו עיצוב הנחיות?".
• יצירת הנחיות מדוגמה אחת – בשיטה הזו נותנים ל-LLM דוגמה יחידה לגבי המשימה שמבקשים ממנו לבצע. לדוגמה, אם רוצים שה-LLM יכתוב שיר, אפשר לתת לו דוגמה אחת לשיר.
• יצירת הנחיות מכמה דוגמאות – בשיטה הזו נותנים ל-LLM מספר קטן של דוגמאות לגבי המשימה שמבקשים ממנו לבצע. לדוגמה, אם רוצים שה-LLM יכתוב כתבה, אפשר לספק לו כמה כתבות.

אפשר גם לראות את הכרטיסיות FREE-FORM ו-STRUCTURED. אלה שני המצבים שבהם תוכלו להשתמש לעיצוב ההנחיה.

• מצב FREE-FORM – גישה חופשית ונוחה לעיצוב ההנחיה שלכם. המצב הזה מתאים להנחיות קצרות וניסיוניות, ללא דוגמאות נוספות. אתם תשתמשו בו כדי להתנסות ביצירת הנחיות מאפס.
• מצב STRUCTURED – גישה נוחה לעיצוב הנחיות באמצעות תבנית. במצב הזה ניתן להוסיף הקשר ומספר דוגמאות להנחיה. הוא שימושי במיוחד ליצירת הנחיות מדוגמה אחת או מכמה דוגמאות, ואתם תתנסו בשיטות האלה בהמשך.

---

מצב FREE-FORM

ננסה את השיטה ליצירת הנחיות מאפס במצב FREE-FORM.

1. מעתיקים את ההנחיה הבאה לשדה ההנחיה להזנת קלט. חשוב לשמור על ההגדרה הקיימת של המודל, הגדרת ברירת המחדל, שהיא gemini-1.0-pro-002. הערה: שם המודל עשוי להשתנות בגרסאות חדשות יותר של המודל.

What is a prompt gallery?

2. לוחצים על הלחצן SUBMIT בצד ימין של הדף.

המודל ישיב בהתאם להגדרה מקיפה של המונח מגלריית ההנחיות.

אלה כמה תרגילים שאתם יכולים לנסות:

• שנו את ערך הפרמטר Token limit ל-1 ולחצו על הלחצן שליחה.
• שנו את ערך הפרמטר Token limit ל-1024 ולחצו על הלחצן SUBMIT.
• שנו את ערך הפרמטר Temperature ל-0.5 ולחצו על הלחצן SUBMIT.
• שנו את ערך הפרמטר Temperature ל-1.0 ולחצו על הלחצן SUBMIT.

בדקו איך התשובות משתנות בהתאם לשינוי הפרמטרים.

---

מצב STRUCTURED

במצב STRUCTURED תוכלו לעצב הנחיות בשיטות מאורגנות יותר. אפשר לספק הקשר (Context) ודוגמאות (Examples) בשדות המתאימים להזנת הקלט. זו הזדמנות טובה ללמוד על השיטות ליצירת הנחיות מדוגמה אחת ומכמה דוגמאות.

בקטע הזה אתם תבקשו מהמודל להשלים משפט.

1. חוזרים לחלון Text Prompt.
2. בראש הדף, לוחצים על הכרטיסייה STRUCTURED.
3. מסירים את הטקסט מהשדה Context
4. בשדה Test מעתיקים את המשפט הבא לשדה INPUT.

the color of the sky is הערה: תוכלו לכתוב את המילה color באיות הבריטי, colour, אם זה האיות הנכון במדינה שלכם.

5. לוחצים על הלחצן SUBMIT בצד ימין של הדף.

במקום להשלים את המשפט המודל החזיר משפט מלא כתשובה, וזו לא התשובה שרציתם. נסו להשפיע על התשובה של המודל בעזרת יצירת הנחיות מדוגמה אחת. הפעם אתם תוסיפו דוגמה כדי שהמודל יבסס עליה את הפלט.

בשדה Examples, מבצעים את הפעולות הבאות:

1. מוסיפים את הטקסט הבא לשדה INPUT:

the color of the grass is

2. מוסיפים את הטקסט הבא לשדה OUTPUT:

the color of the grass is green

3. לוחצים על הלחצן SUBMIT בצד ימין של הדף.

הצלחתם להשפיע על הדרך שבה המודל מייצר תשובות.

---

בתרגול הבא תשתמשו במודל כדי לבצע ניתוח סנטימנטים במשפט, למשל כדי לברר אם ביקורת על סרט היא חיובית או שלילית.

1. חוזרים לחלון Text Prompt.
2. בשדה Examples מוחקים את הטקסט הקודם של הקלט והפלט לדשא הירוק.
3. בשדה Test מעתיקים את ההנחיה הבאה לשדה INPUT.

It was a time well spent!

4. לוחצים על הלחצן SUBMIT בצד ימין של הדף.

למודל לא היה מספיק מידע כדי לזהות אם ביקשתם ממנו לבצע ניתוח סנטימנטים. כדי לשפר את התשובה, תנו למודל מספר דוגמאות שממחישות את התוצאה הרצויה.

נסו להוסיף את התשובות האלו שמוצגות בתמונה למטה:

קלט	פלט
A well-made and entertaining film	חיובי
I fell asleep after 10 minutes	שלילי
The movie was ok	ניטרלי

אחר כך לחצו על הלחצן SUBMIT בצד ימין של הדף.

עכשיו המודל מספק סנטימנט לגבי טקסט הקלט. לטקסט It was a time well spent!, הסנטימנט הוא חיובי.

אתם יכולים גם לשמור את העיצוב של ההנחיה החדשה: נותנים לה שם, למשל sentiment analysis test, לוחצים על Save ובוחרים את האזור של שיעור ה-Lab. לוחצים על SAVE.

(אם מופיעה שגיאה בניסיון השמירה, לוחצים על Retry)

ההנחיה שנשמרה תופיע בכרטיסייה MY PROMPTS.

---

כדי לוודא שהמטרה הושגה, לוחצים על Check my objectives.

Create prompts with text

משימה 4: יצירת שיחות

בעזרת Create Chat Prompt אפשר לנהל שיחה חופשית עם המודל, שעוקב אחרי מה שכבר נאמר ועונה לפי ההקשר.

1. חוזרים לדף Language.
2. לוחצים על הלחצן TEXT CHAT כדי ליצור הנחיית שיחה חדשה.

3. ב-Model, בוחרים בגרסה האחרונה של chat-bison. יוצג הדף של הנחיית השיחה החדשה.

בקטע הזה תוסיפו הקשר לשיחה כדי שהמודל יענה בהתאם להקשר שניתן.

4. מוסיפים את ההקשר הבא לשדה Context:

Your name is Roy. You are a support technician of an IT department. You only respond with "Have you tried turning it off and on again?" to any queries.

5. מוסיפים את הטקסט הבא לתיבת השיחה שבקטע Responses:

My computer is so slow

6. מקישים על המקש Enter או לוחצים על Send message (לחצן החץ ימינה).

ההקשר הנוסף יילקח בחשבון במודל, שיענה על השאלות במסגרת האילוצים.

7. נותנים שם להנחיה, לוחצים על Save ובוחרים את האזור של שיעור ה-Lab. לוחצים על SAVE.

כדי לוודא שהמטרה הושגה, לוחצים על Check my objectives.

Create conversations with chat prompt

כל הכבוד!

למדתם איך לנתח תמונה באמצעות multimodal, הכרתם את היכולות השונות שלו, יצרתם ובדקתם הנחיה ויצרתם שיחה. עשיתם את הצעד הראשון בתהליך השימוש ב-Vertex AI Studio וב-Gemini multimodal!

הדרכה והסמכה של Google Cloud

יעזרו לכם להפיק את המרב מהאמצעים הטכנולוגיים של Google Cloud. השיעורים שלנו מכילים מיומנויות טכניות ושיטות מומלצות כדי שתוכלו להתחיל לעבוד מהר ולהמשיך ללמוד ולהתפתח. נציג את העקרונות הבסיסיים להכשרה ברמה מתקדמת, עם אפשרויות וירטואליות, שידורים חיים או על פי דרישה, בהתאם ללוח הזמנים העמוס שלכם. בעזרת ההסמכות תוכלו לאשר ולאמת את המיומנות והמומחיות שלכם באמצעים הטכנולוגיים של Google Cloud.

המדריך עודכן לאחרונה ב-17 באפריל 2024

שיעור ה-Lab נבדק לאחרונה ב-17 באפריל 2024

זכויות יוצרים 2026 Google LLC. כל הזכויות שמורות. Google והלוגו של Google הם סימנים מסחריים רשומים של Google LLC. שמות של חברות ומוצרים אחרים עשויים להיות סימנים מסחריים של החברות, בהתאמה, שאליהן הם משויכים.