GSP1231

Genel Bakış

Google DeepMind tarafından geliştirilen Gemini, çok formatlı kullanım alanları için tasarlanmış bir üretken yapay zeka modeli ailesidir.

Veriyle artırılmış üretim (RAG), LLM'lerin harici verilere erişmesini sağlama konusunda etkisini gittikçe artırdı. Aynı zamanda, halüsinasyonların etkisini azaltmak için bir temellendirme mekanizması olarak da kullanılıyor. RAG modelleri, ilgili dokümanları büyük bir kitaplıktan almak ve alınan dokümanlara göre yanıt üretmek üzere eğitilir. Bu laboratuvarda, hem metin hem de resim içeren bir finansal doküman üzerinde soru-cevap oturumu gerçekleştirmenize olanak tanıyan çok formatlı RAG yapmayı öğreneceksiniz.

Metin tabanlı RAG ile çok formatlı RAG arasındaki farklar

Çok formatlı RAG, metne dayalı RAG'ye kıyasla çeşitli avantajlar sunar:

1. Gelişmiş bilgi erişimi: Çok formatlı RAG, hem metinlerde hem de görsellerde yer alan bilgilere erişip bunları işleyebilir. Böylece LLM'nin yararlanabileceği daha zengin ve kapsamlı bir bilgi tabanı sunar.
2. İyileştirilmiş akıl yürütme becerisi: Çok formatlı RAG, görsel işaretler kullanarak farklı veri formatları söz konusu olduğunda da bilinçli çıkarımlar yapabilir.

Bu laboratuvarda, doküman arama motoru oluşturmak için RAG'yi Vertex AI'da Gemini API, metin yerleştirme ve çok formatlı yerleştirme ile birlikte nasıl kullanacağınız gösterilmektedir.

Ön koşullar

Bu laboratuvara başlamadan önce şunlar hakkında bilgi sahibi olmanız gerekir:

• Python'da temel programlama
• Genel API kavramları
• Vertex AI Workbench'te Jupyter not defterinde Python kodu çalıştırma

Hedefler

Bu laboratuvarda şunları öğreneceksiniz:

• Hem metin hem de görsel içeren dokümanların meta verilerini alma, depolama ve doküman için yerleştirmeler oluşturma
• Meta verilerde, benzer metin veya görselleri bulmak için metin sorgularıyla arama yapma
• Meta verilerde, benzer görselleri bulmak için görsel sorgularıyla arama yapma
• Giriş olarak metin sorgusu kullanıp hem metin hem görsellerde bağlamsal yanıtlar arama

Kurulum ve şartlar

Laboratuvarı Başlat düğmesini tıklamadan önce

Buradaki talimatları okuyun. Laboratuvarlar süreli olduğundan duraklatılamaz. Start Lab'i (Laboratuvarı başlat) tıkladığınızda başlayan zamanlayıcı, Google Cloud kaynaklarının ne süreyle kullanımınıza açık durumda kalacağını gösterir.

Bu uygulamalı laboratuvarı kullanarak, laboratuvar etkinliklerini simülasyon veya demo ortamı yerine gerçek bir bulut ortamında gerçekleştirebilirsiniz. Bunu yapabilmeniz için size yeni, geçici kimlik bilgileri verilir. Bu kimlik bilgilerini laboratuvar süresince Google Cloud'da oturum açmak ve Google Cloud'a erişmek için kullanabilirsiniz.

Bu laboratuvarı tamamlamak için gerekenler:

• Standart bir internet tarayıcısına erişim (Chrome Tarayıcı önerilir)

Not: Bu laboratuvarı çalıştırmak için tarayıcıyı gizli modda (önerilen) veya gizli tarama penceresinde açın. Aksi takdirde, kişisel hesabınızla öğrenci hesabınız arasında oluşabilecek çakışmalar nedeniyle kişisel hesabınızdan ek ücret alınabilir.

• Laboratuvarı tamamlamak için yeterli süre (Laboratuvarlar başlatıldıktan sonra duraklatılamaz.)

Not: Bu laboratuvar için yalnızca öğrenci hesabını kullanın. Farklı bir Google Cloud hesabı kullanırsanız bu hesaptan ödeme alınabilir.

Laboratuvarınızı başlatma ve Google Cloud Console'da oturum açma

1. Laboratuvarı Başlat düğmesini tıklayın. Laboratuvar için ödeme yapmanız gerekiyorsa ödeme yöntemini seçebileceğiniz bir iletişim kutusu açılır. Soldaki "Laboratuvar ayrıntıları" panelinde şunlar yer alır:

   • "Google Cloud konsolunu aç" düğmesi
   • Kalan süre
   • Bu laboratuvarda kullanmanız gereken geçici kimlik bilgileri
   • Bu laboratuvarda ilerlemek için gerekebilecek diğer bilgiler

2. Google Cloud Console'u aç'ı tıklayın (veya Chrome Tarayıcı'yı kullanıyorsanız sağ tıklayıp Bağlantıyı gizli pencerede aç'ı seçin).

   Laboratuvar, kaynakları çalıştırır ve sonra "Oturum aç" sayfasını gösteren başka bir sekme açar.

   İpucu: Sekmeleri ayrı pencerelerde, yan yana açın.

   Not: Hesap seçin iletişim kutusunu görürseniz Başka bir hesap kullan'ı tıklayın.

3. Gerekirse aşağıdaki kullanıcı adını kopyalayıp Oturum açın iletişim kutusuna yapıştırın.

   {{{user_0.username | "Username"}}}

   Kullanıcı adını "Laboratuvar ayrıntıları" panelinde de bulabilirsiniz.

4. İleri'yi tıklayın.

5. Aşağıdaki şifreyi kopyalayıp Hoş geldiniz iletişim kutusuna yapıştırın.

   {{{user_0.password | "Password"}}}

   Şifreyi "Laboratuvar ayrıntıları" panelinde de bulabilirsiniz.

6. İleri'yi tıklayın.

   Önemli: Laboratuvarın sizinle paylaştığı giriş bilgilerini kullanmanız gerekir. Google Cloud hesabınızın kimlik bilgilerini kullanmayın. Not: Bu laboratuvarda kendi Google Cloud hesabınızı kullanabilmek için ek ücret ödemeniz gerekebilir.

7. Sonraki sayfalarda ilgili düğmeleri tıklayarak ilerleyin:

   • Hükümler ve koşulları kabul edin.
   • Geçici bir hesap kullandığınızdan kurtarma seçenekleri veya iki faktörlü kimlik doğrulama eklemeyin.
   • Ücretsiz denemelere kaydolmayın.

Birkaç saniye sonra Google Cloud konsolu bu sekmede açılır.

Not: Google Cloud ürün ve hizmetlerine erişmek için gezinme menüsünü tıklayın veya Arama alanına hizmetin veya ürünün adını yazın.

1. görev: Not defterini Vertex AI Workbench'te açın

1. Google Cloud Console'un gezinme menüsünde () Vertex AI > Workbench (Çalışma Alanı) seçeneğini tıklayın.

2. örneğini bulun ve JupyterLab'i aç düğmesini tıklayın.

Workbench örneğinizin JupyterLab arayüzü, yeni bir tarayıcı sekmesinde açılır.

2. görev: Not defterini ayarlayın

1. dosyasını açın.

2. Select Kernel (Çekirdek Seç) iletişim kutusunda, kullanılabilir çekirdekler listesinden Python 3'ü seçin.

3. Not defterinin Getting Started (Başlangıç) ve Import libraries (Kitaplıkları içe aktarma) bölümlerini inceleyin.

   • Project_ID (Proje kimliği) için , Location (Konum) için değişkenlerini kullanın.

Not: Colab only (Yalnızca Colab) olarak belirtilen not defteri hücrelerini atlayabilirsiniz. Not defteri hücrelerini çalıştırdığınızda 429 yanıtı alırsanız hücreyi tekrar çalıştırmadan önce 1 dakika bekleyin.

Hedefi doğrulamak için Check my progress'i (İlerleme durumumu kontrol et) tıklayın. Python için GenAI SDK'yı yükleyin ve kitaplıkları içe aktarın

İlerleyen bölümlerde, not defterindeki kodları çalıştırarak Gemini API ile çok formatlı RAG sistemi oluşturmanın işleyiş şeklini öğrenin.

3. görev: Özel Python yardımcı programlarını ve gerekli dosyaları indirin

Gemini 2.0 Flash (gemini-2.0-flash) modeli; doğal dil görevleri, kod oluşturma, karşılıklı metin ve kod sohbeti için tasarlanmıştır. Bu bölümde, daha kolay ilerlemenize yardımcı olacak bazı yardımcı işlevleri indirebilirsiniz. Kodu (intro_multimodal_rag_utils.py) doğrudan GitHub'da da görüntüleyebilirsiniz.

1. Bu görevde modeli yüklemek, yardımcı işlevleri indirmek ve Cloud Storage'dan dokümanlar ile görselleri almak için not defteri hücrelerini çalıştırın.

Hedefi doğrulamak için Check my progress'i (İlerleme durumumu kontrol et) tıklayın. Cloud Storage'dan görselleri ve dokümanları indirin

4. görev: Metin ve resim içeren dokümanların meta verilerini oluşturun

Bu laboratuvarda kullandığınız kaynak veriler; şirketin mali performansına, işletme faaliyetlerine, yönetimine ve risk faktörlerine dair kapsamlı genel bakış bilgileri sunan Google-10K'in düzenlenmiş sürümüdür. Orijinal doküman oldukça büyük olduğundan yalnızca 14 sayfalık değiştirilmiş bir sürüm kullanacaksınız. Bu sürüm, 1. Bölüm ve 2. Bölüm olarak ikiye bölünmüştür. Örnek doküman, kısaltılmış olsa da tablo, grafik ve çizelge gibi görsellerle desteklenen metinler içerir.

1. Bu görevde, dokümandaki metin ve görsellerin meta verilerini almak ve depolamak için not defteri hücrelerini çalıştırın.

Not: Dokümandaki metin ve görsellere ait meta verilerin çıkarılacağı ve depolanacağı hücrenin tamamlanması birkaç dakika sürebilir.

Hedefi doğrulamak için Check my progress'i (İlerleme durumumu kontrol et) tıklayın. Belgedeki metin ve görsellerin meta verilerini çıkarıp depolayın

5. görev: Metin arayın

Yerleştirilmiş metin öğeleriyle yapılan basit metin aramasının soruya yanıt verip veremeyeceğini görmek için, aramaya basit bir soruyla başlayalım. Yanıt olarak, farklı hisse türleri için Google'ın hisse başına temel ve seyreltilmiş net gelir değerini görmek istiyoruz.

1. Bu görevde, metin sorgusuyla benzer metin ve görselleri aramak için not defteri hücrelerini çalıştırın.

Hedefi doğrulamak için Check my progress'i (İlerleme durumumu kontrol et) tıklayın. Metin sorgusuyla benzer metinleri arayın

6. görev: Görsel arayın

Kelimelerle arama yapmak yerine gerçek bir resim kullanarak görsel aradığınızı hayal edin. İki yıllık gelir maliyetiyle ilgili sayıların yer aldığı bir tablonuz var. Aynı dokümanda veya birden fazla dokümanda, buna benzeyen diğer görselleri bulmak istiyorsunuz.

Gemini ve yerleştirmelerle desteklenen, kullanıcı girişine dayalı benzer metin ve görselleri tanımlama özelliği, çok formatlı RAG sistemlerinin geliştirilmesi için önemli bir temel oluşturur. Bunu sonraki görevde göreceğiz.

1. Bu görevde, görsel sorgusu girerek benzer görselleri aramak için not defteri hücrelerini çalıştırın.

Not: Bu görevden puan almak için birkaç dakika beklemeniz gerekebilir.

Hedefi doğrulamak için Check my progress'i (İlerleme durumumu kontrol et) tıklayın. Görsel sorgusuyla, benzer görselleri arayın

Karşılaştırmalı Akıl Yürütme

A sınıfı Google hisselerinin, S&P 500 veya diğer teknoloji şirketleri gibi çeşitli değişkenlere kıyasla nasıl performans gösterdiğini ortaya koyan bir grafiğimiz olduğunu varsayalım. C sınıfı hisselerin, bu grafikle kıyaslandığında nasıl bir performans gösterdiğini öğrenmek istiyorsunuz. Benzer bir görsel bulmak yerine, Gemini'dan alakalı görselleri karşılaştırmasını ve hangi hisseye yatırım yapmanız gerektiğini söylemesini isteyebilirsiniz. Daha sonra Gemini, neden bu şekilde düşündüğünü açıklar.

1. Bu görevde, iki görseli karşılaştırmak ve en benzer görseli bulmak için not defteri hücrelerini çalıştırın.

Hedefi doğrulamak için Check my progress'i (İlerleme durumumu kontrol et) tıklayın. Karşılaştırmalı Akıl Yürütme

7. görev: Çok formatlı almayla artırılmış üretim (RAG)

Çok formatlı RAG'yi uygulamak için bildiklerimizi bir araya toplayalım. Çok formatlı RAG'yi uygulamak için önceki bölümlerde öğrendiğiniz tüm öğelerden faydalanacaksınız. Şu adımları uygulayabilirsiniz:

• 1. adım: Kullanıcı, metin biçiminde bir sorgu girer. Yanıta dahil edilmesi beklenen bilgiler, dokümanda mevcuttur ve hem görsellere hem metinlere yerleştirilmiştir.
• 2. adım: Text Search (Metin Arama) bölümündekine benzer bir yöntem kullanılarak dokümanlardaki sayfalarda yer alan tüm metin parçaları bulunur.
• 3. adım: Image Search (Görsel Arama) bölümündekiyle aynı yöntem kullanılarak image_description ile eşleşen kullanıcı sorgusuna göre, sayfalardaki tüm benzer resimleri bulunur.
• 4. adım: 2. ve 3. adımlarda bulunan tüm benzer metin ve görseller, context_text ve context_images olarak birleştirilir.
• 5. adım: Kullanıcı sorgusunun 2. ve 3. adımlarda bulunan metin ve görsel bağlamıyla iletilmesine Gemini yardımcı olabilir. Ayrıca, modelin kullanıcı sorgusunu yanıtlarken hatırlaması gereken bir talimat da eklenebilir.
• 6. adım: Gemini yanıtı oluşturur. Sorguyu yanıtlamak için kullanılan tüm metin ve görselleri kontrol etmek üzere alıntılar yazdırılabilir.

1. Bu görevde, çok formatlı RAG işlemi yapmak için not defteri hücrelerini çalıştırın.

Not: Bu görevden puan almak için birkaç dakika beklemeniz gerekebilir.

Hedefi doğrulamak için Check my progress'i (İlerleme durumumu kontrol et) tıklayın. Alakalı tüm metin ve görselleri kontrol etmek için alıntıları yazdırın

Tebrikler!

Bu laboratuvarda, Çok Formatlı Almayla Artırılmış Üretim (RAG) kullanarak sağlam bir doküman arama motoru oluşturmayı öğrendiniz. Artık hem metin hem de görsel içeren dokümanların meta verilerini alabilir, depolayabilir ve dokümanları yerleştirebilirsiniz. Ayrıca, benzer metin ve görselleri bulmak için meta verilerde metin ve görsel sorgularıyla arama yapmayı da öğrendiniz. Son olarak, metin sorgusunu giriş olarak kullanıp hem metin hem de görsel kullanarak bağlamsal yanıtlar aramayı öğrendiniz.

Sonraki adımlar / Daha fazla bilgi

Gemini hakkında daha fazla bilgi edinmek için aşağıdaki kaynakları inceleyin:

• Gemini'a Genel Bakış
• Vertex AI'da Üretken Yapay Zeka Belgeleri
• YouTube'da Üretken Yapay Zeka
• Vertex AI Tarif Defteri, üretken yapay zeka için özenle seçilmiş çok sayıda aranabilir not defteri içerir.
• Google Cloud Üretken Yapay Zeka deposundaki diğer not defterlerine ve örneklere göz atın.

Google Cloud eğitimi ve sertifikası

...Google Cloud teknolojilerinden en iyi şekilde yararlanmanıza yardımcı olur. Derslerimizde teknik becerilere odaklanırken en iyi uygulamalara da yer veriyoruz. Gerekli yetkinlik seviyesine hızlıca ulaşmanız ve öğrenim maceranızı sürdürebilmeniz için sizlere yardımcı olmayı amaçlıyoruz. Temel kavramlardan ileri seviyeye kadar farklı eğitim programlarımız mevcut. Ayrıca, yoğun gündeminize uyması için talep üzerine sağlanan, canlı ve sanal eğitim alternatiflerimiz de var. Sertifikasyonlar ise Google Cloud teknolojilerindeki becerilerinizi ve uzmanlığınızı doğrulamanıza ve kanıtlamanıza yardımcı oluyor.

Kılavuzun Son Güncellenme Tarihi: 15 Mayıs 2025

Laboratuvarın Son Test Edilme Tarihi: 15 Mayıs 2025

Telif Hakkı 2025 Google LLC. Tüm hakları saklıdır. Google ve Google logosu, Google LLC şirketinin ticari markalarıdır. Diğer tüm şirket ve ürün adları ilişkili oldukları şirketlerin ticari markaları olabilir.