GSP1210

Descripción general

En este lab, se presenta Gemini, una familia de modelos de IA generativa multimodal desarrollados por Google. Usarás la API de Gemini para explorar cómo Gemini Flash puede entender y generar respuestas basadas en texto, imágenes y videos.

Las capacidades multimodales de Gemini te permiten realizar las siguientes tareas:

• Analizar imágenes: Detecta objetos, comprende las interfaces de usuario, interpreta diagramas y compara similitudes y diferencias visuales.
• Procesar videos: Genera descripciones, extrae etiquetas y momentos destacados, y responde preguntas sobre el contenido de los videos.

Experimentarás con estas funciones a través de tareas prácticas con la API de Gemini en Vertex AI.

Requisitos previos

Antes de comenzar este lab, debes tener los siguientes conocimientos:

• Programación de Python básica
• Conceptos generales sobre APIs
• Ejecución de código de Python en un notebook de Jupyter en Vertex AI Workbench

Objetivos

En este lab, aprenderás a hacer lo siguiente:

• Interactuar con la API de Gemini en Vertex AI
• Usar el modelo Gemini Flash para analizar imágenes y videos
• Proporcionar a Gemini instrucciones de texto, imágenes y videos para generar respuestas informativas
• Explorar aplicaciones prácticas de las capacidades multimodales de Gemini

Configuración y requisitos

Antes de hacer clic en el botón Comenzar lab

Lee estas instrucciones. Los labs cuentan con un temporizador que no se puede pausar. El temporizador, que comienza a funcionar cuando haces clic en Comenzar lab, indica por cuánto tiempo tendrás a tu disposición los recursos de Google Cloud.

Este lab práctico te permitirá realizar las actividades correspondientes en un entorno de nube real, no en uno de simulación o demostración. Para ello, se te proporcionan credenciales temporales nuevas que utilizarás para acceder a Google Cloud durante todo el lab.

Para completar este lab, necesitarás lo siguiente:

• Acceso a un navegador de Internet estándar. Se recomienda el navegador Chrome.

Nota: Usa una ventana del navegador privada o de incógnito (opción recomendada) para ejecutar el lab. Así evitarás conflictos entre tu cuenta personal y la cuenta de estudiante, lo que podría generar cargos adicionales en tu cuenta personal.

• Tiempo para completar el lab (recuerda que, una vez que comienzas un lab, no puedes pausarlo).

Nota: Usa solo la cuenta de estudiante para este lab. Si usas otra cuenta de Google Cloud, es posible que se apliquen cargos a esa cuenta.

Cómo iniciar tu lab y acceder a la consola de Google Cloud

1. Haz clic en el botón Comenzar lab. Si debes pagar por el lab, se abrirá un diálogo para que selecciones la forma de pago. A la izquierda, se encuentra el panel Detalles del lab, que tiene estos elementos:

   • El botón para abrir la consola de Google Cloud
   • El tiempo restante
   • Las credenciales temporales que debes usar para el lab
   • Otra información para completar el lab, si es necesaria

2. Haz clic en Abrir la consola de Google Cloud (o haz clic con el botón derecho y selecciona Abrir el vínculo en una ventana de incógnito si ejecutas el navegador Chrome).

   El lab inicia recursos y abre otra pestaña en la que se muestra la página de acceso.

   Sugerencia: Ordena las pestañas en ventanas separadas, una junto a la otra.

   Nota: Si ves el diálogo Elegir una cuenta, haz clic en Usar otra cuenta.

3. De ser necesario, copia el nombre de usuario a continuación y pégalo en el diálogo Acceder.

   {{{user_0.username | "Username"}}}

   También puedes encontrar el nombre de usuario en el panel Detalles del lab.

4. Haz clic en Siguiente.

5. Copia la contraseña que aparece a continuación y pégala en el diálogo Te damos la bienvenida.

   {{{user_0.password | "Password"}}}

   También puedes encontrar la contraseña en el panel Detalles del lab.

6. Haz clic en Siguiente.

   Importante: Debes usar las credenciales que te proporciona el lab. No uses las credenciales de tu cuenta de Google Cloud. Nota: Usar tu propia cuenta de Google Cloud para este lab podría generar cargos adicionales.

7. Haz clic para avanzar por las páginas siguientes:

   • Acepta los Términos y Condiciones.
   • No agregues opciones de recuperación o autenticación de dos factores (esta es una cuenta temporal).
   • No te registres para obtener pruebas gratuitas.

Después de un momento, se abrirá la consola de Google Cloud en esta pestaña.

Nota: Para acceder a los productos y servicios de Google Cloud, haz clic en el menú de navegación o escribe el nombre del servicio o producto en el campo Buscar.

Tarea 1: Abre el notebook en Vertex AI Workbench

1. En el menú de navegación () de la consola de Google Cloud, haz clic en Vertex AI > Workbench.

2. Busca la instancia y haz clic en el botón Abrir JupyterLab.

La interfaz de JupyterLab para tu instancia de Workbench se abrirá en una pestaña nueva del navegador.

Tarea 2. Configura el notebook

1. Abre el archivo .

2. En el cuadro de diálogo Select Kernel, elige Python 3 en la lista de kernels disponibles.

3. Ejecuta las secciones Getting Started e Import libraries del notebook.

   • Para Project ID, usa , y para Location, usa .

Nota: Puedes omitir las celdas del notebook que tienen la indicación Colab only. Si recibes una respuesta 429 de cualquiera de las ejecuciones de celda del notebook, espera 1 minuto antes de volver a ejecutar la celda para continuar.

Tarea 3: Usa el modelo Gemini Flash

Gemini Flash es un modelo multimodal que es compatible con las instrucciones multimodales. Puedes incluir texto, imágenes y video en las solicitudes de instrucciones y obtener respuestas de texto o código.

En esta tarea, ejecutarás las celdas del notebook para ver cómo usar el modelo de Gemini Flash. Regresa aquí para revisar tu progreso a medida que completes los objetivos.

Comprensión de imágenes en varias imágenes

Una de las capacidades de Gemini es razonar en varias imágenes. En este ejemplo, usarás Gemini para calcular el costo total de alimentos usando una imagen de frutas y una lista de precios.

Ejecuta la sección Image understanding across multiple images del notebook.

Haz clic en Revisar mi progreso para verificar el objetivo. Comprender imágenes en varias imágenes

Comprensión de interfaces y pantallas

Gemini también puede extraer información de pantallas de dispositivos, IU, capturas de pantalla, íconos y diseños. En este ejemplo, usarás Gemini para extraer información a partir de una estufa para ayudar a un usuario a navegar la IU y responder en diferentes idiomas:

Ejecuta la sección Understanding Screens and Interfaces del notebook.

Haz clic en Revisar mi progreso para verificar el objetivo. Comprender interfaces y pantallas

Comprensión de relaciones entre entidades en diagramas técnicos

Gemini tiene capacidades multimodales que le permiten comprender diagramas y tomar medidas prácticas, como optimización o generación de código. En este ejemplo, verás cómo Gemini puede descifrar un diagrama de relación de entidades (ER), comprender las relaciones entre tablas, identificar requisitos de optimización en un entorno específico como BigQuery e incluso generar el código correspondiente.

Ejecuta la sección Understanding entity relationships in technical diagrams del notebook.

Haz clic en Revisar mi progreso para verificar el objetivo. Comprender las relaciones entre entidades en diagramas técnicos

Recomendaciones basadas en varias imágenes

Gemini puede comparar imágenes y ofrecer recomendaciones. Esto puede ser útil en industrias como el comercio electrónico y de venta minorista. En este ejemplo, usarás Gemini para recomendar qué par de lentes sería más adecuado para una cara ovalada.

Ejecuta la sección Recommendations based on multiple images del notebook.

Haz clic en Revisar mi progreso para verificar el objetivo. Generar recomendaciones basadas en varias imágenes

Similitudes y diferencias

Gemini puede comparar imágenes e identificar similitudes o diferencias entre objetos. En este ejemplo, usarás Gemini para comparar dos imágenes de la misma ubicación e identificar las diferencias entre ellas.

Ejecuta la sección Similarity/Differences del notebook.

Haz clic en Revisar mi progreso para verificar el objetivo. Identificar similitudes y diferencias

Generación de una descripción de video

Gemini puede generar una descripción de un video. En este ejemplo, usarás Gemini para generar una descripción de un video de una costa mediterránea.

Ejecuta la sección Generating a video description del notebook.

Haz clic en Revisar mi progreso para verificar el objetivo. Generación de una descripción de video

Extracción de etiquetas de objetos a lo largo del video

Gemini también puede extraer etiquetas a lo largo de un video. En este ejemplo, usarás Gemini para extraer etiquetas de objetos a lo largo de un video de una sesión fotográfica y generar hashtags.

Ejecuta la sección Extracting tags of objects throughout the video del notebook.

Haz clic en Revisar mi progreso para verificar el objetivo. Extracción de etiquetas de objetos a lo largo del video

Formulación de preguntas adicionales sobre un video

Gemini puede responder preguntas sobre un video. En este ejemplo, usarás Gemini para responder preguntas sobre el video y devolver una respuesta de JSON.

Ejecuta la sección Asking more questions about a video del notebook.

Haz clic en Revisar mi progreso para verificar el objetivo. Formulación de preguntas adicionales sobre un video

Recuperación de información adicional más allá del video

Gemini también puede recuperar información adicional más allá del video. En este ejemplo, usarás Gemini para recuperar información adicional del video, como hacer preguntas específicas sobre una ruta de tren.

Ejecuta la sección Retrieving extra information beyond the video del notebook.

Haz clic en Revisar mi progreso para verificar el objetivo. Recuperación de información adicional más allá del video

¡Felicitaciones!

Ya completaste el lab. Aprendiste a usar la API de Gemini en Vertex AI para generar respuestas a partir de instrucciones de texto e imágenes.

Próximos pasos/Más información

Consulta los siguientes recursos para obtener más información sobre Gemini:

• Descripción general de Gemini
• Documentación sobre IA generativa en Vertex AI
• IA generativa en YouTube
• Explora la guía de soluciones de Vertex AI para ver una galería de notebooks seleccionada sobre la IA generativa en la que puedes realizar búsquedas.
• Explora otros notebooks y ejemplos en el repositorio de IA generativa de Google Cloud.

Capacitación y certificación de Google Cloud

Recibe la formación que necesitas para aprovechar al máximo las tecnologías de Google Cloud. Nuestras clases incluyen habilidades técnicas y recomendaciones para ayudarte a avanzar rápidamente y a seguir aprendiendo. Para que puedas realizar nuestros cursos cuando más te convenga, ofrecemos distintos tipos de capacitación de nivel básico a avanzado: a pedido, presenciales y virtuales. Las certificaciones te ayudan a validar y demostrar tus habilidades y tu conocimiento técnico respecto a las tecnologías de Google Cloud.

Última actualización del manual: 25 de marzo de 2025

Prueba más reciente del lab: 25 de marzo de 2025

Copyright 2025 Google LLC. All rights reserved. Google y el logotipo de Google son marcas de Google LLC. Los demás nombres de productos y empresas pueden ser marcas de las respectivas empresas a las que estén asociados.