This course on Integrate Vertex AI Search and Conversation into Voice and Chat Apps is composed of a set of labs to give you a hands on experience to interacting with new Generative AI technologies. You will learn how to create end-to-end search and conversational experiences by following examples. These technologies complement predefined intent-based chat experiences created in Dialogflow with LLM-based, generative answers that can be based on your own data. Also, they allow you to porvide enterprise-grade search experiences for internal and external websites to search documents, structure data and public websites.
This course equips full-stack mobile and web developers with the skills to integrate generative AI features into their applications using LangChain. You'll learn how to leverage LangChain’s capabilities for backend flows and seamless model execution, all within the familiar environment of Python. The course guides you through the entire process, from prototyping to production, ensuring a smooth journey in building next-generation AI-powered applications.
이 과정에서는 딥 러닝을 사용해 이미지 캡션 모델을 만드는 방법을 알아봅니다. 인코더 및 디코더와 모델 학습 및 평가 방법 등 이미지 캡션 모델의 다양한 구성요소에 대해 알아봅니다. 이 과정을 마치면 자체 이미지 캡션 모델을 만들고 이를 사용해 이미지의 설명을 생성할 수 있게 됩니다.
이 과정에서는 최근 이미지 생성 분야에서 가능성을 보여준 머신러닝 모델 제품군인 확산 모델을 소개합니다. 확산 모델은 열역학을 비롯한 물리학에서 착안했습니다. 지난 몇 년 동안 확산 모델은 연구계와 업계 모두에서 주목을 받았습니다. 확산 모델은 Google Cloud의 다양한 최신 이미지 생성 모델과 도구를 뒷받침합니다. 이 과정에서는 확산 모델의 이론과 Vertex AI에서 이 모델을 학습시키고 배포하는 방법을 소개합니다.
이 과정은 Transformer 아키텍처와 BERT(Bidirectional Encoder Representations from Transformers) 모델을 소개합니다. 셀프 어텐션 메커니즘 같은 Transformer 아키텍처의 주요 구성요소와 이 아키텍처가 BERT 모델 빌드에 사용되는 방식에 관해 알아봅니다. 또한 텍스트 분류, 질문 답변, 자연어 추론과 같이 BERT를 활용할 수 있는 다양한 작업에 대해서도 알아봅니다. 이 과정은 완료하는 데 대략 45분이 소요됩니다.
이 과정은 기계 번역, 텍스트 요약, 질의 응답과 같은 시퀀스-투-시퀀스(Seq2Seq) 작업에 널리 사용되는 강력한 머신러닝 아키텍처인 인코더-디코더 아키텍처에 대한 개요를 제공합니다. 인코더-디코더 아키텍처의 기본 구성요소와 이러한 모델의 학습 및 서빙 방법에 대해 알아봅니다. 해당하는 실습 둘러보기에서는 TensorFlow에서 시를 짓는 인코더-디코더 아키텍처를 처음부터 간단하게 구현하는 코딩을 해봅니다.
이 과정에서는 신경망이 입력 시퀀스의 특정 부분에 집중할 수 있도록 하는 강력한 기술인 주목 메커니즘을 소개합니다. 주목 메커니즘의 작동 방식과 이 메커니즘을 다양한 머신러닝 작업(기계 번역, 텍스트 요약, 질문 답변 등)의 성능을 개선하는 데 활용하는 방법을 알아봅니다.