生成AI組み込みアプリの企画・開発 基礎編2: LLMを用いたプロダクト開発

マルチモーダルとは、テキスト、画像、音声など形式の異なる情報を同時に扱う能力のこと。LLMはエンコーダという仕組みを使い、異なる形式のデータを共通のベクトル空間に変換することでこれを実現している。これにより、PDFや議事録のような非構造化データを統合的に分析・活用できる。この能力は、画像と説明文のペアを大量に学習する「対照学習（CLIPなど）」によって獲得される。