生成AI組み込みアプリの企画・開発 基礎編1: AIのパラダイムシフト

自己教師あり学習とトランスフォーマーアーキテクチャの組み合わせにより、大規模言語モデル（LLM）が誕生しました。

【長期依存関係の困難さ】
再帰的な構造を持つモデルにおいて、文の冒頭と末尾のような離れた単語同士の意味的な関連性を適切に捉えることが困難であった問題。

【トランスフォーマーアーキテクチャ】
2017年に登場した、自己注意機構を用いて入力された文章中のすべての単語ペア間の関連度を一括で計算する仕組み。

【自己注意機構】
単語間の物理的な距離にかかわらず、文脈上重要な関係性を直接的に捉えることを可能にする、トランスフォーマーの中核技術。

【大規模言語モデル（LLM）】
Web上の情報を活用した超大規模なデータセット、トランスフォーマー、自己教師あり学習の3つの要素が組み合わさって誕生した、GPTシリーズに代表される言語モデル。

【事前学習とチューニング】
LLMの学習プロセスは、言語のパターンや知識を幅広く獲得する「事前学習」と、人間の意図に沿うよう追加の学習を行う「チューニング」の2つのフェーズに分かれます。