LLM は 大量のデータを使って学習した大規模な自然言語処理モデル で、多くが Transformer ベース 。

自己回帰的なモデルゆえに、一度間違えると、そのコンテキストを引きずる性質がある。

LLM は特に以下の特徴を持ちます：

• 数百億〜数兆のパラメータを持つ（例：GPT-4, LLaMA 2, Claude）。

• 多様なタスク（翻訳、要約、コード生成など）に対応可能。

• 人間のような会話をする AI チャットボットの基盤。

代表的な LLM

• GPT-3 / GPT-4（OpenAI）

• LLaMA 2 / 3（Meta）

• Claude（Anthropic）

• PaLM 2 / Gemini（Google DeepMind）

[LangChain]

LangChainは「ChatGPTの単純なラッパーではなく、AIをより実用的にするための開発フレームワーク」である。

もし 「単純な会話」だけならChatGPTで十分 であるが、

社内データを活用したQAシステム

自動タスク処理（エージェント機能）

外部APIとの統合

などを考えるなら、LangChainを活用する意味がある。

[RAG]

RAG（Retrieval-Augmented Generation：検索拡張生成）とは、ChatGPTやGeminiに代表されるチャットAIに独自の情報源を付与する仕組みのことで、具体的には言語モデルによるテキスト生成に特定の知識や情報源（例えばナレッジベースなど）への検索を組み合わせることである。

[Transformer] 

Transformer は 2017 年に Google の論文 "Attention Is All You Need" で発表されたニューラルネットワークのアーキテクチャで、主に自然言語処理（NLP）に使われている。

特徴

• 自己注意機構（Self-Attention） を使い、文の中の単語同士の関係を効率的に学習。

• 並列処理が可能 で、RNN（Recurrent Neural Network）より高速でスケールしやすい。

• 翻訳や文章生成などのタスク に強い。

代表的な Transformer モデル

• BERT (Bidirectional Encoder Representations from Transformers)

• GPT (Generative Pre-trained Transformer)

• T5 (Text-To-Text Transfer Transformer)

BERTはTransformer アーキテクチャのエンコーダ部分のみを使用した双方向モデルで、生成モデルではなく識別モデルである。