# 生成AIパスポート学習メモ_1018 CNN 畳み込みニュートラルネットワーク Convultional畳み込み Neural Networkの略称。画像認識において効果的なモデル。 ある画像を学習する際に、小さなフィルターを画像上で動かして徐々に一部から全部の特徴を抽出していく畳み込み処理を行う。 VAE 変文自己符号化器 Variational AutoEncoderの略称。データの時限削減や生成に使われるモデル。 Transformerモデル以降の機械学習 画像や時系列データの処理を得意としたCNNやRNNには、大規模データの読み込みや並列処理に向かないという課題があった。そこで、2017年に「Attention is All you Need」という論文は発表され、Transformerモデルが開発された。 中心になるのはAttentionという注意機構。RNNでは前から順に処理するため、文章中の離れた単語同士の関係性（代名詞がどの単語を指すか？）などの推測をするのは苦手だったが、Attention機構を用いることで文章中全体の文脈を踏まえて関係性の推測ができるようになった。 Transformerモデルは、入力を読み取って文章の特徴を数値化するEncoderと左の特徴値をもとに文章を生成するDecoderの２つの構造に支えられている。 後述する派生モデルのGPTはDecoder、BERTはEncoderを中心に作られている GPTモデル 2018年にOpenAIが開発。大量のテキストデータを学習して、新しい文章を生成する、Transformerを元にしたモデル。 BERTモデル bidirectional双方向の Encoder入力文章読み取り Representations from Transformersの略称。2018年にGoogleが、Transformerモデルの一部をもとに開発。単語の意味を決定する時に、前後の単語を利用して双方向的に意味を決定する。MLMという穴あき学習方式によって訓練されている。NSPという、ある文と別の文が続くかどうかを予測する特徴もある。 RoBERTモデル 2019年にFacebookAIが開発したモデル。BERTの10倍のデータ量で学習させている。MLMによる学習は踏襲しつつ、NSPは省略した。 ALBERTモデル BERTを軽量化したモデル。googleが開発。 GPTシリーズの学習データセット GPTは世代ごとに学習させたデータ量がことなる。 ■GPT-1（2018）：1億1700万トークン 　・Book Corpusという未出版の書籍約7000冊から構成されたデータセット ■GPT-2（2019）：約15億トークン 　・WebTextというデータセット。Redditで高評価を得た投稿の、引用元になっているWebページを中心に集めて質の高い文章を取り込もうとした。 ■GPT-3（2020）：約1750億トークン 　・Web、書籍、Wikipediaを中心に構成されたかなり大規模なデータセット。 　・ただし、インターネット上の攻撃的な文章も学習したため倫理的にそぐわない回答が生成されるようになったことから、2022年にInstruct-GPTモデルをもとにしたGPT-3.5が開発されることになる。 ■GPT-3.5（2022）：約3550億トークン ・GPT-3で不適切な回答が生成されることの反省として、Instruct-GPTモデルを使用し、大規模なデータセットを用いながらも、生成される回答は人間のフィードバックに基づいた適切な範囲になるように矯正された。 　・一般用に公開されたChatGPTは、3.5モデルをもとに作られている。 ■GPT-4（2023年）：約1兆7600億トークン 　・詳細なデータセットは公開されていないが、インターネット上の公開情報やライセンス契約に基づくデータを利用したことが説明されている。 ※InstructGPT GPT-3.5の開発時に不適切なデータをもとに不適切な回答をすることがみられたため、2022年にGPT-3をもとに、RLHF（reinforcement learing human feedback）で人間によるフィードバックで回答を矯正したモデル。 GPT後続シリーズ ＜オムニモーダル系＞ ■GPT-4o ・2024年に公開された、画像・音声でも入力できるモデル。特に音声入力に強くなった。 ＜推論oシリーズ系＞ ■o1（2024） ・速度よりも質を重視して推論を行うリーズニングモデル。仕様や設計理解、アルゴリズムの探索など、複雑な問題を解く為の塾講方のモデル。 ■o3（2025） ・o1は数学・コーディングが得意だったのに対し、こちらは画像や図表の分析、実務上の業務にも強いモデル。 ■o4（2025年4月） ・必要に応じて、web検索やpython実行などのツールを用いて対応してくれる。意思決定支援に向いている。 ■o3-mini ・o3よりも効率性を重視した小型モデル ■o4-mini ・oシリーズの最新の小型モデル。 ＜コーディング特化系＞ ■Code Interpreter（2023） ・pythonというプログラミング言語を用いて、自分でコードを生成して作業を実行する。 ■Codex（2025） ・ソフトウェア開発を支援するエージェント。新機能の追加設計、実装、テスト実行、結果整理まですべてやってくれてすごい。 ＜画像・動画生成系＞ ■Sora ・画像や音声から、最大20秒の、1080pxの動画を生成するモデル。 ■Image Generation ・従来とは違い、左上から右下に順に自己回帰しながら描画する仕組みを取り入れ、文字を含むような画像でも壊れにくいのが特徴の画像生成モデル。 ＜その他＞ ■Operator 　・Web画面を解析しながら、クリックや入力も自動でやるAIエージェント。 ■GPTs 　・特定の仕事や役割に特化して、自分の用途に合わせたオリジナルのチャッピーを作れる