教師あり学習
入力データと正解ラベルの組み合わせを用意して食わせることで、
正しい分類と回帰が出力されるように学習する方法のこと。
分類は、データの蓄積やルールに基づいて、「カテゴリーを予測すること」。
回帰は、データの蓄積やルールに基づいて、「具体的に数値を予測すること」。
※回帰 regression
一見「もどってくる」みたいなイメージがあるが、意味としては「数値を予測すること」。
19世紀の統計学者フランシス・ゴルトンが、人の身長を研究したときに、極端に背が高い/低い人間の子供の身長は平均に近づいていくという現象に気がつき、これを「平均への回帰regression toward the mean」と読んだ。この研究の過程で、「ある変数(親の身長)とある変数(子供の身長)を比較して、分析・予測する」ことを回帰と呼ぶようになった。
強化学習 Reinforcement Learning
モデルに、最初から正解を教えるのではなく、過程で学んでもらうこと。
例えば迷路を探索して最短経路のゴールを見つけるモデルを作成したとして、早くゴールに着いたらより多くの報酬をもらえるように設定して、とにかく試行錯誤させる。
意味を保つデータ拡張 Data Augmentation
例えば猫の画像があるとして、猫であるというのは変えずに、画像の縦横右左を回転させたり、サイズを縮小させたり、解像度を荒くしたりして、データのバリエを増やすこと。
第2章 生成AIのなりたち
代表的な生成AI
■Gemini
・Google Deepmindが2023年12月から公開した生成AIサービス。
・特徴は、画像生成・テキスト分析・音声・コードなど複数の形式のデータであっても1つのモデルに同時入力できる構造(マルチモーダル)であること、問題の難易度によって推論の深さを自動調整するReasoningがある。
・Gemini nanoというローカルで完結して動く軽量モデルがある。
・現在の最新2.5Proモデルは、コード・数学・データ分析に強く、最大104万トークン(一度に扱える文脈量?)の読み込みが可能になっている。
※マルチモーダル
画像+テキスト+音声のように複数要素の同時入力が可能。
現在の生成AIモデルだとgemini以外もマルチモーダル構造にはなってて、
モデルごとに、どの組み合わせなら同時入力が可能かなどの制限があったりする。
■Claude
・Anthropicが2023年3月から公開した生成AIサービス。
・Haikuという高速低コストのモデル、Sonnertというバランス型モデル、Opusという最高精度のモデルがある。
・憲法AI(constitutional AI)という、安全性・コンプライアンス性を確保するための訓練モデルがある。従来は、RLHF(Reinforcement Learing from Human Feedback)という人によるモデル評価が行われていたが、それでは人間の持つ主観・偏りが除去できなかった。そのため、事前に憲法(ルール)を与えることで、その原則に照らして自分の出力を批評するようにした。
■Copilot
・Microsoftが2023年11月から一般公開した生成AIサービス。Excel,Word,Powerpointなどと連携して利用することが可能。
・基盤にはOpen AIのGPT5(2025年時点で最新のモデルで、先のモデルが開発者レベルだったものから、GPT5は大学院博士レベルの問題を解決できる思考の深さがある)が使われている。
・自社内で独自アプリを作れるcopilot studio、パソコン上の作業履歴をオフラインで検索できる機能を備えたcopilot PC、コード生成を支援するgithub copilot、セキュリティ対策を補助するsecurity copilotがある。
Claudeの機能
・Artifacts
チャット画面の右ウィンドウに、生成したコードのプレビューがリアルタイムで表示される機能。AdobeのDreamweaverを思い出すね。
RNN (回帰型ニュートラルネットワーク)
Reccurent Neutral Networkの略称。