AIコース

どんなツールよりも大切な習慣が2つあります。1つ目は、結果を確かめることです。AIの答え、画像、コードの変更は、自分で読んで、試して、情報源と比べるまでは下書きにすぎません。2つ目は、秘密を守ることです。パスワード、APIキー、他の人の個人情報を、チャットやプロンプト、人と共有するファイルに決して貼り付けないでください。APIキー（プログラムがAIサービスを使うときに見せる秘密の鍵）は、環境変数か .env ファイル（自分のパソコンだけに置く設定ファイル）に置き、Gitに決して保存（コミット）してはいけません。Gitは13章で学びます。

もう少し覚えておきたい言葉:

• ハルシネーション — 自信たっぷりなのに間違っていたり、作り話だったりする答え。だからいつも確かめます。
• API — 自分のプログラムからプロンプトを送って答えを受け取るための入り口。ふつうは秘密のAPIキーが必要です。
• チャットボットとエージェント — チャットボットは答えるだけですが、エージェントは行動もできます。目標に向かって一歩ずつ、ファイルを読み、コマンドを実行し、ツールを使います。
• オープンなモデルとクローズドなモデル — オープンソースのモデルや、重みが公開されたモデル（オープンウェイト）はダウンロードして自分のパソコンで動かせます。クローズドなモデルはその会社のアプリかAPIでしか使えません。

• Google — Machine learning glossary

大規模言語モデル（LLM）はAIの一種です。文章を生成する多くのLLMは、利用できる文脈から次のトークンを予測します。画像生成・分類・規則ベースのシステムは別の仕組みでも動きます。流暢な文章は、生きている証拠にも正しさの証拠にもなりません。

• NIST — Generative AI profile

役割は口調を導きますが、専門性や指示の遵守を保証しません。必要なら出典を求め、主張を裏付けるか確認しましょう。同じ例で二つのプロンプトを比べます。必要な情報だけ共有し、明確な質問でもモデルの限界は残ると覚えましょう。

• Transformers — LLM tutorial

プロンプトは下書きのように扱いましょう。答えを読み、足りないところや間違いを見つけて、まさにそれをプロンプトに書き足します。「もっとやさしい言葉で」「選択肢を3つ出して」「出典を示して」のようにです。

• 難しい作業では、先に計画を立ててから答えるようにモデルに頼みましょう。
• または、作業をいくつかの小さなプロンプトに分けましょう。
• コーディングエージェントでは、ずっと使う部分(ルール、コマンド、スタイル)をCLAUDE.mdやAGENTS.mdのようなプロジェクトのファイルに書いておきます。そうすれば毎回くり返さずにすみます。

• Anthropic — Prompt engineering overview
• OpenAI — Prompt engineering

実習では本番LLMのトークナイザーではなく、簡単な単語分割を使います。IDは名札です。ID 8にID 4の2倍の意味があるわけではありません。コンテキストウィンドウにはトークン数の上限があり、アプリが資料を選択・要約・除外することがあります。

• Transformers — Tokenizers

現代の言語モデル（Transformer）はattentionで文脈の中のほかのトークンの情報を混ぜ込むため（33章で学びます）、同じトークンでも文によって表現が変わります。類似度は真実や同義を保証しません。有名な王 − 男性 + 女性の例は一部の単語埋め込みでの結果で、普遍的な等式ではありません。検索では互換性のある埋め込み空間で質問と文書を比較します。

• Attention Is All You Need

ファインチューニングは重みを変えます。LoRAでは基礎の重みを固定して小さなアダプター行列を学習できます。RAG（検索拡張生成）は重み更新を必須とせず資料を検索し文脈に渡します。BM25は単語一致に頻度の飽和と文書長の補正を使い、埋め込み検索は学習済みベクトルを比較します。どちらも証拠の見落としや誤った資料の取得はあり得ます。チャット一回が自動的な学習更新になるわけではありません。

• Attention Is All You Need
• Retrieval-Augmented Generation
• LoRA

作成実習で貪欲法とサンプリングを何度か比較しましょう。抽選でも同じ結果は出ます。実際のシステムではモデルの版・文脈・ツール・数値計算も影響するため、温度0でも完全な再現は保証されません。次に曖昧な質問と、目的・背景・確認方法を含む質問を比較します。事実は原典で確かめ、ヒントを使って自分の言葉で説明しましょう。

• Transformers — Generation strategies
• PyTorch — Reproducibility

言語モデルはありそうな文章を予測するので、すらすら読める答えでも間違っていることがあります。情報源をたずねて実際に開き、数字は元の資料と比べ、モデルにどんな前提を置いたかを書き出してもらいましょう。大事な事実は、独立した2つ目の情報源で確かめます。保存した指示やプロジェクト機能でChatGPTに好みを覚えさせることはできますが、それも指示であって保証ではないので、確認を続けましょう。

• OpenAI — Prompt engineering

生成された画像には、小さな間違いが隠れていることがよくあります。間違った文字、多すぎる指、ありえない影などです。必ず拡大して確かめましょう。生成した画像を使って本当に起きたことのように見せかけない、存命のアーティストや実在の人物を許可なくまねしない、必要なときはAIで作った画像だと明かす、を守りましょう。画像を商用で使う前には、ツールの利用規約を読みましょう。

• OpenAI — Image generation
• Google — Gemini image generation

AIツールの中では、スラッシュで始まるコマンドがツールそのものを操作します:

• /init — プロジェクトの指示ファイルを書きます。
• /help — コマンドの一覧を表示します。
• /clear — 新しい会話を始めます。
• /exit — ツールを終了します。

シェルのコースのユニット11では、AIコーディングツールのインストール方法と、--version での確認方法を紹介しています。インストールコマンドは変わるので、公式ページと見比べましょう。まだ動いているコマンドを止めるには Ctrl+C を押します。AIエージェントがコマンドを提案したら、許可する前に読みましょう。rm はごみ箱も通さず、すぐにファイルを消してしまいます。rm -rf は、たずねることもなくフォルダの中身をすべて消します。

• The Linux command line for beginners

GitHubでは、イシューで作業を説明し、ブランチでメインのコードを乱さずに作業し、プルリクエストでレビューします。個人的な作業が入ったリポジトリは非公開にし、.envファイルやキーは決してコミットしないでください。一度プッシュしてしまったら、もう漏れたものと考えてキーを取り替えましょう。CodexやClaude Codeもプルリクエストを作れますが、取り込む前には人がdiffを読むべきです。

• GitHub — Hello World

このコースの残りを支えるNumPyの考え方は3つです。

• shape — 行と列がいくつあるか
• ブロードキャスト — 演算が配列全体に自動で広げて適用されること
• ベクトル化された計算 — Pythonのループを書かずに、配列全体をまとめて計算すること

この章の例はブラウザで動きます。自分のパソコンでは、Python 3をインストールし、python3 -m venv .venv で仮想環境を作り、source .venv/bin/activate（Windows では .venv\Scripts\activate）でそれをオンにしてから、pip install numpy でNumPyをインストールしましょう。

• NumPy — the absolute basics for beginners

下の例は人が書いた規則を適用します。点数や基準を変え、実行前に結果を予想しましょう。関数のreturnは値を返し、printは表示します。基準と等しい点数など境界値も試します。この規則プログラムにはデータからの学習はありません。

• Python tutorial

開発者はやはりあなたです。変更を受け入れる前に1つずつ読み、うまく動いた段階ごとにGitにコミットして戻れるようにし、実際のスマホの幅で試しましょう。エージェントにパスワードやAPIキーをページに入れさせてはいけません。ホームページは公開されていて、中身はすべて誰でも読めます。ページがちゃんと動いたら、公開の準備ができました。次の章でCloudflareを使ってインターネットに出します。

• MDN — Your first website

公開したものはすべて誰でも見られるので、フォルダにキー、個人的なメモ、.env ファイルが入っていないか確かめましょう。

デプロイのたびにそれ専用のプレビュー用アドレスができ、本番のアドレスはいちばん新しいデプロイを表示します。だから、共有する前に試せます。myname.com のような自分のドメインは、あとでダッシュボードから追加できます。

コーディングエージェントにデプロイのコマンドを実行させてもかまいませんが、先にコマンドを読み、CloudflareのAPIトークンは決してチャットに貼り付けないでください。

• Cloudflare Pages — Direct Upload
• Cloudflare Pages — Git integration

リリースはトラックを通っていきます。内部テスト、クローズドテスト、オープンテスト、製品版です。新しい個人のデベロッパーアカウントは、製品版へのアクセスを申請する前に、まず12人以上のテスターが14日間続けて参加し続けるクローズドテストを行わなければなりません。だから、テスターは早めに計画しましょう。リリースはすべてGoogleが審査し、更新のたびにバージョンコードを上げる必要があります。ルールや画面は変わるので、この章と合わせて公式のPlay Consoleヘルプに従ってください。

• Play Console Help — Testing requirements for new personal developer accounts
• Flutter — Build and release an Android app

アップロードしたビルドはどれも、先にTestFlightに出せます。だから、一般の人より先にテスターがインストールできます。リリースのために提出すると、AppleのApp Reviewがガイドラインに照らしてアプリを確認します。よくあるリジェクトの理由はこうです。

• アプリがクラッシュする、または仮の内容が入っている。
• プライバシー情報が抜けている。
• ログインがあるのに、審査担当者用のテストアカウントがない。
• 他社のログインがあるのに、Sign in with Appleのような同じくらいプライバシーに配慮した選択肢がない。
• ウェブサイトをアプリで包んだだけで、できることがほとんどない(最低限の機能のルール、ガイドライン4.2)。

リジェクトのメッセージを読み、まさにそこを直して、もう一度提出しましょう。

• App Store Connect — Workflow
• App Review Guidelines — 4.2 Minimum functionality
• Flutter — Build and release an iOS app

サブエージェントは、メインのエージェントが仕事の一部を任せるために起動する助っ人です。自分専用の新しいコンテキストウィンドウを持っています。だから、たくさんのファイルを読んだり広く検索したりして、結論だけを報告できます。そのおかげで、メインの会話は短いままです。互いに関係のない部分なら、サブエージェントを並行して動かすこともできます。

• どこにあるか — Claude Codeでは、名前、説明、使ってよいツール、指示を書いたMarkdownファイルです。.claude/agents/(プロジェクト用)か ~/.claude/agents/(自分用)に置きます。
• どう使うか — 狭い仕事と、必要なツールだけを与えましょう。その報告も、あなたが確かめるべき下書きです。

• Anthropic — Building effective agents
• Claude Code — Subagents

よいコーディングの依頼は具体的です。何を、どのファイルで変えるのか、変えたあとどう動くべきか、どう確かめるか(テスト、コマンド、入力と出力の例)を伝えます。大きな作業なら、まず計画を出してもらいましょう。Codexが終わったら、diffを読み、テストを自分で実行し、理解できたものだけをコミットします。codex exec は対話画面なしで作業を実行するので、スクリプトの中で使うのに便利です。

• OpenAI — Codex
• AGENTS.md

Claude Codeはファイルを編集したりコマンドを実行したりする前に確認を求め、その操作を1回だけ、このセッションの間、または常に許可するかをあなたが決めます。権限のルールは .claude/settings.json にあり、プランモードではClaude Codeは何も変えずに読んで計画を提案するだけです。最初は厳しく始めて、信頼できるものだけをゆるめ、理解できないコマンドは決して許可しないでください。

• Claude Code — Overview
• Claude Code — Memory (CLAUDE.md)

エージェントが自分で確かめられる手段を与えましょう。テスト、成功しなければならないコマンド、正しい出力の例などです。セッションが間違った方向に進んだら、Escを押して止め、何が違うかを伝えるか、Gitで元に戻して新しく頼み直しましょう。長いセッションには紛らわしい文脈がたまるので、/clear できれいに始め直せます。くり返す作業は、手順をスキルとして保存しましょう(Agent Skillsの章を見てください)。

• Claude Code — Common workflows

モデルごとに得意なことと見落としやすいことが違うので、3つのエージェントを知っておくと役に立ちます。よい習慣はクロスチェックです。1つのエージェントに変更を任せて別のエージェントにレビューさせたり、いくつかのエージェントに同じ問題を別々に分析させて比べたりしましょう。意見が分かれたところは、自分でファイルを開いて判断します。すべてのエージェントが同じ指示に従うように、多くのエージェントが読むAGENTS.mdに同じプロジェクトのルールを書いておきましょう。

• Antigravity — Getting started (CLI)

• Agent Skills
• Claude Code — Skills
• Agent Skills — Specification
• Agent Skills — Quickstart
• Agent Skills — Example skills
• SONUB skills — gp
• GitHub Docs — About Projects
• GitHub CLI — gh project

エージェントができることが多いほど、あなたの指示が大切になります:

• 必要なフォルダだけを渡しましょう。
• してはいけないこと(削除、送信、購入)を伝えましょう。
• 迷ったら止まって質問するよう頼みましょう。
• 結果を元のデータと照らし合わせて確かめましょう。

ソフトウェアのチームから学べる便利な習慣がクロスチェックです。同じ質問を2つ以上のAIツールにして、答えを比べ、多数決ではなく根拠で判断します。SONUBの開発者もこのやり方で仕事をしています。1つの質問を複数のAIモデルに送り、すべての主張を元のファイルで確かめています。

• Claude — Get started with Cowork

ループのよさは、ゴールラインのよさで決まります。「もっとよくして」は終わりませんが、「tests/ のテストがすべて通り、ページがエラーなしで開く」は確かめられます。

必ず上限を決めましょう。そうしないと、ループが一晩中回って、むだにお金を使ってしまうことがあります:

• 最大の周回数
• 本当のときだけエージェントが言ってよい完了のフレーズ
• トークンの予算

ループは新しいGitのブランチで始め、プロジェクトのルールはCLAUDE.mdかAGENTS.mdに書き、結果は自分で確かめましょう。エージェントの「できました」は主張であって、証拠ではありません。

• OpenAI Cookbook — Using goals in Codex
• Claude Code plugin — Ralph Loop

一晩中働くエージェントには安全対策が必要です:

• ゴールラインと上限のあるはっきりした目標を与えましょう。
• ブランチで動かし、コミットさせて、朝に作業を確認できるようにしましょう。
• APIキーはリポジトリではなく環境変数に置き、AIの提供会社で利用額の上限を決めましょう。
• サーバーを守りましょう。SSHキーでだけ接続し、ファイアウォールを使い、定期的にアップデートします。

tmux attach で入るかGitの履歴を読んでセッションを確認し、Ctrl+C か tmux kill-session -t agent で止めます。

• tmux — Getting started

ニューロンは入力をz = w·x + bでまとめ、活性化関数を適用できます。sigmoidは有限の実数を0と1の間に写す一つの関数で、全ニューロンの定義ではありません。ReLUやGELUを使うネットワークもあります。sigmoidの実装は部品作りで、学習済みネットワークの完成ではありません。次の課題ではデータに適合したモデルを扱いますが、例の合格だけでは汎化の証明になりません。

• scikit-learn — Linear regression

近傍数kや木の深さは適合の外で選ぶハイパーパラメーターで、係数は学習するパラメーターになり得ます。設定は検証用データや交差検証で選び、テスト集合は最終評価に残します。テスト結果に合わせ続けると見積もりが楽観的になります。分割・基準モデル・スコア・誤りを記録しましょう。小さなIris実験は最初の作品で、あらゆる集団や課題への有効性の証明ではありません。

• scikit-learn — Common pitfalls
• scikit-learn — Iris dataset

損失は、実際の次の文字を見てモデルがどれだけ驚いたかを測るものです。その確率の対数にマイナスをつけた値の平均です。完璧なモデルなら損失は0になります。本物のLLMは複数の文字でできたトークンを使い、はるかに長い文脈を見ますが、サイクルは同じです。文章 → ID → 次のトークンの確率 → 1つ選ぶ → くり返す。

• Andrej Karpathy — makemore

ステップが進むにつれて損失が下がっていくのを見てください。ネットワークが学習しているしるしです。今度はより長い文脈を見るので、生成した文章が本物の単語の形になってきます。temperatureは生成がどれだけ冒険的かを決めます。1より低いと無難な文字を選び、1より高いと思い切った選び方をします。大きなLLMは何十億もの重みを持ち、GPUで膨大な量の文章を学習しますが、学習の1ステップ1ステップはこれとまったく同じ考え方です。

• Bengio et al. — A Neural Probabilistic Language Model

このコードは、文脈が8文字のアテンションヘッドを1つ、NumPyだけで学習させ、最後の文字のアテンションの重みを表示します。だから、その文字が前のどの文字を頼りにしているかが見えます。本物のトランスフォーマーは、ヘッドをたくさん持つ層を何層も重ね、フィードフォワード層と正規化を加え、Adamのようなオプティマイザーではるかに多くの文章を学習します。それ以外のすべて、つまりトークン、埋め込み、softmax、損失、勾配降下法、サンプリングは、もうあなたが自分で作ってきました。

• Attention Is All You Need

学習は1つの手順をくり返します:

• 文章のまとまり(バッチ)を取ります。
• それぞれの次のトークンを予測します。
• 誤差(損失)を測ります。
• 損失が小さくなるように、すべてのパラメーターを少しずつ動かします。

2つの数字を見守りましょう。学習損失と、モデルが見たことのない文章での検証損失です。学習損失だけが下がるなら、モデルは丸暗記しています。学習が終わると、すべてのパラメーターが入ったチェックポイントファイルができます。

Macでは mps デバイスを、NVIDIAのグラフィックカードでは cuda を使い、それ以外ではもっと小さなモデルで cpu を使いましょう。この章の前にあるブラウザの章では、同じ部品をNumPyで手作りしました。ここでは、それを実際のサイズで使います。

• Andrej Karpathy — nanoGPT
• Andrej Karpathy — nanochat
• OpenAI — Language Models are Unsupervised Multitask Learners (GPT-2)

ランナーによって、動く場所と読めるファイルの形式が違います:

• PyTorch — 学習のチェックポイントをそのまま動かします。
• llama.cpp — パソコンやスマホでGGUFファイルを動かします。Ollama — パソコンで動かします。
• ブラウザやスマホ — ONNX（多くのツールが読めるモデル形式）や、Apple（Core ML）とGoogle（LiteRT）それぞれのランタイムも使えます。

多くのランナーはローカルAPIを用意しているので、自分のアプリから、クラウドのAPIと話すのとまったく同じように、パソコンの中のモデルと話せます。キーもいらず、データがパソコンの外に出ることもありません。あなたの nanoGPT のチェックポイントは、変換の手順を通すとこうしたエンジンで動かせるようになります。その変換は次の章で行います。

• llama.cpp
• Ollama — API

スマホで使うには2つの方法があります。

• 手軽な方法 — PocketPal AIのようにランナーがすでに入っているアプリにGGUFファイルをコピーして、オフラインでチャットします。
• 作り手の方法 — 自分のアプリにランナーを組み込みます。たとえばReact Nativeのアプリなら llama.rn、Flutterのアプリなら llama.cpp のバインディングを使います。モデルのファイルはアプリと一緒に配るかダウンロードさせて、自分のコードから呼び出します。

すべてがスマホの中にあるので、インターネットなしで動き、データも守られます。でもクラウドより遅く、バッテリーも使うので、プロンプトは短く、モデルは小さくしましょう。別の方法は、ランナーを自分のパソコンに置き、同じWi-FiにつないだスマホからそのローカルAPIを呼び出すことです。こちらのほうがかんたんですが、そのパソコンの近くでしか使えません。

アプリにモデルを組み込む(埋め込む)ことと、埋め込みの章に出てきたベクトルである埋め込みを混同しないでください。スマホの中の小さな埋め込みモデルで、自分のメモを検索することもできます。

• llama.cpp — quantize
• PocketPal AI
• llama.rn

発表はコードと同じくらい大切です。計画、AIが何かを間違えた場面とあなたがそれに気づいた方法、実行したテストや確認、次にやりたいことを見せましょう。正直に書きましょう。どの部分を自分が書き、どの部分をAIが書き、それをどう確かめたかを伝えます。