🐾 AI家庭教師とのガチ模試、結果は……？
前回の記事で「AIを対話型の家庭教師に仕立てて、本気で合格を目指す」という学習戦略を宣言しました。
今回はいよいよ実践編です。生成AIにPEP検定の本番レベルを想定した模擬クイズを作らせ、正解・不正解に関わらず即座に次の問題へ進む「一問一答モード」で腕試しをしてみました。結果は……正直、かなり手強かったです。実際の出題画面・判定画面のスクリーンショットとともに、どこでつまずいたのかを包み隠さずお伝えします。
⏱️ 忙しい人のための「この記事の30秒まとめ」
- PEP検定の本番レベル模擬模試に挑戦するも、最新アップデートや運用・セキュリティの罠に阻まれ正答率50%と大苦戦。
- RAGの「リランキング」や「長文コンテキストのトレードオフ」といった、手触り感のあるインフラ知識問題は迷わず一発正解。
- 「ChainingとMeta-Prompting」の識別や、「Step-Back Prompting」による抽象原則への立ち返りなど、高度なプロンプト設計問題で失点。
- セキュリティ領域では「インジェクション（乗っ取り）」と「リーク（漏洩）」のハッカーの目的の違い、および「入力バリデーション」による水際対策の本質を学習。
「実務特化型」という言葉の重みを、これほど思い知らされるとは夢にも思いませんでした。
前回のファーストセッションで出された基礎クイズが驚くほど好成績（10問中9問正解）だったため、完全に心の油断があったのは事実です。
しかし、AI先生が次に用意していたのは、2025年秋以降の最新アップデート領域（AIエージェント、コンテキストエンジニアリング）と、最も受験生を惑わせる「運用・セキュリティ」の難問だらけのトラップでした。
「間違えた瞬間こそ、記憶に一番深く刻まれるチャンス！」
今回は、私が実際にガチで間違えた問題とその背景にある仕組みを、AI先生直伝のワンポイント講義を交えてガッツリ公開します。皆さんもぜひ、1問36秒のつもりで一緒に解きながら読み進めてみてください！
🐾 この記事でわかること
- 本番レベル模試で私が一発正解できた実務系インフラの強み
- 見さに足元をすくわれた「高度なプロンプト設計・専門用語」の罠
- 多くの受験生が混同するセキュリティ領域（インジェクションとリーク）の違い
- 1問36秒の極限状態で迷わないための試験直前識別マニュアル
1. 私が完璧に見抜けた「実務系インフラ知識」の強み
50%という結果に凹みはしたものの、完全にすべてがダメだったわけではありません。
驚くほどスムーズに一発正解できたのは、実際のシステム構築やAPI運用に関わる「インフラ・エンジニアリング」の領域でした。
✅ 一発正解した最新技術キーワード
- リランキング（Reranking）：
大量の検索ドキュメントをLLMに投入する前に、関連度順に並び替えて上位数件に厳選するプロセス。AIが文脈の中央にある情報を見落とす「Lost in the Middle現象」の特効薬。 - 長文コンテキストのトレードオフ：
100万トークンを超える書類をプロンプトに丸ごと詰め込むアプローチの裏にある、「APIコストの爆発」と「応答時間（レイテンシ）の悪化」という現実的なデメリット。 - 構造化出力（Structured Outputs）：
プロンプトでの指示に頼らず、システム側で出力可能なトークンを強制制限し、データベース連携に必要な完璧なJSON形式を100%保証する機能。
これらの問題は、単なる「言葉の暗記」ではなく、「なぜその技術が必要なのか？」という手触り感を持った仕組みの理解ができていたため、迷わずにマークすることができました。
生成AIパスポートで培った法律・運用の土台が、こうした実務的なメリット・デメリットを判断する際にしっかりと息づいているのを感じて嬉しかったですね。
2. 足元をすくわれた「高度なプロンプト設計」の罠
一方で、見事に私の行く手を阻んだのが、PEP検定特有の「思考を深める高度なプロンプト手法の見極め」でした。
特に試験の1問36秒というプレッシャーの中では、推論の正確性を引き上げるための細かいアプローチや、英語の専門用語を正確に識別する力が厳しく問われます。
トラップ①：推論の正確性を引き上げる手法の罠
LLMの論理的推論を正しく導くための問題において、私は「高度なプロンプト設計」における思考のトリガーとなるキーワードを拾いきれず、失点してしまいました。
タスクのステップを分解して順番に出力を繋いでいくシステム設計の問題では、以前の混乱を引きずって「Prompt Chaining」と「Meta-Prompting」の定義の差に泣くこととなりました。
出力された「データ」を次のLLMへバケツリレーしていれば Prompt Chaining（工場のライン化）。
出力された「プロンプト（指示書）」でモデル自身を動かしていれば Meta-Prompting（自己進化）。
トラップ②：自己整合性（Self-Consistency）による推論の安定化
さらに、推論パスを複数生成して多数決を取ることで、モデルのハルシネーションを抑制し回答を安定させる「自己整合性」の問題も、確実な識別が求められる難所です。
このあたりの英語の専門用語が並んだ瞬間、反射的に正しいプロンプトの設計思想を見抜けないと、36秒の砂時計はあっという間に空になってしまいます。
トラップ③：抽象原則へ立ち返り、LLMの視野を広げるテクニック
具体的な解決策を導き出す前に、一度「背景にある一般的な原理・原則は何か？」という抽象度の高い質問をモデル自身に投げかけさせるテクニック。
問題文に「背景の原理原則への立ち返る」「抽象度を高める」「一歩引く」と来たら、100%「Step-Back Prompting」が正解になります。
急がば回れ、具体の前に抽象を挟むことでLLMの視野を広げる、非常に美しいプロンプト設計の型です。
3. セキュリティ領域の防衛線：インジェクションとリークの違い
そして、今回最も痛快な学びだったのが、セキュリティ（運用・リスク管理）の領域です。
ユーザーの入力に悪意のある指示を混入させて安全ガードレールを突破しようとする攻撃について、私は「プロンプトリーク」を選んで不正解に。正解は「プロンプトインジェクション」でした。
この2つは、ハッカーの「攻撃の目的」が明確に異なります。
- プロンプトインジェクション（注入）：
悪意ある指示を注射のように「注入」し、AIのシステムを乗っ取って、本来させないはずの悪事を働かせる攻撃（ガードレールの突破）。 - プロンプトリーク（漏洩）：
システムプロンプト（開発者が裏側に隠している秘密の指示文）を、外に「盗み出そう（Leak）」とする攻撃。
さらにAI先生からの熱い指摘でハッとしたのが、その防御策の設計思想です。
プロンプトの書き方（Few-Shotなど）で「攻撃を無視してね」といくらお願いしても、悪意ある攻撃を完全に防ぐことはできません。
メインのLLMにデータが届く手前（水際）で、別の軽量AIやフィルターを使って事前に検知・遮断する「入力バリデーション（水際対策）」のシステム防壁を構築することこそが、最もセキュアな設計思想であると学びました。実務のセキュリティを語る上で、絶対に落とせない必須知識ですね。
-
-
生成AIが言葉で乗っ取られる？プロンプトインジェクションの脅威と企業の防衛策
⚠️ あなたの会社のAIシステムは本当に安全ですか？ 「社内AIツールを導入したけれど、ハッカーに悪用されるリスクはない？」「AIのセキュリティ対策って、具体的に何をすればいいの？」と疑問に思っていま ...
まとめ
🐾 連載第2弾：本番レベル模試からの教訓
- 模試の結果：最新アップデート＆セキュリティの難問10問に挑み、まさかのスコア50%と大苦戦
- 自分の強み：RAGの「リランキング」や「長文のトレードオフ」など、実務インフラ系の構造理解はすでに武器レベル
- 見えた弱点：ChainingとMeta-Prompting、自己整合性など、高度なプロンプト手法の正確な識別に課題あり
- 防御の本質：プロンプトで攻撃をかわすのには限界があり、手前で遮断する「入力バリデーション」というシステム防壁の重要性を理解
- 学習法そのものの限界：AIをその場限りの家庭教師にする一問一答方式は手軽な反面、出題が同じ論点に偏りやすく、間違えた問題だけを後から狙って復習する仕組みがないという壁に直面
今回の正答率50%という結果は、自分の「伸びしろ」がどこにあるのかを完全に炙り出してくれる、最高のデータとなりました。
試験本番で「1問36秒」の極限状態に置かれたとき、絶対に迷わずに秒でマークするためには、こうした専門用語の明確な識別眼が不可欠です。
ただ、この方式を何度か繰り返すうちに、正直なところ手応えのなさも感じ始めていました。チャットに毎回ゼロから問題を作らせるため出題範囲が同じところに偏りやすく、「昨日間違えた問題だけをもう一度解く」ということができません。スコアもその場限りの10問の中での数字でしかなく、公式シラバス全6章のうちどこが本当に弱いのか、体系的に追いかける手段がありませんでした。
「本気で受かるためには、いつでも同じ形式で・何度でも・間違えた問題だけを解き直せる仕組みが自分には必要だ」。この模試編で味わった手応えのなさが、結果的に後の模擬試験アプリ「PEP PASSPORT」を自分で作るという決断につながっていきます。次回は、その顛末をお伝えします。
📌 本記事のファクトチェック・情報出典元
- PEP検定（プロンプトエンジニアリングパフォーマンス検定） 2025年秋期最新シラバス・出題標準に準拠
- コンテキストエンジニアリング（Reranking、Structured Outputs）、プロンプトセキュリティ（Injection / Leak）の公式設計思想より策定
✍️ nekosanより
正答率50%という結果そのものよりも、正直「このやり方を続けていいのか」という不安の方が大きかったんです。
まず単純に、生成AIのトークン使用量が気になって、頻繁に使っていいものか毎回びくびくしていました。それに加えて、同じチャットで繰り返しやり取りしていると、AIが前のやり取りを忘れたり、いつもと違う聞き方をした瞬間に急に回答の形式が崩れたりと、正直「安定して使える」とは言えない状態だったんですよね。
何より痛かったのは、これでは自分の学習記録がちゃんと積み上がっていかないということです。間違えた問題だけをあとから狙い撃ちで解き直す仕組みもなく、弱点がどこにあるのかも曖昧なまま——正直、連載として継続して学んでいく計画自体、このままでは厳しいなと感じ始めていました。
そんな中で、まず「STUDY PASSPORT」という仕組みを作り、そのベースをPEP検定用にアレンジする形で「PEP PASSPORT」を作ろうと思いつきました。今までのやり方が完全にダメだったわけではないのですが、ツールとして形にしたことで精度は上がるし、学習記録はちゃんと残るし、弱点分野もはっきり見えるようになりました。何より、トークン消費量を気にせず、いつでも気軽に、しかも継続して取り組めるようになったのが一番大きかったです。
というわけで次回は、PEP PASSPORTが生まれるまでの経緯を、もう少し詳しくお話しします。
よくある質問（FAQ）
Q. Prompt ChainingとMeta-Promptingの違いは何ですか？
Prompt Chaining（チェーニング）は1つの大きなタスクを小分けにし、前段のLLMの出力を後段の入力へと直列・分岐でバケツリレーするシステム設計です。一方、Meta-Prompting（メタプロンプティング）はAI自身にプロンプトそのものを生成・修正・最適化させる自己進化の手法を指します。
Q. RAGにおけるリランキング（Reranking）の役割は何ですか？
データベースから検索した大量の関連ドキュメントを、LLMに投入する前に別の軽量AIで「本当に関連度が高い順」に並び替え、上位数件に絞り込む処理です。これにより、LLMが文脈の中央にある情報を見落としやすい「Lost in the Middle（真ん中ド忘れ現象）」を防ぎます。
Q. プロンプトインジェクションとプロンプトリークの違いは何ですか？
プロンプトインジェクションは悪意ある指示を注入してAIのシステムルールや安全ガードレールを突破・乗っ取る攻撃です。プロンプトリークは、システムに隠されている秘密のシステムプロンプト（指示文）を外部に盗み出そうとする攻撃を指します。
