NOTES

AI と一緒に開発するときの品質保証:当社が開発に組み込んでいるセキュリティレビュー

公開 有限会社カルフ 栗山

AI のコーディングエージェントを使うと、調査も実装も、以前よりずっと速く進みます。当社でも、日々の開発に AI を使っています。

ただ、速く作れるほど、「作ったものが正しいか」を確かめる側の仕組みが大切になります。AI が書き、同じ AI が確かめるだけでは、見落とすものがあるからです。当社では、AI を使った開発にセキュリティレビューの仕組みを組み込み、作ることと確かめることを分けて進めています。この記事では、その仕組みと、AI が見落としやすいこと、それを補うための進め方をまとめます。

1. 開発に組み込んでいる仕組み

仕組み役割
プロジェクト専用の方針ファイルそのシステムで守るべきこと(どのデータを誰が読めるか、秘密情報をどこに置くか)を、AI が作業のたびに読む
危険な書き方の自動検出決まった危険なパターンをコードに書いた時点で警告する
脅威モデリング役の AIシステムの全体像とデータの流れを先に把握し、想定される脅威と、その対策の有無を洗い出す
攻撃者役の AI攻撃する側の視点でコードを読み、成功しそうな攻撃の筋書きを挙げる
CI のスキャナ変更のたびに、静的解析、依存パッケージの脆弱性、秘密情報の混入を検査する
レビューの記録指摘、対応状況、確かめた結果を残す

あわせて、どの指摘を直すかは人が決める、サーバでの操作は人が行う、という線を引いています。AI は手順やスクリプトを用意し、人がそれを実行して結果を返す、という分担です。

2. AI が見落としやすいこと

AI のレビューには、見落としやすい傾向がいくつかあります。上の仕組みは、これを前提に組み立てています。いま開発中の、まだ公開していない小さな Web サービスでも、次のような例を仕組みで拾っています。

コードの外にある問題

重い問題ほど、コードではなく、サーバの設定と管理画面の設定の組み合わせで決まることがあります。どちらもリポジトリにはないので、コードだけを読む AI のレビューでは「判断できない」で終わってしまいます。当社では、AI が確認の手順を用意し、人が実際にコマンドを打ったり設定の画面を見たりして、結果を AI に返します。

ビルドした後の成果物で決まる問題

ソースコードでは管理画面だけで使っているように見える値が、ビルドの都合で、利用者向けの画面の JavaScript にも入ることがあります。ソースを読むだけでは気づけないので、実際に配る成果物も確かめます。

別々のファイルにある「組み合わせ」

ある画面が送っている値と、別の画面がそれを信用して使っていることは、それぞれ単体では問題なく見えます。危険は、2つを並べたときに初めて見えます。データの流れ全体を先に描く脅威モデリングは、こうした組み合わせを拾うためのものです。

知識からの推測

AI は、新しいバージョンで加わった機能の動きを、手持ちの知識から推測して説明することがあります。推測が実際と違うこともあるので、新しい機能は、公式の文書と実地の確認で裏づけます。

手元の試験とサーバの違い

手元の試験に通っても、サーバでは失敗することがあります。開発中のサービスでも、手元の試験が「普通の利用者が送る」場合だけで、「管理画面にログインしたままのブラウザから送る」場合を含んでいなかったため、サーバでフォームの送信が失敗した例がありました。この失敗が示していたのは、攻撃者役の AI がすでに指摘していた問題そのものでした。机上の指摘も、実際に起きうることとして扱い、試験の場面に加えています。

AI 自身の助言が作る穴

AI が「締め出されたときのために」と勧める設定が、別の設定と組み合わさって、守りを回り込める条件になることがあります。作業した AI のレビューだけでは、自分の判断の穴は見つけにくいので、別の役割の AI(攻撃者役)に見直させます。

道具が黙って効いていない

危険な書き方を検出するルールが、ツールの内部のチェックで弾かれ、何の表示もなく無視されることがあります。方針ファイルにも文字数の上限があり、超えると黙って切り捨てられます。「書いた」ことと「効いている」ことは別なので、ルールを足したら、実際に読み込まれているかを確かめます。

3. 見落としを補う進め方

  • 作る役と攻める役を分ける:実装した AI とは別に、攻撃者の視点だけで読む役を置きます。同じ AI でも、役割と前提を変えると見えるものが変わります。
  • 人が実地で確かめる:サーバや管理画面の状態は、AI が確認の手順を用意し、人が実行して結果を返します。AI の推測で埋めません。
  • わざと壊して、検出できるかを確かめる:ページを守る設定などの検査は、わざと壊した版で違反が検出されることを先に確かめます。検査の結果が「問題なし」でも、検査そのものが動いていなければ意味がないからです。
  • サーバで動かす前に、手元で差し替えて動かす:サーバの設定を書き換えるスクリプトは、接続先を手元のファイルに差し替えて試してから渡します。書き間違いの多くは、ここで見つかります。
  • サーバの状態とログを先に見る:失敗したときは、原因を推測する前に、実際の定義と記録を確かめます。
  • 記録を残す:指摘、直したこと、確かめた結果、途中で起きた問題を残します。次のレビューは、この記録から始めます。

4. 公開前に、第三者の目を入れる

AI の見落としの多くは、「作った側とは別の視点」で見直すことで見つかります。AI を使えば、少人数でもサービスを形にできます。そのぶん、作った人(と AI)以外の目で確かめる機会が少なくなりがちです。

当社では、自社の開発で使っているこの進め方で、AI を使って作ったシステムの第三者レビューをお引き受けしています。

  • コードだけでなく、サーバや管理画面の設定、ビルドした成果物まで含めて確かめます
  • 攻撃者の視点で、成功しそうな筋書きと、その防ぎ方を整理します
  • どれを直すかの判断材料として、重大度と対応案をまとめてお渡しします

まとめ

AI を使うと、作る速さは大きく上がります。一方で、AI は見えているもの(コード)の範囲で判断し、もっともらしい推測で隙間を埋めることがあります。品質を保つには、役割を分けて見直すこと、コードの外とサーバの状態を人が確かめること、検査そのものが効いているかを確かめることが欠かせません。当社は、この3つを開発の進め方に組み込んでいます。

ご相談

「AI で作ったシステムを、公開前に第三者の目で確かめてほしい」「AI を開発に取り入れたいが、品質の確かめ方が分からない」といったご相談を承ります。現状をうかがうところから始めます。ご相談は無料です。