社内ネットワークでAIをオフライン稼働させる設計要件と中小企業の導入判断

「社内のデータを外部に出したくないが、AI活用も遅らせたくない」——そう悩む中小企業の経営者・情シス担当者が増えています。クラウドサービスへのデータ送信に伴うリスクを懸念しながら、競合他社がAIで業務効率を上げているのを横目に見ている状況は、事業運営のジレンマそのものです。

この記事では、社内ネットワーク内でAI処理をオフラインで完結させる「エッジ構成」の設計要件と、中小企業が導入を判断する際の具体的な基準を解説します。ハードウェア選定・ネットワーク分離設計・運用体制まで、意思決定に必要な情報をまとめました。

社内AIをオフラインで動かすとはどういうことか

通常の生成AIサービス（ChatGPTやClaudeなど）はインターネット上のサーバーで動作します。質問や入力データはいったん外部のサーバーに送られ、回答が返ってきます。このため、顧客情報・技術仕様・財務データを入力した場合、社外への情報流出リスクが生じます。

「エッジ構成」とは、AI処理を社内のサーバーやPCで行い、インターネットを経由させない仕組みです。質問も回答もすべて社内ネットワークの中で完結するため、外部にデータが一切出ません。この仕組みで稼働するAIが「情報を外に出さない社内専用AI（ローカルLLM）」です。

具体的には次のような構成をとります。社内のサーバーにAIモデルを搭載し、従業員は社内ネットワーク経由でそのサーバーにアクセスして使います。インターネット回線はAIには一切使用されません。このため、クラウドサービスへのデータ送信が法律や社内規程で制限されている業種——製造業の設計図・士業の顧問先データ・医療機関の患者情報など——でも安心して活用できます。

エッジ構成における「オフライン推論」とは、AIモデルが入力を受け取り、回答を生成する処理（推論）をすべてオフライン環境で行うことを指します。モデルの更新は社内管理者が手動で行い、日常的な利用ではインターネット接続を必要としません。

「低遅延」もエッジ構成のメリットのひとつです。クラウドサービスでは、データを外部に送って戻ってくる時間（往復通信時間）が応答速度に影響します。社内処理であれば、ネットワーク遅延が最小限に抑えられ、リアルタイムに近い応答が期待できます。製造ラインの品質検査・窓口での即時回答補助など、速度が要件になる業務に適しています。

なお「エッジAI」という言葉は、AI処理をクラウドではなく利用者に近い場所（エッジ）で行うことを意味します。工場の生産ラインや社内ネットワーク内のサーバーで推論処理を完結させる構成は、その代表例です。

中小企業が社内AIオフライン構成を選ぶべき3つの理由

社内専用AIのオフライン構成が中小企業に有効な選択肢となる理由は主に3点あります。いずれも「クラウドサービスではどうしても解決できない課題」に対応するものです。

理由①：データを社外に出せない業種・業務がある
士業（税理士・社労士・弁護士）は守秘義務により顧問先情報の外部提供が法律で制限されています。製造業では図面・工程データ・材料仕様が競合他社への漏洩リスクになります。これらの情報をクラウドサービスに入力すると、利用規約上「サービス改善のための学習データ」として使われるケースがあります。社内専用AIならそのリスクはゼロです。個人情報保護法の観点からも、顧客データをクラウドに送信する行為は、送信先の契約内容の精査なしには行えません。社内でデータを完結させる構成は、法律・規程・取引先との信頼関係を守る最もシンプルな方法です。

理由②：インターネット接続が制限された環境でも稼働できる
工場の生産ラインや、セキュリティポリシー上でインターネット接続を厳しく管理している環境では、クラウドAIは実質使えません。エッジ構成であれば、社内LAN（あるいは専用サブネット）のみで動作するため、既存のネットワーク分離ポリシーを変更せずに導入できます。クラウドサービスを使うためにファイアウォールの穴を開けることによる新たなセキュリティリスクを生まずに済むのも大きなメリットです。

理由③：月額費用を固定化できる
ChatGPTのAPIやクラウドAIサービスは「利用量課金」が基本です。従業員数が増えたり利用頻度が高まったりすると、月額コストが読めなくなります。社内専用AIは初期のサーバー投資と年次メンテナンスコストが主な費用です。ランニングコストが利用量に連動しないため、予算管理がしやすくなります。社員が積極的に使うほど月額費用が増えていくクラウドモデルとは対照的に、「全社で使っても月額固定」という経営上の見通しが立てやすい構成です。

設計要件の3本柱：ハードウェア・ネットワーク分離・推論環境

1. ハードウェア要件

社内専用AIの中核になるのは「推論サーバー」です。どのくらいのハードウェアが必要かは、使用するAIモデルの規模によって変わります。

中小企業向けの実用的な規模（7B～13Bパラメータクラスのモデル）であれば、次の構成が目安です。

CPU構成（GPU非搭載）の場合、64GB以上のRAMを搭載したサーバーグレードのPCや小型サーバーで動作可能です。レスポンス速度は1回の問い合わせあたり10～30秒程度になることが多く、リアルタイム性が求められない業務（文書要約・ドラフト作成・社内問い合わせ対応）に適しています。

GPU搭載構成の場合、VRAM 16GB以上のGPUを搭載することで、応答速度が大幅に向上します。1回あたり2～5秒程度での回答が期待でき、複数ユーザーの同時利用にも耐えられます。ただし、VRAM 16GB以上の業務グレードGPUは30万円～60万円程度の追加投資が必要です（2026年9月時点の市場価格）。

小型サーバーは省電力・静音・コンパクトな点でオフィス内設置に向いています。ただし、最大搭載メモリや拡張性に制限があるため、将来のモデルアップグレードを見越してスペックに余裕を持たせることが重要です。一般的な目安として、7Bモデルを快適に動かすには32GB以上のRAM、13Bモデルには64GB以上のRAMが必要です。

2. ネットワーク分離の設計

エッジ構成の安全性を担保するために、ネットワーク分離が不可欠です。基本的な設計方針は「AIサーバーをインターネットに接続しない、あるいは厳格に遮断する」ことです。

最もシンプルな方法は物理的分離です。AIサーバーをインターネット回線に繋がないLAN内だけに置き、外部との通信を物理的に遮断します。モデルのダウンロードや更新は、別のPCで事前に行い、USBや内部ネットワーク越しに転送します。構築コストが最小で、セキュリティ上も最も確実な方法です。

VLAN（仮想LAN）を使った論理的分離も有効です。既存のオフィスネットワークの中にAI専用のサブネットを作り、ファイアウォールルールで外部通信をブロックします。従業員は社内ネットワーク内からAIサーバーにアクセスできますが、AIサーバー自体はインターネットに出られない設計です。

万が一AIサーバーに脆弱性が発見されても、外部からの直接攻撃や外部への情報流出の経路が遮断されているため、リスクを最小化できます。ネットワーク分離の設計は、IT担当が不在の中小企業でも、外部のITサポート会社に依頼すれば2日～5日程度の作業で実装できます。

3. AI推論環境のソフトウェア要件

社内専用AIを動かすソフトウェアとして、OllamaやvLLMといったOSSフレームワークが広く使われています。これらはLinuxサーバーもしくはWindowsサーバー上で動作し、ブラウザ経由で従業員が利用できるUI（WebUI）も提供しています。

・OSの選定: LinuxサーバーOS（Ubuntu Server/Debian/RHEL系）が推奨です。Windowsでも動作しますが、リソース効率とセキュリティパッチの適用頻度の観点からLinuxが優位です。
・AIフレームワーク: Ollamaは導入の簡易さで人気があり、コマンド1行でモデルを起動できます。複数ユーザーの同時アクセスが前提ならvLLMの採用を検討します。
・WebUI: Open WebUIを使えば、ChatGPTに近い操作感のブラウザUIが構築でき、従業員が操作に迷うケースが減ります。
・アクセス制御: ユーザー認証機能（ID・パスワードまたはLDAP連携）を有効にし、誰がいつ何を入力したかのログを取れる設定にします。
・モデルの選定: 日本語対応・商用利用可能なモデルを選びます。Llama 3（Meta）・Qwen 2.5（Alibaba）・Gemma 3（Google）など、2026年時点では複数の選択肢があります。利用規約は定期的に確認が必要です。

4. クラウドAIとの構成比較

クラウドAIと社内専用AIのオフライン構成を主要観点で比較します。どちらが絶対的に優れているわけではなく、自社の優先事項に合わせて判断することが重要です。

比較観点	クラウドAI（ChatGPT等）	社内専用AIオフライン構成
データの送信先	外部サーバー（海外含む）	社内のみ（外部送信なし）
初期費用	ほぼ0円	50万円～200万円程度
月額ランニングコスト	利用量に連動（変動）	電力・保守のみ（固定）
応答速度	高速（通信環境次第）	構成次第（GPU有なら実用十分）
インターネット障害時	使用不可	社内LAN正常なら利用可能
モデルの更新	自動（提供者管理）	手動（自社管理）
コンプライアンス適合	規約確認が都度必要	自社管理で確実に制御可能
導入ハードル	低（すぐ始められる）	中～高（設計・設置・設定が必要）
故障時の対応	提供者が対応	自社または保守業者が対応
従業員数増加時の費用	アカウント数分だけ増加	ほぼ変わらない（サーバー性能次第）

クラウドAIは「すぐ使える・手間がかからない」という点で優れています。一方、社内専用AIのオフライン構成は「データを外に出せない・インターネット不要・長期的にコスト固定」を求める場合に優位です。現実的には、機密度の高い業務には社内専用AI、社外公開情報の調査や汎用的な文書作成にはクラウドAIという使い分けが最も効率的です。

中小企業が導入を判断するための3つの基準

社内AIのオフライン構成が自社に適しているかどうかを判断するために、次の3つの観点から現状を確認してください。

基準①：扱うデータの機密性
顧問先・患者・取引先など個人情報や技術情報を日常的に扱う業務があるかを確認します。これらの情報をAIに入力する業務があるなら、社内専用AIの構成が適しています。一方、公開情報を元に文章を生成したり、汎用的な文書整形に使うだけならクラウドサービスでも十分です。まず「AIに入力したいデータの種類と機密性」を一覧化することが判断の出発点です。

基準②：同時利用者数とレスポンス要件
同時に利用する従業員が5名以下で、回答に数十秒の待ち時間が許容できる業務であれば、GPU非搭載の構成でも実用になります。10名以上が同時利用するか、応答速度が業務効率に直結する場合は、GPU搭載サーバーの投資が必要です。この場合の初期費用は100万円～200万円の規模になります。利用が集中する時間帯やピーク同時接続数を事前に見積もっておくことが、サーバースペックの選定ミスを防ぎます。

基準③：社内の保守体制
社内専用AIはサーバーの管理・モデルの更新・障害時の対応を自社で行う必要があります。情シス専任が不在でも、外部のITサポート会社と保守契約を結べば対応可能です。ただし、「誰も触れないサーバーが社内に置いてある」状態になることを避けるため、担当者を明確に決めることが条件です。外部保守込みの費用は月額2万円～5万円程度が相場です（2026年9月時点）。

投資回収期間の試算例を挙げます。現在のクラウドAIサービスで月額3万円を支払っている場合、3年間で108万円の費用です。初期70万円で構築した社内構成であれば、1年半程度で回収できる計算です。ランニングコストが大幅に下がるため、従業員の利用頻度が高い組織ほど回収期間は短くなります。

よくある質問

Q. 社内専用AIに入力したデータは学習に使われないのですか？

社内専用AIのオフライン構成では、入力したデータは外部には一切送信されません。使用するOSSモデル（Llama、Qwen等）は入力内容を提供者に送信する仕組みを持っておらず、モデル自体の再学習も自社管理下でのみ発生します。クラウドサービスとは根本的に異なる構造です。ただし、社内サーバーのログには入力内容が残る場合があるため、ログの保存期間と閲覧権限を社内規程で定めることが重要です。

Q. 小型サーバー1台で何名まで対応できますか？

モデルの規模とサーバースペックによって異なります。7Bクラスのモデル・GPU非搭載・64GB RAM構成であれば、同時接続1～2名が実用限界です。VRAM 24GB以上のGPU搭載構成であれば、同時接続5～10名程度が目安です。より多い同時利用を想定する場合は、モデルの軽量化（量子化）やサーバーの増設が選択肢になります。

Q. 工場のオフラインLANでも動きますか？

動きます。社内専用AIはインターネット接続なしで動作するよう設計されているため、インターネットに接続されていない閉域LAN環境でも問題ありません。初回のモデルダウンロードだけはインターネット環境のある別のPCで行い、社内に持ち込む手順が必要です。工場のセキュリティポリシーを変更することなく導入できる点が、クラウドサービスとの最大の違いです。

Q. AIモデルの更新は自動でできますか？

インターネット接続を持たない構成では、モデル更新は手動作業です。インターネット環境のある端末で新しいモデルをダウンロードし、社内サーバーに転送・切り替えます。この作業は月1回程度のペースで行うことが多く、作業時間は30分～1時間程度が目安です。モデルの自動更新を優先するなら、AIサーバーだけ限定的なインターネット接続（更新用URLのみ許可）を設ける設計も選択肢です。

Q. クラウドAIとの併用はできますか？

できます。機密情報を扱う業務には社内専用AI、公開情報の調査や対外文書の下書きにはクラウドAIという使い分けが現実的です。ただし、「どの業務にどちらを使うか」のルールを社内規程として明文化することが前提条件です。ルールが曖昧だと、従業員が判断に迷って機密情報をクラウドに入力するリスクが残ります。

導入前チェックリスト

社内AIのオフライン構成を検討する前に、次の項目を確認してください。全項目を確認・整理してから外部業者への相談を始めると、要件のすれ違いが起きにくくなります。

・入力データの棚卸し: AIに入力する予定の業務データに個人情報・技術秘密・財務情報が含まれるかを業務別に一覧化する
・同時利用者数の確認: 初期段階で使う予定のユーザー数とピーク接続数を確定し、必要なサーバースペックの概算を取る
・ネットワーク環境の確認: 社内LAN構成図を用意し、AIサーバー設置場所とVLAN分離の可否を確認する
・保守担当の確定: サーバー管理・モデル更新・障害対応の担当者（社内または外部委託）を明確にする
・モデル利用規約の確認: 採用予定のOSSモデルが商用利用可能かつ自社業種への適用に問題がないかを確認する
・社内規程の整備: どの業務データを社内専用AIに入力してよいかのルールを文書化し、全従業員に周知する計画を立てる
・投資回収計画の作成: 現在のクラウドAI費用と社内構成のコストを3年間で試算し、経営判断の材料にする

本記事のまとめ

社内ネットワークでAIをオフライン稼働させるエッジ構成は、「データを外に出せない業種」「インターネット不要の環境」「ランニングコストの固定化」を求める中小企業に有効な選択肢です。

設計要件の3本柱は、推論サーバーのハードウェアスペック（GPU有無・RAM容量）、ネットワーク分離（物理的またはVLAN）、社内専用AIのフレームワーク選定（OllamaやvLLM等）です。

導入判断は「扱うデータの機密性」「同時利用者数とレスポンス要件」「社内の保守体制」の3基準で整理し、初期費用と3年間のランニングコストを比較したうえで意思決定することが重要です。

クラウドサービスとの二択ではなく、業務ごとの使い分けを前提に、まず機密情報を扱う業務から社内専用AIで置き換えるという段階的なアプローチが、中小企業にとって現実的な進め方です。設計要件の整理・機器選定・ネットワーク設計については、外部のITサポート会社に要件を提示しながら進めることで、失敗のリスクを大幅に下げられます。