AIを入れたのに、現場から「意味がない」と言われる。そんなとき、導入後の数字だけでは、効果がなかったとはまだ判断できません。比較する導入前の状態や、AIを使わない場合との差が見えないからです。
ただし、測っただけで効果が出るわけでもありません。測定不能・利用不全・業務不全・採算不全の4つに分けると、いま手を打つ順番と、継続・改善・停止を判断できる段階かどうかが分かります。この記事では、経営者が今週から記録を始められる5項目の測定表と、導入前データがなくても比較条件を作る手順を整理します。
AI導入の標準的な金額や検証期間は、対象業務の頻度、契約、社内の時間単価で変わるため、この記事では一律の目安を示しません。自社の契約明細と作業時間から判断材料を作る方法に絞ります。
AI導入は意味ない、とまだ判断できない
導入後の数字だけを見ているなら、「AI導入は意味がなかった」と決めるのはまだ早いです。効果がゼロなのか、効果はあるのに見えていないのかを分けられません。まずは判定できる状態を作ります。
英国財務省・Evaluation Task ForceのAI評価ガイドは、導入前の状況を記録した「ベースライン」を効果測定の土台にしています（出典: Guidance on the Impact Evaluation of AI Interventions「2.3 Establishing a baseline」）。こども家庭庁の実践ハンドブックも、定量・定性の指標を組み合わせ、導入前後を比べる方法を示しています（出典: こども家庭庁「生成AIの導入・活用に向けた実践ハンドブック」本編、2025年3月、p.34-36）。
ベースラインとは、比較の出発点になる数字や業務の状態です。比較条件をそろえる手順自体は組織規模に依存しないため、政府・自治体向けの資料でも会社の業務評価へ置き換えて考えられます。
利用回数だけで結論を出さず、次の4状態と5項目で判断材料をそろえます。
「意味がない」を4つの状態に分ける
この記事では、「意味がない」を測定不能・利用不全・業務不全・採算不全の4つに整理します。公的な分類ではなく、経営判断の順番をそろえるための枠組みです。ここを混ぜると、測り直せば済む段階でAIをやめたり、採算が合わない運用を惰性で続けたりします。次の表を上から順に確認してください。複数が同時に当てはまる場合は、上にある状態から先に手を打ちます。測れない状態のまま業務を組み替えても、改善したか確認できないからです。
| 状態 | 何が起きているか | 次の判断 |
|---|---|---|
| 測定不能（効果を比べられない） | 比較の出発点になる数字がない | 測定条件を整えてから判断する |
| 利用不全（そもそも使われていない） | 指標はあるが対象者が使っておらず、判断できる記録がない | 利用条件を改善してから判断する |
| 業務不全（使っても仕事が減らない） | AIは使われているが、確認や修正を含む仕事全体が改善していない | 業務の流れを改善して再測定する |
| 採算不全（費用に見合わない） | 改善はあるが、ツール・教育・運用の負担に見合わない | 改善または停止を判断する |
最初に確かめるのは、「AIが役に立つか」ではなく「いまは効果を判断できる状態か」です。測定不能なら測り方を作ります。利用不全なら対象業務や使い方だけでなく、アカウント付与、教育、現場への説明が済んでいるかも確認してください。
利用されているのに仕事全体が軽くならない場合は、業務不全です。こども家庭庁のハンドブック本編は、既存の仕事にAIをそのまま足すと、入力と確認・修正が二度手間になり、かえって負担が増える場合があると説明しています（p.37）。
仕事は軽くなったが、費用には見合わない。ここまで測れて初めて採算不全です。その場合、止めることは失敗ではありません。費用対効果を確認し、継続しないと決めるのも経営の仕事です。
「意味がない」を判定する効果測定5項目
まずは表計算ソフト1枚から始められます。この記事では、初期判断に使いやすい項目を、総所要時間・人が触る時間・処理件数・誤りや手戻り・総コストの5つに整理します。導入前後で同じ項目を比べると、速さだけでなく品質と採算を考える材料がそろいます。
| 測る項目 | 記録する内容 | 判断できること |
|---|---|---|
| 総所要時間 | 依頼から確認・修正が終わるまで | 納期が短くなったか |
| 人が触る時間 | 入力・確認・修正・転記に使った時間 | 担当者の負担が減ったか |
| 処理件数 | 同じ期間の依頼件数と完了件数 | 依頼に対する完了率が上がったか |
| 誤り・手戻り | 誤り・差し戻し・再作成の件数 | 品質を落とさずに速くなったか |
| 総コスト | ツール・教育・設定・運用・確認作業の費用 | 改善分が支出に見合うか |
総所要時間と、人が触る時間は分けてください。AIが数秒で下書きを出しても、確認待ちや修正が増えれば仕事全体は速くなっていません。AIの処理時間だけを見ていると、ここを見落とします。
総コストには、月額や従量の利用料だけでなく、初期設定、教育、運用、確認・修正、測定表への記録に使う人の時間も含めます。記入時は「利用料＋外注費＋（設定・教育・運用・確認の時間×社内管理上の時間単価）」の形で、費目ごとの金額と計算条件を残してください。
削減時間は、そのままでは金額になりません。残業代や外注費の削減、増員の見送りなど、実際の支出変化に結びついた分だけを金額換算し、同じ期間の総コストと比べてください。支出変化に結びつかない分は、金額化せず「空いた時間」として別に記録します。
比較条件もそろえます。同じ種類と難しさの業務を選び、測る期間、担当者、完成の条件、数え方を合わせます。処理件数は需要に左右されるため、依頼件数も併記し、「完了件数÷依頼件数」の完了率で比べてください。英国政府のガイドも、AIを使う側と従来業務を続ける側など、何と比べたのかを明確にすることを重視しています。
こども家庭庁のハンドブックでは、業務時間など数値で測る指標と、利用者の満足度など数字だけでは表せない指標を組み合わせています。まず上の5項目で経営判断の骨組みを作り、読みやすさや顧客の受け止めなど、件数に出ない品質は短い聞き取りで補ってください。
測定前に決める4つ
- 継続の条件: 「総所要時間を減らす」「誤り・手戻りは増やさない」「総コストは予算内に収める」のように、速さ・品質・費用の条件を決めます。
- 判断の期限または件数: 過去の通常期間と同じ件数が集まる予想日と、契約の解約判断期限のうち、早い方を見直し日にします。件数が足りなければ結論を急がず、契約だけ先に縮小できるか確認します。測定後に条件を変えません。
- 対象にする1業務: 見積書作成、日報集約、問い合わせ一次回答など、始まりと完成が分かる業務を選びます。
- 元へ戻す方法: AI導入前の手順・様式を残し、測定表、生成物、指示文の社内保存先を決めます。
導入前データがなくても比較の基準は作れる
導入前の記録がなくても、過去ログから暫定ベースラインを復元できます。復元できない項目は、直近の代表サンプルやAIあり・なしの試行から、現在の比較値を別に作ります。
1. 過去ログを拾う
日報、受付時刻、メールの送信履歴、修正履歴、請求記録を探します。ここで復元するのが、導入前の暫定ベースラインです。記録の抜けや、現在との数え方の違いも一緒に残してください。
2. 直近の代表サンプルを測る
今もよく発生する業務を選び、5項目を記録します。これは導入前の値ではなく、現在の比較条件をそろえるためのサンプルです。特別に簡単な案件や、逆に難しすぎる案件だけを選ぶと比較がゆがみます。
3. 同じ条件の別案件でAIあり・なしを試す
同一案件を2回行わず、同じ種類と難しさの別案件を、AIあり・なしへ交互に振り分けます。資料の量、期限、完成条件もそろえて比べてください。これは現在の条件で作る比較値です。同じ担当者が両方を試す場合は、AIあり・なしの順序を案件ごとに入れ替え、複数件の平均を見ると慣れの影響を減らせます。件数が少ない業務では、大きな差が同じ方向へ出たときだけ判断し、わずかな差なら「判断保留」として測定を続けてください。
4. 暫定値だと記録する
作成日、対象業務、件数、測定条件、欠けているデータを書きます。後から復元した導入前の値と現在の比較値を分け、当時の実績と同じ確かさがあるようには扱いません。英国政府のガイドのベースライン節も、既存データを探し、追加で集める情報の優先順位を決めるよう示しています。
暫定値を作ったら、その日から同じ5項目を測り続けます。全社展開を急ぐ必要はありません。まず1業務で比較を重ねれば、「導入前に測らなかったから、もう評価できない」で止まらずに済みます。
継続・改善・停止は同じ基準で決める
AIを続けるかどうかは、導入前後の値、または現在のAIあり・なしの比較値を、同じ5項目で比べて決めます。都合のよい数字だけを選ばず、最初に決めた完成条件と同じ物差しで見てください。判断は継続・改善・停止の3つです。
| 判断 | 測定結果 | 次にやること |
|---|---|---|
| 継続 | 時間・品質・コストが決めた目標を満たす | 対象を変えず、同じ方法で測定を続ける |
| 改善 | 一部は良くなったが、手戻りや確認負担が残る | 手順・指示・確認ルールのどれか1つを直して再測定する |
| 停止 | 期限内に改善しても目標に届かず、費用にも見合わない | 元の手順へ戻すか、別の業務で試す |
改善するときは、一度に全部を変えません。指示文、入力する資料、確認手順のどれか1つを変え、同じ条件で測り直します。複数を同時に動かすと、何が効いたのか分からなくなるからです。
英国政府のガイド「2.4 Iterative and staged evaluation」は、小規模な導入から本格運用まで、段階ごとの評価と見直しを示しています。AIは更新され、使い方も変わります。一度「継続」と決めても、次に見直す日を決め、同じ記録を続けてください。
停止を決めたら、担当者へ次の4つを順番に指示します。
- 測定表、必要な生成物、指示文を社内の保存先へ取り出す
- 契約書で最低利用期間と解約予告期間を確認する
- 次の更新日までに発生する費用を出す
- AIツールの利用者アカウントと、社内データへの接続を止める
測定前に残した手順・様式を使って、元の業務へ戻します。別の業務で試すなら、今回の測定表をそのまま使えます。判断の物差しを残せば、次の検証は最初から比較できる状態で始められます。
まとめ｜AI導入が意味ないかは1業務で測り直す
導入後の数字だけでは、AI導入に意味がなかったとはまだ判断できません。今週は、始まりと完成が分かりやすい1業務に絞って測り直してください。
- 「意味がない」を測定不能・利用不全・業務不全・採算不全に分ける
- 総所要時間・人が触る時間・処理件数・誤りや手戻り・総コストを測る
- 導入前データがなければ、過去ログから暫定ベースラインを復元し、復元できない項目は現在の比較値と分けて判断する
- 同じ物差しで継続・改善・停止を決める
まず、その1業務の記録表を作るところから始めましょう。個別製品を導入する前の費用の見方は、Cloudflare OSとは｜無料で始まらない費用と判断基準でも説明しています。次に迷ったときは、AI導入の記事一覧から自社の段階に合うテーマを選べます。ほかの新着記事はブログ一覧にまとめています。
