AIプロジェクトの85%が失敗⁉︎ 失敗を避けるには、明確な目標と質の高いデータが不可欠！AIクリエーターの道 ニュース #AI開発 #データ分析 #MLOps
動画で解説
AIプロジェクトが「うまくいかない…」を防ぐには？開発者さんが知っておきたい成功のコツ！
こんにちは、AI技術を初心者さんにも分かりやすく解説するブログへようこそ！あなたの友達、ジョンです。
最近、「AI（人工知能）」って言葉、ニュースやネットで本当によく見かけますよね。「うちの会社もAI導入するぞ！」なんて話もチラホラ聞こえてくるかもしれません。でも、実は華々しく見えるAIプロジェクトも、なかなかうまくいかずに終わってしまうケースが多いってご存知でしたか？
「え、そうなの？じゃあ、どうすれば成功するの？」って気になりますよね。今日は、AIプロジェクトが失敗しがちな理由と、特に開発者のみなさんがプロジェクトを成功に導くためにできることについて、元記事を参考にしながら、いつものように分かりやす～くお話ししていきますね！
そのAI、本当に必要？～意外と見落としがちな出発点～
まず、AIって聞くと何だかすごいことができそうで、ついつい「あれもAIで！これもAIで！」ってなりがちですよね。でも、ちょっと待ってください！すべての問題にAIが必要なわけじゃないんです。
例えば、お客さんのデータを整理するとか、特定のルールに基づいて何かを判断するといった作業なら、AIじゃなくても、もっとシンプルな分析ツールや、昔ながらのプログラム（ルールベースのシステムって言います）で十分なことだってたくさんあります。
AIの専門家であるサンティアゴ・ヴァルダラマさんも、「まずは簡単なルールや経験則（ヒューリスティクスって言います。過去の経験から得られた、だいたいうまくいくやり方のことです）から始めてみよう」とアドバイスしています。そうすることで、本当に解決したい問題が何なのかがもっとよく分かるし、将来的にAIを使うことになったとしても、そのAIがどれくらい役に立っているのかを比べる基準ができるんです。
だから、AI開発ツール（例えばTensorFlowとかPyTorchといった、AIを作るためのプログラムの部品セットみたいなものです）を使い始める前に、一歩立ち止まって考えてみましょう。
- 「私たちが本当に解決したい問題って何だろう？」
- 「その問題を解決するのに、AIが一番良い方法なのかな？」
時には、簡単な計算式や、エクセルみたいな表計算ソフトで十分なこともあるんですよ。
「ゴミを入れたら、ゴミが出る」～AIを賢くするデータの魔法～
さて、AIを使うのにピッタリな問題が見つかったとしても、次に大きな壁が待っています。それが「データ」です。
AIが賢くなるためには、たくさんのデータを学習する必要があります。でも、その学習させるデータがイマイチだったら…？ AIの有名な言葉に「Garbage in, garbage out」というのがあります。これは、「ゴミのようなデータを入れたら、ゴミのような結果しか出てこないよ」という意味です。
例えば、AIに「これはリンゴ、これはミカン」と教えたいのに、腐ったリンゴの写真や、半分しか写っていないミカンの写真ばかり見せていたら、AIはちゃんと見分けられるようになりませんよね。
実際、ある調査によると、AIプロジェクトの約85%が、データの質が悪かったり、そもそも必要なデータが足りなかったりすることが原因で失敗しているそうです。びっくりですよね！
企業の中では、データが部署ごとにバラバラに保管されていたり（これを「データのサイロ化」って言います。情報が孤立しちゃってる状態のことです）、間違いだらけだったり、解決したい問題とは関係ないデータだったりすることがよくあります。そんなデータでAIを訓練しても、いざ本番で使おうとすると全然役に立たない…なんてことになりかねません。
だから、AIプロジェクトを成功させるには、まず「データ準備」（AIに学習させるために、適切なデータを集めて、キレイにして、AIが理解しやすいようにラベルを付ける作業のことです）をしっかりやることがめちゃくちゃ大事なんです。このデータ準備を支える「データエンジニアリング」（データを集めたり、保存したり、AIが使いやすいように加工したりする仕組みを作ること）は、AIプロジェクトの「縁の下の力持ち」なんですよ。
開発者のみなさんにとっては、AIモデルがどんなデータを必要としているのか、そして今あるデータが本当にその目的に合っているのかをしっかり確認することが大切です。例えば、お客さんがサービスを解約するのを予測するAIを作りたいなら、お客さんの最新の利用状況データがちゃんと揃っていますか？それがなければ、どんなにすごいAIの仕組み（ニューラルネットワークとか、人間の脳の神経回路を真似たAIの仕組みのことです）を使っても、うまくいきません。
AIを使いたい気持ちは分かりますが、地道なデータのお掃除（ETL作業：データを抽出・変換・読み込みする作業のことや、データクリーニング：データの誤りや不要な部分を修正・削除すること、特徴量エンジニアリング：AIが学習しやすいようにデータの特徴を加工すること、なんて言ったりします）を疎かにしちゃダメ、絶対！
「成功」って何だろう？～ゴール設定がプロジェクトを救う～
AIプロジェクトが「なんだかよく分からないうちに終わっちゃった…」となるもう一つの大きな理由が、「成功の定義が曖昧」なことです。
「AIで何かいい感じの価値を生み出したい！」というフワッとした期待だけでプロジェクトを始めてしまうと、何をもって「成功」とするのか、みんなの認識がバラバラになっちゃいます。
例えば、あるお店が、お客さん一人ひとりに合わせたオススメ商品を表示するAIを導入したとします。でも、「オススメ商品をクリックしてくれる人が増えたら成功？」「お客さん一人当たりの売上が上がったら成功？」「お店を気に入ってくれるお客さんが増えたら成功？」といった具体的なゴールが決まっていなかったらどうでしょう？ たとえAIが技術的にすごく良い動きをしても、「うーん、これで本当に成功なのかな？」ってなっちゃいますよね。
特に最近話題の「生成AI」（文章や画像などを自動で作ってくれるAI）の分野では、モデルを作って公開したはいいものの、どうやってその良し悪しを評価するのか、ちゃんと決めていないチームが多いそうです。MLエンジニア（機械学習を専門とする技術者）のシュレヤ・シャンカールさんは、「ほとんどの人は、何かを世に出す前に体系的な評価をしていない。だから、期待値は純粋に『雰囲気』で決まっている」と指摘しています。「雰囲気」はデモでは良くても、実際に使ってみるとガッカリ…なんてことになりかねません。
じゃあ、どうすればいいか？答えはシンプルです。プロジェクトを始める前に、具体的な成功の指標（KPI：Key Performance Indicatorの略で、目標が達成できたかどうかを測るための具体的な数値目標のことです）を決めましょう！
例えば、不正利用を見つけるAIシステムを作るなら、「間違って不正と判断しちゃうケース（誤検知）をX％減らしつつ、実際の不正をY％多く見つけられるようにする」といった感じです。こうやって具体的な目標を1つか2つ決めることで、チームみんなが同じ方向を向いて頑張れるし、「本当にこのAI、役に立つのかな？」という疑問にも答えられるようになります。
開発者やデータサイエンティスト（AIやデータを専門に扱う人たちです）のみなさんは、この「成功の定義」をはっきりさせることを強く求めるべきです。後から「このAI、実はこんなにスゴイんですよ！」って良いとこ取りの数字で説明するよりも、最初に「何ができたら成功なのか」をしっかり話し合っておく方が、ずっといい結果につながりますよ。
AIも成長するんです！～作って終わりじゃない、育て続ける大切さ～
「よし、AIモデルの最初のバージョンができたぞ！公開だ！」…これで終わりだと思いますか？ 実は、ここからが本当のスタートなんです。
AIプロジェクトがつまずく大きな理由の一つに、「継続的な学習と改善の計画がない」という点があります。普通のソフトウェアと違って、AIモデルの性能は、時間が経つにつれて変化していくことがあります。例えば、世の中のデータ傾向が変わったり、AIの出す結果に対してユーザーさんが予想外の反応をしたりするんです。つまり、私たちの作ったピカピカのAIも、現実の世界の荒波にもまれなきゃいけないってことですね。
もし、AIからのフィードバック（使ってみてどうだったか、という情報）を無視して、AIモデルを調整し続ける計画がなかったら、あなたのAIプロジェクトはあっという間に「時代遅れの実験」になってしまいます。
AIを成功させる本当の秘訣は、モデルを常に調整し続けること。新しいAIができた！という興奮の中で、意外と忘れられがちなんですが、これがとっても重要なんです。
具体的には、「MLOps（エムエルオプス：機械学習モデルを開発してから実際に運用し、改善していくための一連の取り組みや仕組みのことです）チーム」が言うところの「データフライホイール」という考え方を実践することです。これは、
- AIモデルが出す結果を監視する
- AIが間違えたり、自信なさげだったりする部分の新しいデータを集める
- 集めたデータでAIモデルを再学習させたり、改良したりする
- 改良したAIモデルを再び公開する
というサイクルを回し続けることです。シャンカールさんは、「チームは、AIアプリケーションが公開された直後から高すぎる精度を期待しすぎることが多く、データを継続的に検査し、新しいテストを組み込み、システム全体を改善するためのインフラ（基盤となる設備や仕組みのことです）を構築していないことが多い」と警告しています。AIモデルの公開はゴールじゃなくて、長いマラソンのスタート地点なんですよ！
「とりあえずAI」の罠～試作で終わらせないために～
そして最後に、多くの組織が陥りがちなのが、「試作品（プロトタイプ）は立派だけど、そこから先に進まない」という問題です。デモでは「おおっ！」となるようなAIを作っても、それを実際にたくさんの人が安心して使えるような、しっかりしたシステムに育て上げるための努力を怠ってしまうんです。
なぜこんなことがよく起こるんでしょうか？一つは、さっきも少し触れた「AIブーム」による過度な期待です。社長さんや役員さんから「うちもAI列車に乗り遅れるな！」とプレッシャーがかかると、「とにかく早く何か形にしなきゃ！」と焦ってしまい、中身が伴わない表面的な進捗で満足してしまうことがあります。
もう一つは、「パイロット煉獄（れんごく）」と呼ばれる状態です。これは、AIでどんなことができるか試すために、たくさんの「お試しプロジェクト（パイロットプロジェクト）」を立ち上げるんだけど、予算も人員も最小限で、しかも既存のちゃんとしたシステムとは切り離されていることが多いんです。こういうプロジェクトは、技術的に失敗したわけじゃなくても、そもそも本番で使うことを考えて作られていないから、いつの間にか消えてしまうことが多いんですね。こういう中途半端な実験ばかり繰り返していると、お金もかかるし、みんなのやる気も下がっちゃいます。ある調査では、AIのパイロットプロジェクトの88%が本番運用に至らないというデータもあるくらいです。
IDCという調査会社の専門家によると、失敗する生成AIプロジェクトの多くは、しっかりとしたビジネス上の理由からではなく、役員レベルの号令で始まることが多いそうです。「とりあえずAIやってみよう」という「トップダウンの経済学」みたいなものだ、と指摘しています。
この罠を避けるためには、試作品を本番で使えるように「鍛え上げる」ための時間とリソースをちゃんと確保することが大切です。具体的には、
- 実際のデータを使って動くようにする
- ユーザーさんからの意見を取り入れる仕組みを作る
- めったに起こらないけど、起こると困る特殊なケース（エッジケースって言います）に対応できるようにする
- おかしな指示（プロンプト）をフィルターしたり、難しい判断は人間が代わりにやるような安全装置（ガードレールって言います。AIが暴走しないようにするための仕組みです）をつけたりする
などなど、やることはたくさんあります。結局のところ、AIプロジェクトの成功は、開発者のみなさんの手にかかっていると言っても過言ではないんです。
開発者の皆さん、出番です！～AIプロジェクト成功への道しるべ～
AIプロジェクトの失敗率が高いと聞くと、ちょっと悲観的になっちゃうかもしれません。でも、失敗したプロジェクトの山の中にも、ちゃんと成功している素晴らしいAIの事例はたくさんあります。そして、そういう成功例をよく見ると、大抵そこには「見かけよりも中身を大事にする」という開発者さんの考え方があるんです。
良いニュースは、これらの失敗を防ぐ力は、私たち開発者やデータサイエンティスト、そして技術リーダーの手の中に大きく委ねられているということです！
私たちは、こんなことができます：
- プロジェクトの目的や成功の指標がハッキリしない時には、「なぜやるのか？」をはっきりさせるように声を上げる。
- 地味だけど超重要なデータ品質の確保や、AIを育て続ける仕組み（MLOps）の大切さを周りに伝え、「AIは魔法じゃない、ちゃんとした技術（エンジニアリング）なんだ」と理解してもらう。
- AIソリューションに取り組む時は、デモだけじゃなく、製品が生まれてから終わるまでの全行程（製品ライフサイクル）をちゃんと見据えて計画する。
私たち開発者が、AIの可能性を信じつつも、地に足の着いたアプローチで取り組むことが、AIプロジェクトを成功に導くカギになるんですね。
ジョンからのひとこと
いやー、AIって本当に奥が深いですよね！ 僕もブログを書きながら、改めて「基本が大事なんだな」って感じました。どんなにすごい技術も、使う人間が目的をしっかり持って、丁寧に育てていかないと、宝の持ち腐れになっちゃうんですね。皆さんも、もしAIプロジェクトに関わる機会があったら、今日の話をちょっと思い出してみてください！
この記事は、以下の元記事をもとに筆者の視点でまとめたものです：
Why AI projects fail, and how developers can help them
succeed