AIクリエーターの道 ニュース:SnowflakeのCortex AISQL、SQLで非構造化データ分析を簡素化!データエンジニア不要に。 #AISQL #Snowflake #AIデータ分析
動画で解説
まるで魔法!AIが「散らかったデータ」をサッと整理する新技術が登場!
こんにちは!データとAIの世界を楽しく探検するジョンです。
最近、AIのニュースって本当にたくさんありますよね。「難しそう…」「自分には関係ないかな…」と感じる方もいらっしゃるかもしれませんが、実は私たちの暮らしや仕事をもっと便利にするための、ワクワクするような技術がたくさん生まれているんです。
今回は、そんな最新AI技術の中から、「Snowflake(スノーフレーク)」という会社が発表した「Cortex AISQL(コーテックス エーアイエスキューエル)」というすごい新機能について、まったくのAI初心者の方にも「なるほど!」と膝を打っていただけるように、とびきり分かりやすくお話ししたいと思います。
データ分析の「お悩み」ってなんだろう?
まず、AIの話に入る前に、ちょっとだけ「データ」と「データ分析」について触れておきましょう。
データというのは、私たちがお店で買い物した履歴、Webサイトを見た記録、メールのやり取り、SNSの投稿、写真や動画、PDFファイルなど、身の回りにあるあらゆる「情報」のことです。
これらの情報を分析すると、例えば「この商品が売れるのはどんな人たちに多いのか」「お客さんがどんなサービスに不満を持っているのか」といった、ビジネスにとってすごく大切な「ヒント」が見えてきます。例えるなら、散らばったパズルのピースから、絵全体を読み解くようなものです。
でも、このデータには二つの種類があるんです。
* 構造化データ: きっちり整理されたデータ。表計算ソフトのExcelシートのように、列と行が決まっていて、名前、住所、電話番号などが決められたマス目に入っているようなデータです。これは比較的分析しやすいんです。
* 非構造化データ: きっちり整理されていないデータ。これが厄介者なんです!
例えば、
* メールの文章(定型文じゃない自由な文章)
* SNSの投稿(絵文字もスラングも何でもあり)
* 会議の議事録や契約書のPDFファイル
* 写真や動画
これらは決まった形になっていないので、コンピューターが「はい、ここから名前、ここから住所!」と自動で読み取るのがすごく難しいんです。例えるなら、きれいに分類された本棚(構造化データ)と、色々な書類がぐちゃぐちゃに積まれた山(非構造化データ)のようなイメージです。
これまで、この「ぐちゃぐちゃの山」から必要な情報を見つけ出すのは、すごく手間がかかり、専門家じゃないとできない「職人技」でした。
救世主登場!Snowflakeの「Cortex AISQL」ってどんな魔法?
そこで登場するのが、今回ご紹介するSnowflakeの「Cortex AISQL」です!
これは一言で言うと、「AIの魔法の力を使って、この『ぐちゃぐちゃの山』(非構造化データ)から、欲しい情報をパッと探し出し、整理してくれるすごいツール」なんです。
Snowflakeは、企業が大量のデータを保存し、分析するためのシステムを提供している会社です。例えるなら、データを保管する巨大な倉庫と、そのデータを活用するための道具を貸してくれる業者さんです。
そして、このAISQLは、Snowflakeのデータ分析サービスの中で「SQL(エスキューエル)」という「データをおしゃべりする共通言語」を使って、この魔法を実現するんです。SQLとは、データベース(情報を整理してしまっておく場所)からデータを取り出したり、加工したりするための特別な「おしゃべり言葉」のことで、データ分析の標準的な言葉なんです。
AIが「データ分析の探偵さん」の最高の相棒に!
これまで、データ分析をする人(データアナリスト:データを分析して、そこからビジネスのヒントを見つけ出す人。例えるなら、宝探しをする探偵さんみたいなもの)が、非構造化データを分析しようとすると、
1. まず、データエンジニア(データがスムーズに流れるように、システムの設計や構築をする人。例えるなら、データの「水道管」を作る職人さん)や、プログラマーに頼んで、そのデータを使える形に加工してもらう
2. Python(パイソン)などの難しいプログラミング言語を使って、自分で分析ツールを作る
3. 大量のデータから手作業で情報を探し出す
…といった、時間も手間もかかる作業が必要でした。例えるなら、宝探しをする探偵さんが、自分で道具を作ったり、見つけた宝をきれいにするための特別な機械を自分で組み立てたりするようなものです。
でも、Cortex AISQLがあれば、その手間がほとんどなくなります!
データアナリストは、使い慣れたSQLという「共通言語」を使って、AIに直接「このメールの文章がポジティブかネガティブか調べて!」「この写真に何が写っているか教えて!」「このPDFから氏名と日付を抜き出して!」といったお願いができるようになるんです。
専門家でなくても、まるで「魔法の杖」を振るように、データから欲しい情報を引き出せるようになるイメージです。これは、データアナリストにとってはまさに「夢のような話」なんです!
AIが働く「特別な作業場」Cortexとは?
この魔法を実現しているのが、Snowflakeの中にある「Cortex(コーテックス)」という「特別な作業場」です。
Cortexは、「LLMs(大規模言語モデル)」という、たくさんの文章を学習して人間のように自然な文章を作ったり、質問に答えたりできる賢いAI(ChatGPTなんかがその仲間です)を使うための土台となる場所を提供しています。
通常、こういった賢いAIを動かすには、GPU(グラフィックボード)という、すごく計算が得意な特別なコンピューターがたくさん必要で、その管理もとても大変です。例えるなら、AIが働くための高性能なコンピューターがたくさん並んだ、巨大なデータセンターを自分で持っているようなものです。
でも、Cortexを使えば、そういった面倒な高性能コンピューターの管理をSnowflakeが全部やってくれるので、私たちは「水道の蛇口をひねるだけ」で、AIのすごい力を借りられるようになるんです。
もっと良いこと尽くし!AISQLのすごいメリット
Cortex AISQLは、ただ非構造化データを分析しやすくするだけではありません。他にもたくさんのメリットがあります。
* 分析が速くなる!:データ検索や加工の処理が、なんと30%から70%も速くなる可能性があるそうです。
* コストも削減!:データの絞り込みや結合といった作業にかかる費用が、最大60%も抑えられることもあるとのこと。
* どんなデータもまとめて分析!:構造化データも非構造化データも、一つのシステムでまとめて検索・分析できる「統一されたクエリエンジン」としてSnowflakeを使えるようになります。
他のGoogleやDatabricks、Oracleといった会社も、似たような技術を開発中ですが、Snowflakeは使い慣れたSQLに生成AIを組み込むことで、より多くの人がAIを身近に使えるようにすることを目指しているようですね。
ジョンからのひとこと
今回のSnowflakeのCortex AISQLの発表は、まさに「AIの民主化」の一歩だと感じました。これまで専門家しか触れなかったようなAIの力を、データアナリストが普段使い慣れたSQLという言葉で、もっと気軽に活用できるようになるというのは、本当に画期的なことです。これからのビジネスにおいて、データから価値を生み出すスピードが格段に上がるでしょうし、私たちもAIがより身近になることで、もっと便利で面白いサービスが生まれるのが楽しみです。
この記事は、以下の元記事をもとに筆者の視点でまとめたものです:
Snowflake’s Cortex AISQL aims to simplify unstructured data
analysis