顧客の名簿、問い合わせの履歴、面談のメモ。これらをAIに読ませたら、便利になるのは分かっている。けれど、外部のサービスに送って本当に大丈夫なのか。そう感じて、AIの導入を足踏みしている経営者の方は、少なくないと思います。
私たちグローバルリンク自身は、AIに強い不安を持っているわけではありません。ただ、お客様が不安を感じているのであれば、そこに応えられる対策を用意しておく必要があると考えました。そこで今回、自社のパソコンの中だけで動くAIを実際に導入して、試してみました。この記事では、その記録と、情報の置き場所を考えるときの整理の仕方をご紹介します。
「AIが不安」は、正しい感覚です
最初にお伝えしたいのは、不安に感じること自体が間違いではない、ということです。
AIサービスの多くは、入力した文章を外部のサーバーで処理します。多くの事業者が安全対策をしていますが、「どこで、誰が、どの範囲で扱うのか」を正確に把握するのは、利用する側にとって簡単ではありません。社員が個人のアカウントで使い始めてしまい、会社として把握できていない、という状況も起こりえます。
大切なのは、「AIを使う」か「使わない」かの二択で考えないことです。
情報を3つに分けて考える
私たちは、情報を次の3つに分けて考えるようにしました。判断の基準は、法律の難しい話ではなく、「もし外に漏れたら、誰がどれだけ困るか」です。
1. 公開してよい情報
ホームページに載せる文章、サービスの一般的な説明、集客用のブログなど。クラウドのAIを、遠慮なく使って構いません。
2. 信頼できるサービスに預けてよい情報
社内の一般的な業務資料、匿名化した事例など。契約内容と運営会社を確認したうえで、クラウドのAIを使います。
3. 社外に出したくない情報
顧客の氏名や連絡先、個別の相談内容、案件の詳細、会議の議事録。ここが、不安の中心だと思います。
この3つ目を扱う「置き場所」として、自社のパソコンの中で動くAIを試したのが、今回の取り組みです。
実際に導入してみた
使ったのは、「Strata」というオープンソースのソフトです。無料で使えるAIのモデルを、一般的なゲーム用のパソコンで動かすためのものです。
用意したパソコン
グラフィックボードはNVIDIAのRTX 3090（メモリ24GB）、パソコン本体のメモリは64GBです。高性能ではありますが、特殊なサーバーではなく、市販のパーツで組める構成です。
やったこと
- ソフトをダウンロードして、起動用のファイルを実行する。
- 質問に答える（使うモデルの種類、扱える文章の長さなど）。
- モデルのデータ（約76GB）が自動でダウンロードされるのを待つ。
つまずいたこと
ダウンロードの途中で、何度か通信が止まりました。原因は、この環境のネットワークの設定でした。インターネットの接続方式の優先順位を変えたところ、うまく進みました。ソフトの問題というより、パソコンやネットワークの環境ごとに起きる、導入時の相談ごとです。
導入が終わると、パソコンの中で動くAIのチャット画面が開きました。モデルのデータの取得が済めば、文章の処理そのものは、このパソコンの中で行われる仕組みです。
さらに、同じ社内のネットワークにあるほかのパソコンからも使えるようにしました。その際は、合言葉（APIキー）がないとつながらない設定にして、外部のインターネットには公開していません。
使ってみてわかったこと
速さは、実用になりました。
文章の生成は、1秒あたり約90〜110トークン（AIが文章を数える単位で、日本語では1トークンがおおよそ1〜2文字です）でした。約3,000トークンの長い回答が、35秒ほどで出ます。読むペースより速く文字が出てくるので、会話をしていて待たされる感覚はあまりありません。
電気代は、思ったより小さい結果でした。
グラフィックボードの電力を250Wに制限して使いました。使っていない待機中は約40Wです。ここは試算ですが、使っている間の電気代は、パソコン全体で1時間あたり15円前後を見込んでいます。24時間つけっぱなしにしなければ、負担は大きくありません。
品質は、クラウドの最上位には及びません。
社内の長めの資料（1万字を超えるもの）を要約させたところ、数字の取り違えはありませんでした。一方で、元の資料にあった「まだ分かっていないこと」という章が、丸ごと抜けていました。要約を、そのまま意思決定に使うのは危険だと実感しました。
AIは、自信満々に間違えることがあります。
「今日は何日？」と聞いたところ、一度は間違った日付を、堂々と答えました。原因は、前のやり取りが残った状態で質問したことでした。新しい会話でもう一度聞くと、日付を調べるツールを使って、正しく答えました。経営者の方に覚えておいていただきたいのは、AIの答えのうち、数字や日付は人が確認する、という運用です。
サービス業での使いどころ
サービス業は、お客様と直接やり取りをするぶん、記録に個人情報が含まれやすい業種です。たとえば、次のような作業が、3番目の情報の置き場所に向いています。
- 予約や問い合わせの履歴を整理して、傾向をまとめる。
- お客様との面談やカウンセリングのメモを、要点だけに要約する。
- クレームや相談の記録から、再発を防ぐための共通点を探す。
- スタッフ向けのマニュアルをもとに、質問への回答の下書きを作る。
どれも、お客様の名前や個別の事情が含まれる文章です。クラウドに送る前に迷う作業ほど、置き場所を決めておく価値があります。
向いていないこと
正直にお伝えすると、自社のAIには向いていないことがあります。
- クラウドの最上位のAIの代わり。品質は、まだ差があります。調べものや、文章の下書きは、クラウドのほうが得意です。
- たくさんの人が同時に使うこと。処理は1件ずつ行います。部署全体で同時に使う用途には向きません。
- 導入したら終わり、という使い方。更新や設定の見直しは、定期的に必要です。
私たちは、顧客の情報を扱う作業にはこのAIを使い、それ以外はクラウドのAIを使う、という分け方にしました。
導入を考えるときの、5つの確認
もし自社でも試してみたい場合は、次の5つを確認してみてください。
- どの情報を、置き場所の3番目に入れるか。最初に、社内で決めておきます。
- 誰が運用するか。更新や、不具合の対応をする担当者が必要です。
- ほかのAIに、自動で切り替わらないか。顧客情報を扱うAIが、止まったときにクラウドへ自動で切り替わる設定になっていないかを確認します。
- 通信の経路を、確認できているか。私たちは、付属のプログラムの中身を確認した範囲では、外部へデータを送る処理を見つけませんでした。ただし、中核となるエンジンは中身を読めない形式で配布されており、完全な検証はできていません。導入するときは、専門家に相談して、通信の状況を確認することをお勧めします。
- 個人情報の取り扱いルールに合っているか。法律や社内規程への適合は、専門家にご確認ください。
まとめ
AIの不安は、「使うか、使わないか」ではなく、「どの情報を、どこに置くか」を決めることで、小さくできます。
自社のパソコンの中で動くAIは、顧客情報のように、外に出したくない情報を扱うための選択肢のひとつです。万能ではありませんが、使い分けの設計をしておけば、AIを安心して使える範囲が広がります。
「自社の情報を、どう分ければよいか分からない」というご相談でも構いません。お気軽にご連絡ください。
※この記事は、AIの支援を受けて作成し、内容は私たちが確認しています。