アマゾンの新ジェネレーティブAIアシスタント"Q"は「重度の幻覚」を見せ、機密データを漏えいさせる

naturalnews.comより

リークされた内部情報によると、アマゾンの駆け出しの生成AIアシスタント「Q」は、事実誤認やプライバシー問題で苦労しているという。
このチャットボットはアマゾンのクラウド・コンピューティング部門が最近発表したもので、企業向けとなる。同社ブログの投稿によると、従業員がメールを書いたり、トラブルシューティングをしたり、コードを書いたり、調査したり、報告書をまとめたりするのを助けるために作られたもので、"各ユーザーがアクセスすることを許可されている"コンテンツにのみ関連する有益な回答をユーザーに提供するという。

ChatGPTよりも安全でセキュアなサービスとして宣伝されていた。しかし、リークされた文書によると、「重度の幻覚」を経験したり、機密データが流出したりと、標準通りに機能していない。

リークされた文書を入手したPlatformerによると、ある事件は"sev 2"としてフラグが立てられた。この指定は、アマゾンのエンジニアを一晩中待機させ、週末に修正作業をさせるほど深刻だと判断された事象にのみ与えられる。
同誌は、このツールによって未発表の機能が流出し、アマゾン・ウェブ・サービスのデータセンターの場所が共有されたことを明らかにした。

ある従業員は同社のSlackチャンネルに、Qは"リーガルでの心臓事故を誘発する可能性がある"ほどひどいアドバイスを提供する可能性があると書き込んだ。

AIアシスタントの間違った回答や幻覚について言及した内部文書にはこう記されている：
「アマゾンQは幻覚を見て、有害または不適切な回答を返すことがある。例えば、Amazon Qは顧客のアカウントを危険にさらす可能性のある古いセキュリティ情報を返すかもしれない。

これらは、データ保護やコンプライアンスに懸念を持つであろう企業に向けて同社が開発しているチャットボットにとって、非常に心配な問題である。また、オープンAIやマイクロソフトのようなAI分野の競合他社に遅れをとっていないことを証明しようとする同社にとっても、良い兆候ではない。

アマゾンは、Qが機密情報を漏らしたことを否定している。同社の広報担当者は次のように述べた：
「一部の従業員は、社内チャネルやチケットシステムを通じてフィードバックを共有しており、これはアマゾンの標準的な慣行です。そのフィードバックの結果、セキュリティ上の問題は確認されませんでした」と述べている。

同社によると、プライバシーやセキュリティへの懸念から、多くの企業がAIアシスタントの業務利用を禁止していることを受け、Qの開発に興味を持ったという。Qは基本的に、よりプライベートでセキュアな代替手段として開発されたもので、今回のリークは、このプロジェクトで彼らが目的を達成できていないことを示している。

AIチャットボットは幻覚を見やすい

幻覚とは、AIモデルが不正確な情報を事実として提示する傾向を指す言葉である。しかし、専門家によれば、これらの言語モデルは、ユーザーからのプロンプトに対して、正しい答えではなく、もっともらしく聞こえる答えを提供するように訓練されているため、この特徴は正確ではないという。モデルに関する限り、事実であろうとなかろうと、もっともらしく聞こえる答えなら何でも受け入れられるのだ。

このような幻覚をある程度抑えるための対策をとっている企業もあるが、コンピュータ科学者の中には、これは単純には解決できない問題だと考える者もいる。

グーグルがChatGPTの競合であるバルドを発表した際、公開デモでジェイムズ・ウェッブ宇宙望遠鏡に関する質問に誤った回答を提供した。別の有名な事件では、テック系ニュースサイトのCNETが、AIツールを使って書いた記事で、非常に不正確な金融アドバイスを読者に提供したため、訂正記事を出さなければならなかった。また、ChatGPTを使って法律調査を行ったニューヨークの弁護士が、チャットボットが考案した一連の事例を記載した準備書面を提出し、問題になったこともある。

このテクノロジーへの依存がうまくいかない可能性は非常に多く、特に、人々がチャットボットからの回答を利用して、健康、財政、投票先、その他のデリケートな話題について意思決定を行う場合、そのような事態が発生する可能性がある。

https://www.naturalnews.com/2023-12-08-ai-assistant-severe-hallucinations-leaks-confidential-info.html

関連記事

コメントを投稿
お名前
タイトル
コメント
	※管理者の承認後表示されます（一度書き込むと変更できませんのでご注意ください）

コメント一覧