オープンソースAIモデルは犯罪悪用に脆弱、研究者が警告

1月29日木曜日、研究者らは、主要な人工知能プラットフォームのガードレールや制約の外で動作するオープンソースの大規模言語モデルを搭載したコンピュータを、ハッカーやその他の犯罪者が容易に乗っ取り、セキュリティリスクと脆弱性を生み出す可能性があると述べた。

研究者らによると、ハッカーはLLMを実行しているコンピュータを標的にし、プラットフォームのセキュリティプロトコルを回避しながら、スパム操作、フィッシングコンテンツの作成、または偽情報キャンペーンを実行させる可能性があるという。

サイバーセキュリティ企業SentinelOneとCensysが293日間にわたって共同で実施し、Reutersに独占的に共有されたこの研究は、数千のオープンソースLLM展開における潜在的に違法な使用事例の規模について新たな視点を提供している。これらには、ハッキング、ヘイトスピーチとハラスメント、暴力的またはグロテスクなコンテンツ、個人データの盗難、詐欺、場合によっては児童性的虐待資料が含まれると研究者らは述べた。

研究者らによると、数千のオープンソースLLMバリアントが存在するが、インターネットアクセス可能なホスト上のLLMのかなりの部分は、MetaのLlama、Google DeepMindのGemmaなどのバリアントである。一部のオープンソースモデルにはガードレールが含まれているが、研究者らはガードレールが明示的に削除された数百の事例を特定した。

SentinelOneのインテリジェンスおよびセキュリティリサーチ担当エグゼクティブディレクターであるJuan Andres Guerrero-Saade氏は、セキュリティコントロールに関するAI業界の議論は「明らかにあらゆる種類のことに利用されているこの種の余剰容量を無視している。その一部は合法的であり、一部は明らかに犯罪的である」と述べた。Guerrero-Saade氏は、この状況を業界とオープンソースコミュニティ全体で適切に考慮されていない「氷山」に例えた。

研究はシステムプロンプトを調査

この研究は、人々や組織がさまざまな大規模言語モデルの独自バージョンを実行できるツールであるOllamaを通じて展開された、公開アクセス可能なオープンソースLLMの展開を分析した。

研究者らは、観察したLLMの約4分の1で、モデルの動作を指示する命令であるシステムプロンプトを確認できた。そのうち、7.5%が有害な活動を可能にする可能性があると判断した。

研究者らが観察したホストの約30%は中国で運用されており、約20%は米国である。

Global Center on AI GovernanceのCEO兼創設者であるRachel Adams氏は、メールで、オープンモデルがリリースされると、次に何が起こるかについての責任は、元のラボを含むエコシステム全体で共有されると述べた。

「ラボは、すべての下流での誤用(予測が困難)に対して責任を負うわけではないが、予見可能な危害を予測し、リスクを文書化し、特に不均一なグローバルな執行能力を考慮して、軽減ツールとガイダンスを提供するという重要な注意義務を保持している」とAdams氏は述べた。

Metaの広報担当者は、オープンソースモデルの下流での悪用に関する懸念に対処する開発者の責任や、懸念がどのように報告されるかについての質問への回答を拒否したが、Llama開発者向けのLlama Protectionツールと、同社のMeta Llama責任ある使用ガイドに言及した。

Microsoft AI Red Team LeadのRam Shankar Siva Kumar氏は、メールで、Microsoftはオープンソースモデルがさまざまな分野で「重要な役割を果たす」と信じているが、「同時に、オープンモデルは、すべての変革的技術と同様に、適切なセーフガードなしでリリースされると敵対者によって誤用される可能性があることを明確に認識している」と述べた。

Microsoftは、「誤用が高い可能性のあるインターネットに公開されたシナリオ、セルフホストシナリオ、ツール呼び出しシナリオのリスクを評価するプロセス」を含むリリース前評価を実施していると彼は述べた。同社はまた、新たな脅威と誤用パターンを監視している。「最終的に、責任あるオープンイノベーションには、クリエイター、デプロイヤー、研究者、セキュリティチーム全体での共有されたコミットメントが必要である。」

Ollamaはコメント要請に応じなかった。AlphabetのGoogleとAnthropicは質問に回答しなかった。– Rappler.com