وبلاگ
جمینای در آزمایش امنیتی به سیستم 3 شرکت واقعی دسترسی پیدا کرد
- شهریور 28, 1405
- 11:03 ب.ظ
- بدون نظر
گوگل در جریان یک آزمایش امنیتی متوجه شد مدل هوش مصنوعی Gemini به صورت ناخواسته به سیستمهای 3 شرکت واقعی دسترسی پیدا کرده است. این اتفاق در ماه مه رخ داد و یک خطا در محیط آزمایشی باعث شد مدل به جای کار با اهداف شبیهسازیشده، به اینترنت واقعی دسترسی پیدا کند.
Gemini در جریان این آزمایش توانست در یکی از موارد با حدس زدن رمز عبور وارد یک سیستم محافظتشده شود. در 2 مورد دیگر نیز مدل اطلاعات ورود افشاشده در یک مخزن عمومی را پیدا کرد و از آنها برای دسترسی به سیستمها استفاده کرد.
با این حال، Gemini پس از تشخیص اینکه اهداف مورد بررسی به شرکتهای واقعی تعلق دارند، فعالیت خود را متوقف کرد. گوگل نیز پس از شناسایی این اتفاق، هر 3 شرکت را در جریان ماجرا قرار داد و فرایندهای آزمایشی خود را اصلاح کرد.
خطای آزمایشی چگونه به دسترسی واقعی منجر شد؟
ریشه این اتفاق به محیطی برمیگردد که گوگل برای آزمایش تواناییهای امنیتی Gemini ایجاد کرده بود. هدف آزمایش، بررسی توانایی مدل در شناسایی آسیبپذیریها و انجام اقدامات امنیتی در یک محیط کنترلشده بود.
اما یک خطا در تنظیمات محیط آزمایش باعث شد Gemini به اینترنت واقعی دسترسی پیدا کند. در نتیجه، مدل به جای تعامل صرف با اهداف ساختگی، با سیستمهایی مواجه شد که در دنیای واقعی فعالیت میکردند.
این اتفاق اهمیت کنترل دسترسی مدلهای عاملمحور را نشان میدهد. چنین مدلهایی فقط متن تولید نمیکنند و میتوانند در صورت دریافت مجوزهای لازم، جستوجو کنند، کد اجرا کنند، با ابزارها تعامل داشته باشند و مجموعهای از اقدامات را به صورت چندمرحلهای انجام دهند.
گوگل در معرفی Gemini 3.5 نیز بر قابلیتهای عاملمحور این مدل تأکید کرده و آن را برای اجرای فرایندهای پیچیده و چندمرحلهای طراحی کرده است.
Gemini چگونه به سیستمهای واقعی دسترسی پیدا کرد؟
در یکی از موارد، Gemini با حدس زدن رمز عبور توانست از یک سیستم محافظتشده عبور کند. در 2 مورد دیگر، مدل اطلاعات ورود را در یک مخزن عمومی پیدا کرد و از همان اطلاعات برای ورود استفاده کرد.
این بخش از آزمایش یک نکته مهم امنیتی را برجسته میکند: اطلاعاتی که به صورت عمومی در اینترنت منتشر میشوند، میتوانند به عنوان نقطه شروع حملات خودکار مورد استفاده قرار بگیرند.
مدل در این فرایند از روشهای مختلف برای پیدا کردن اطلاعات قابل استفاده بهره برد، اما پس از تشخیص ماهیت واقعی اهداف، ادامه فعالیت را متوقف کرد.
بنابراین این اتفاق را نمیتوان یک حمله هدفمند از سوی گوگل به این شرکتها دانست. مسئله اصلی، اشتباه در محیط آزمایش و عبور ناخواسته مدل از مرز میان اهداف شبیهسازیشده و زیرساخت واقعی بود.
گوگل پس از شناسایی مشکل چه کرد؟
گوگل اعلام کرده است که هر 3 شرکت را از این اتفاق مطلع کرده و فرایندهای آزمایش امنیتی خود را تغییر داده است.
این اصلاحات اهمیت زیادی دارند، زیرا هرچه مدلهای هوش مصنوعی استقلال بیشتری در اجرای وظایف پیدا کنند، کنترل محیطی که مدل در آن فعالیت میکند اهمیت بیشتری خواهد داشت.
گوگل در ماه مه نیز درباره افزایش تواناییهای عاملمحور Gemini صحبت کرده بود. این شرکت Gemini 3.5 را مدلی معرفی کرده که میتواند وظایف پیچیده را با سطح بیشتری از اقدام مستقل اجرا کند.
به همین دلیل، آزمایش مدلها در محیطهای کاملا ایزوله، محدود کردن دسترسی شبکه و کنترل دقیق مجوزهای مدل به یکی از بخشهای مهم توسعه ایمن عاملهای هوش مصنوعی تبدیل شده است.
آیا این اتفاق به معنی ناامن بودن Gemini است؟
این آزمایش به تنهایی نمیتواند نتیجه کلی درباره امنیت Gemini ارائه کند. اتفاق موردنظر در یک محیط آزمایشی رخ داده و گوگل نیز پس از شناسایی خطا، فرایندهای خود را اصلاح کرده است.
با این حال، ماجرا یک چالش مهم را برای توسعه مدلهای عاملمحور نشان میدهد: هرچه یک مدل توانایی بیشتری برای تعامل با اینترنت و سیستمهای خارجی داشته باشد، یک خطای کوچک در سطح دسترسی میتواند پیامدهای بزرگتری ایجاد کند.
در واقع، تفاوت میان یک چتبات معمولی و یک عامل هوش مصنوعی در همین نقطه اهمیت پیدا میکند. یک چتبات عمدتا پاسخ تولید میکند، اما یک عامل میتواند بر اساس دستور کار، اطلاعات جمعآوری کند و اقدامات بعدی را نیز انجام دهد.
شرکتهای دیگر نیز با چالش مشابه روبهرو شدهاند
ماجرای Gemini یک نمونه منفرد از چالشهای امنیتی مدلهای عاملمحور نیست. شرکتهای بزرگ هوش مصنوعی نیز در سالهای اخیر آزمایشهای امنیتی گستردهای برای بررسی توانایی مدلهای خود در شناسایی آسیبپذیریها و انجام اقدامات پیچیده انجام دادهاند.
گوگل نیز در گزارشهای امنیتی خود درباره افزایش استفاده از هوش مصنوعی در حملات سایبری هشدار داده است. گروه اطلاعات تهدیدات گوگل در ماه مه اعلام کرد که نمونهای واقعی از استفاده مهاجمان از هوش مصنوعی برای شناسایی و آمادهسازی یک آسیبپذیری روزصفر را شناسایی کرده است.
این روند نشان میدهد که هوش مصنوعی همزمان میتواند ابزار دفاعی و تهاجمی قدرتمندی باشد. گوگل از ابزارهای مبتنی بر هوش مصنوعی مانند Big Sleep و CodeMender نیز برای شناسایی و اصلاح آسیبپذیریهای نرمافزاری استفاده میکند.
چرا این اتفاق اهمیت دارد؟
اتفاقی که برای Gemini رخ داد، یک هشدار مهم درباره نحوه آزمایش عاملهای هوش مصنوعی است. وقتی یک مدل توانایی جستوجو در اینترنت، تحلیل اطلاعات ورود و تعامل با سیستمهای خارجی را دارد، مرزبندی میان محیط آزمایش و زیرساخت واقعی باید کاملا مشخص باشد.
در این مورد، مدل پس از تشخیص واقعی بودن اهداف متوقف شد؛ اما اصل اتفاق نشان میدهد که حتی یک خطای پیکربندی ساده میتواند مسیر آزمایش را تغییر دهد.
با گسترش عاملهای هوش مصنوعی، امنیت دیگر فقط به جلوگیری از تولید پاسخهای مخرب محدود نمیشود. کنترل دسترسی، محدود کردن مجوزها، ایزوله کردن محیط اجرا و نظارت بر اقدامات مدل نیز به بخش جداییناپذیر امنیت این فناوری تبدیل شدهاند.
جمعبندی
Gemini در جریان یک آزمایش امنیتی در ماه مه به دلیل خطای محیط آزمایش به اینترنت واقعی دسترسی پیدا کرد و توانست به سیستمهای 3 شرکت واقعی دسترسی پیدا کند. مدل در یک مورد رمز عبور را حدس زد و در 2 مورد دیگر از اطلاعات ورود افشاشده در یک مخزن عمومی استفاده کرد.
با این حال، Gemini پس از تشخیص واقعی بودن اهداف، فعالیت خود را متوقف کرد و گوگل نیز هر 3 شرکت را از این اتفاق مطلع کرد و فرایندهای آزمایشی خود را اصلاح کرد.
اهمیت این ماجرا بیشتر از آنکه به یک «نفوذ توسط هوش مصنوعی» محدود شود، به چالش کنترل عاملهای هوش مصنوعی مربوط است؛ مدلهایی که اکنون میتوانند فراتر از تولید متن، با ابزارها و محیطهای واقعی تعامل داشته باشند.
در آکادمی ارز دیجیتال کمال قزلباش، بررسی تحولات هوش مصنوعی و امنیت سایبری در کنار بازار ارزهای دیجیتال اهمیت ویژهای دارد؛ زیرا توسعه عاملهای هوش مصنوعی میتواند در آینده بر امنیت صرافیها، کیف پولها، قراردادهای هوشمند و زیرساختهای مالی مبتنی بر بلاک چین نیز اثر بگذارد.
سوالات متداول
آیا Gemini واقعا به 3 شرکت هک کرد؟
Gemini در جریان یک آزمایش امنیتی به سیستمهای 3 شرکت واقعی دسترسی پیدا کرد، اما این اتفاق به دلیل خطای محیط آزمایش و دسترسی ناخواسته مدل به اینترنت واقعی رخ داد. مدل پس از تشخیص واقعی بودن اهداف، فعالیت خود را متوقف کرد.
Gemini چگونه توانست وارد سیستمها شود؟
در یک مورد، مدل رمز عبور را حدس زد و در 2 مورد دیگر اطلاعات ورود افشاشده در یک مخزن عمومی را پیدا و استفاده کرد.
آیا گوگل این شرکتها را از ماجرا مطلع کرد؟
بله. گوگل اعلام کرده است که هر 3 شرکت را در جریان این اتفاق قرار داده و فرایندهای آزمایشی خود را اصلاح کرده است.
آیا این اتفاق نشان میدهد عاملهای هوش مصنوعی خطرناک هستند؟
این آزمایش به تنهایی چنین نتیجهای را ثابت نمیکند، اما نشان میدهد کنترل دسترسی و ایزولهسازی محیط برای مدلهایی که میتوانند به صورت مستقل با سیستمهای خارجی تعامل کنند، اهمیت زیادی دارد.
مقالات مرتبط
جستجو