این اتفاق در ماه مه ۲۰۲۶ و هنگام ارزیابی تواناییهای امنیت سایبری جمینای رخ داد. آزمایش توسط شرکت امنیتی Irregular انجام میشد و قرار بود عاملهای هوش مصنوعی گوگل تنها در یک محیط کنترلشده فعالیت کنند. با این حال، وجود یک اشکال در محیط آزمایش باعث شد این عاملها بتوانند به اینترنت عمومی متصل شوند.
آزمایش مورد نظر از نوع «Capture the Flag» بود؛ روشی که در آزمایشهای امنیت سایبری برای سنجش توانایی پیدا کردن آسیبپذیریها یا دستیابی به اهداف مشخص استفاده میشود. در چنین آزمایشهایی، تمام اهداف باید از قبل مشخص و تحت کنترل باشند اما در این مورد جمینای به سامانههایی خارج از محیط آزمایشی دسترسی پیدا کرد.
جمینای چگونه وارد سامانههای واقعی شد؟
براساس اعلام گوگل، جمینای در مجموع به سامانههای سه شرکت دسترسی پیدا کرد. در یکی از موارد، مدل با حدسزدن اطلاعات ورود توانست وارد یک سامانه شود. در دو مورد دیگر نیز اطلاعات ورود موجود در مخازن عمومی را پیدا کرد و از آنها برای دسترسی به سامانههای واقعی استفاده کرد.
مدل در زمان انجام این اقدامات تصور میکرد وبسایتها و سامانههایی که پیدا کرده، بخشی از محیط تعریفشده برای آزمایش هستند. براساس توضیحات منتشر شده، عاملهای جمینای پس از تشخیص اینکه به سامانههای واقعی شرکتها وارد شدهاند، فعالیت خود را متوقف کردند.
«هدر ادکینز»، معاون مهندسی امنیت گوگل، در توضیح این اتفاق اعلام کرده است که مدل در جریان یک ارزیابی استاندارد، اطلاعات عمومی موجود در اینترنت را پیدا کرده و از آنها برای دسترسی به وبسایتهایی استفاده کرده که تصور میکرد بخشی از آزمایش هستند. به گفته گوگل، مدل در هر سه مورد پس از تشخیص شرایط فعالیت خود را متوقف کرده است.
گوگل اعلام نکرده است که دقیقاً کدام نسخه از مدل جمینای در این آزمایش مورد استفاده قرار گرفته است. نام سه شرکتی که سامانههای آنها در این اتفاق درگیر بوده نیز منتشر نشده است. گزارشهای منتشر شده تاکنون از خسارت مشخصی به این شرکتها خبر ندادهاند.
مشکل از کجا شروع شد؟
عاملهای هوش مصنوعی حاضر در این آزمایش در اصل نباید امکان دسترسی آزاد به اینترنت را میداشتند. یک نقص در محیط آزمایش شرکت Irregular باعث شد این محدودیت از بین برود و مدل بتواند اطلاعات و سامانههای موجود در دنیای واقعی را جستوجو کند.
شرکت Irregular اعلام کرده است این اتفاق به همان مشکل فنی مرتبط بوده که پیشتر در برخی آزمایشهای مدلهای شرکتهای دیگر نیز مشاهده شده بود. این شرکت در اواخر ماه ژوئیه آزمایشگاههای مرتبط را از موضوع مطلع کرده و شرکتهای تحتتأثیر نیز در جریان بررسیها قرار گرفتهاند. گوگل نیز اعلام کرده است که پس از این اتفاق با Irregular برای تغییر و بهبود فرایند آزمایش همکاری کرده است.
افزایش نگرانیها درباره عاملهای هوش مصنوعی
این اتفاق در شرایطی رخ داده که توانایی مدلهای پیشرفته هوش مصنوعی برای انجام مستقل وظایف پیچیده، از جمله فعالیتهای مرتبط با امنیت سایبری، بیش از گذشته مورد توجه قرار گرفته است.
در هفتههای گذشته موارد مشابهی در آزمایش مدلهای شرکتهایی مانند OpenAI، Anthropic و Meta نیز گزارش شده است. در برخی از این آزمایشها، عاملهای هوش مصنوعی از محدوده در نظر گرفتهشده برای ارزیابی خارج شده و تلاش کردهاند به سامانههایی دسترسی پیدا کنند که جزو اهداف اصلی آزمایش نبودهاند. برخی از این موارد نیز با آزمایشهای شرکت Irregular ارتباط داشتهاند.
ماجرای جمینای نشان میدهد که با افزایش توانایی عاملهای هوش مصنوعی برای استفاده از اینترنت، اجرای فرمانها و کار با ابزارهای مختلف، طراحی محیطهای آزمایشی ایمن اهمیت بیشتری پیدا میکند. محدود کردن دسترسی به شبکه، تعیین دقیق سطح دسترسی عاملها و کنترل فعالیت آنها از جمله اقداماتی است که میتواند از خروج ناخواسته یک آزمایش امنیتی از محدوده تعریفشده جلوگیری کند.
گوگل نیز پس از این اتفاق بر اهمیت توسعه مسئولانه مدلهای قدرتمند هوش مصنوعی تأکید کرده و اعلام کرده است که روی ایمنی این سیستمها سرمایهگذاری میکند.
