افشاگری های نگران کننده ای در مورد مکانیسم های ایمنی در هوش مصنوعی انویدیا منتشر شده است.هوش مصنوعی) نرم افزار، چارچوب NeMo، به دنبال تحقیقات اخیر.
یک پیشرفت مهم در نرم افزار، ساخته شده برای پردازش مدل زبان برای راه حل های مبتنی بر هوش مصنوعی مانند ربات های چت، مورد سوء استفاده قرار گرفته است، داده های حساس را در معرض دید قرار می دهد و در نتیجه نگرانی های امنیتی ایجاد می کند.
افشای خط خطا در چارچوب NeMo انویدیا
NeMo Framework که به عنوان ابزاری ابزاری برای کسب‌وکارها در نظر گرفته می‌شود، توسط انویدیا طراحی شده است تا داده‌های اختصاصی را برای پاسخگویی به سؤالات، شبیه به نحوه انجام یک نماینده خدمات مشتری یا مشاور مراقبت‌های بهداشتی، در خود جای دهد.
با این حال، ساختار ظاهرا ایمن این چارچوب به راحتی توسط محققان هوش قوی سانفرانسیسکو غلبه کرد و تنها در عرض چند ساعت از نرده‌های محافظ داخلی عبور کرد.
در یک آزمایش کنترل‌شده، محققان تغییری به ظاهر ناچیز انجام دادند و حرف «I» را با «J» جایگزین کردند. با این حال، این ترفند به ظاهر جزئی منجر به نقض بزرگی شد زیرا سیستم اطلاعات شناسایی شخصی (PII) را از یک پایگاه داده منتشر کرد.
پیامدهای این نقض خطرات بالقوه قابل توجهی را برای مشاغل و کاربرانی که داده های حساس خود را به سیستم های هوش مصنوعی مانند Nvidia می سپارند، ایجاد می کند.
یک آزمایش بیشتر نشان داد که هوش مصنوعی را می توان دستکاری کرد تا از رفتار مورد انتظار خود منحرف شود، و موضوعاتی را که قرار نبود در مورد آن بحث شود، مطرح کرد.
به عنوان مثال، در حالی که مکالمه به سمت یک گزارش شغلی هدایت می شد، مدل برای صحبت در مورد موضوعات نامرتبط مانند وضعیت سلامتی افراد مشهور یا رویدادهای تاریخی مانند جنگ فرانسه و پروس دستکاری شد، همه اینها برخلاف محدودیت های داخلی سیستم.
چنین یافته‌هایی بر چالشی که شرکت‌هایی مانند انویدیا با آن‌ها در تلاش برای کسب درآمد از هوش مصنوعی، یکی از امیدوارکننده‌ترین نوآوری‌های دره سیلیکون است، با آن مواجه هستند.
یارون سینگر، مدیر اجرایی Rubust Intelligence، پروفسور علوم کامپیوتر دانشگاه هاروارد، به این یافته ها به عنوان یک درس هشیارکننده در شناخت مشکلات احتمالی در فناوری هوش مصنوعی اشاره کرد. شرکت سینگر اکنون به مشتریان خود توصیه می کند از محصول نرم افزاری انویدیا استفاده نکنند.
پس از افشای این یافته‌ها، Nvidia به یکی از مشکلات ریشه‌ای که توسط محققان شناسایی شده بود، پرداخت.
علیرغم مشکلات، سهام این شرکت به دلیل پیش‌بینی‌های فروش قوی و تقاضای فزاینده برای تراشه‌های آن‌ها که برای ساختن سیستم‌های هوش مصنوعی مولد قادر به تولید محتوای انسان‌مانند حیاتی هستند، شاهد افزایش قابل توجهی بوده است.
جاناتان کوهن، معاون تحقیقات کاربردی انویدیا، چارچوب NeMo را به عنوان سکوی پرشی برای توسعه ربات چت هوش مصنوعی توصیف کرد که به ایمنی، امنیت و دستورالعمل‌های موضوعی خاص پایبند است.
او همچنین اهمیت یافته‌های حاصل از تحقیقات Robust Intelligence را برای توسعه آینده برنامه‌های کاربردی هوش مصنوعی تأیید کرد.
این حادثه چالش گسترده‌تری را برای شرکت‌های هوش مصنوعی، از جمله غول‌هایی مانند گوگل و OpenAI تحت حمایت مایکروسافت، نشان می‌دهد که علیرغم ایجاد موانع ایمنی برای جلوگیری از نشان دادن رفتارهای نامناسب محصولات هوش مصنوعی، سهم خود را از مشکلات ایمنی داشته‌اند.
همانطور که Bea Longworth، رئیس امور دولتی انویدیا در اروپا، خاورمیانه و آفریقا در طی یک کنفرانس صنعتی اشاره کرد، ایجاد اعتماد عمومی اولویت اصلی شرکت‌های هوش مصنوعی است.
پتانسیل هوش مصنوعی فوق‌العاده است، اما وظیفه تامین‌کنندگان فناوری مانند Nvidia است تا اطمینان حاصل کنند که این سیستم‌های پیشرفته به‌عنوان تهدید تلقی نمی‌شوند، بلکه به‌عنوان ابزارهای سودمند برای آینده شناخته می‌شوند.
سلب مسئولیت: اطلاعات ارائه شده توصیه تجاری نیست. Cryptopolitan.com هیچ مسئولیتی در قبال سرمایه گذاری های انجام شده بر اساس اطلاعات ارائه شده در این صفحه ندارد. ما قویاً تحقیق مستقل و/یا مشاوره با یک متخصص واجد شرایط را قبل از هر تصمیم سرمایه گذاری توصیه می کنیم.
