این مقاله به شما کمک می‌کند تا مسائل امنیت داده‌ها و هوش مصنوعی را بهتر درک کنید، بیایید همین حالا با INVIAI همراه شویم!

هوش مصنوعی (AI) در حال تحول صنایع و جامعه است، اما نگرانی‌های حیاتی امنیت داده‌ها را نیز به همراه دارد. سیستم‌های مدرن هوش مصنوعی با مجموعه داده‌های عظیمی تغذیه می‌شوند که شامل اطلاعات حساس شخصی و سازمانی است. اگر این داده‌ها به‌درستی محافظت نشوند، دقت و اعتمادپذیری نتایج هوش مصنوعی ممکن است به خطر بیفتد.

در واقع، امنیت سایبری به عنوان «پیش‌شرط ضروری برای ایمنی، تاب‌آوری، حریم خصوصی، عدالت، اثربخشی و قابلیت اطمینان سیستم‌های هوش مصنوعی» شناخته می‌شود. این بدان معناست که حفاظت از داده‌ها صرفاً یک مسئله فناوری اطلاعات نیست، بلکه اساس تضمین بهره‌مندی هوش مصنوعی بدون ایجاد آسیب است.

با ادغام هوش مصنوعی در عملیات حیاتی در سراسر جهان، سازمان‌ها باید هوشیارانه به حفاظت از داده‌هایی که این سیستم‌ها را تغذیه می‌کنند، توجه کنند.

اهمیت امنیت داده‌ها در توسعه هوش مصنوعی

قدرت هوش مصنوعی از داده‌ها ناشی می‌شود. مدل‌های یادگیری ماشین الگوها را می‌آموزند و بر اساس داده‌های آموزشی تصمیم‌گیری می‌کنند. بنابراین، امنیت داده‌ها در توسعه و پیاده‌سازی سیستم‌های هوش مصنوعی اهمیت بالایی دارد. اگر مهاجمی بتواند داده‌ها را دستکاری یا سرقت کند، رفتار و خروجی‌های هوش مصنوعی ممکن است تحریف شده یا غیرقابل اعتماد شود.

استراتژی‌های موفق مدیریت داده‌های هوش مصنوعی باید تضمین کنند که داده‌ها در هیچ مرحله‌ای دستکاری یا خراب نشده‌اند، عاری از محتوای مخرب یا غیرمجاز باشند و شامل ناهنجاری‌های ناخواسته نباشند.

به طور خلاصه، حفاظت از یکپارچگی و محرمانگی داده‌ها در تمام مراحل چرخه عمر هوش مصنوعی – از طراحی و آموزش تا پیاده‌سازی و نگهداری – برای اطمینان از هوش مصنوعی قابل اعتماد ضروری است. غفلت از امنیت سایبری در هر یک از این مراحل می‌تواند امنیت کل سیستم هوش مصنوعی را به خطر اندازد. راهنمایی‌های رسمی از سازمان‌های بین‌المللی امنیتی تأکید می‌کنند که اقدامات امنیت سایبری قوی و بنیادی باید برای تمام مجموعه داده‌های مورد استفاده در طراحی، توسعه، بهره‌برداری و به‌روزرسانی مدل‌های هوش مصنوعی اعمال شود.

به طور خلاصه، بدون امنیت داده‌های قوی، نمی‌توان به ایمنی یا دقت سیستم‌های هوش مصنوعی اعتماد کرد.

چالش‌های حفظ حریم خصوصی داده‌ها در عصر هوش مصنوعی

یکی از بزرگ‌ترین مسائل در تقاطع هوش مصنوعی و امنیت داده‌ها، حریم خصوصی است. الگوریتم‌های هوش مصنوعی اغلب به حجم زیادی از داده‌های شخصی یا حساس – از رفتارهای آنلاین و ویژگی‌های جمعیتی گرفته تا شناسه‌های بیومتریک – نیاز دارند تا به طور مؤثر عمل کنند. این موضوع نگرانی‌هایی درباره نحوه جمع‌آوری، استفاده و حفاظت از این داده‌ها ایجاد می‌کند. استفاده غیرمجاز از داده‌ها و جمع‌آوری مخفیانه داده‌ها به چالش‌های رایجی تبدیل شده‌اند: سیستم‌های هوش مصنوعی ممکن است بدون اطلاع یا رضایت کامل افراد به اطلاعات شخصی دسترسی پیدا کنند.

برای مثال، برخی خدمات مبتنی بر هوش مصنوعی داده‌ها را از اینترنت جمع‌آوری می‌کنند – یک مورد جنجالی مربوط به شرکتی در حوزه تشخیص چهره بود که پایگاه داده‌ای شامل بیش از ۲۰ میلیارد تصویر جمع‌آوری شده از شبکه‌های اجتماعی و وب‌سایت‌ها بدون رضایت ایجاد کرد. این موضوع واکنش‌های قانونی را به دنبال داشت و مقامات اروپایی جریمه‌های سنگین و ممنوعیت‌هایی برای نقض قوانین حریم خصوصی صادر کردند. چنین حوادثی نشان می‌دهد که نوآوری‌های هوش مصنوعی می‌توانند به راحتی خطوط اخلاقی و قانونی را رد کنند اگر حریم خصوصی داده‌ها رعایت نشود.

مقامات نظارتی در سراسر جهان با اجرای قوانین حفاظت از داده‌ها در زمینه هوش مصنوعی پاسخ می‌دهند. چارچوب‌هایی مانند مقررات عمومی حفاظت از داده‌های اتحادیه اروپا (GDPR) الزامات سختگیرانه‌ای درباره نحوه پردازش داده‌های شخصی اعمال می‌کنند که پروژه‌های هوش مصنوعی در سطح جهانی را تحت تأثیر قرار می‌دهد. همچنین مقررات خاص هوش مصنوعی جدیدی در راه است – برای مثال، قانون هوش مصنوعی اتحادیه اروپا (که انتظار می‌رود تا سال ۲۰۲۵ اجرایی شود) سیستم‌های هوش مصنوعی پرخطر را ملزم به اجرای اقداماتی برای تضمین کیفیت داده‌ها، دقت و استحکام امنیت سایبری می‌کند.

سازمان‌های بین‌المللی نیز این اولویت‌ها را تأیید می‌کنند: توصیه‌های جهانی اخلاق هوش مصنوعی یونسکو به صراحت شامل «حق حریم خصوصی و حفاظت از داده‌ها» است و تأکید دارد که حریم خصوصی باید در تمام چرخه عمر سیستم هوش مصنوعی حفظ شود و چارچوب‌های کافی برای حفاظت از داده‌ها فراهم گردد. به طور خلاصه، سازمان‌هایی که هوش مصنوعی را به کار می‌گیرند باید در مواجهه با نگرانی‌ها و مقررات پیچیده حریم خصوصی، اطمینان حاصل کنند که داده‌های افراد به صورت شفاف و امن مدیریت می‌شود تا اعتماد عمومی حفظ شود.

تهدیدات علیه یکپارچگی داده‌ها و سیستم‌های هوش مصنوعی

امنیت هوش مصنوعی تنها به محافظت از داده‌ها در برابر سرقت محدود نمی‌شود – بلکه به حفظ یکپارچگی داده‌ها و مدل‌ها در برابر حملات پیچیده نیز مربوط است. بازیگران مخرب راه‌هایی برای سوءاستفاده از سیستم‌های هوش مصنوعی با هدف قرار دادن زنجیره تأمین داده‌ها یافته‌اند. یک مشاوره مشترک امنیت سایبری در سال ۲۰۲۵ سه حوزه اصلی خطر امنیت داده‌های خاص هوش مصنوعی را برجسته کرد: زنجیره‌های تأمین داده‌های آسیب‌دیده، داده‌های دستکاری شده («سمی») و تغییر تدریجی داده‌ها (data drift). در ادامه، این تهدیدات کلیدی را بررسی می‌کنیم:

• حملات مسموم‌سازی داده‌ها: در این نوع حمله، مهاجم عمداً داده‌های نادرست یا گمراه‌کننده را به مجموعه داده‌های آموزشی سیستم هوش مصنوعی تزریق می‌کند و رفتار مدل را خراب می‌سازد. از آنجا که مدل‌های هوش مصنوعی از داده‌های آموزشی «یاد می‌گیرند»، داده‌های مسموم می‌تواند باعث تصمیم‌گیری یا پیش‌بینی‌های نادرست شود.
  برای مثال، اگر مجرمان سایبری بتوانند نمونه‌های مخرب را در داده‌های آموزشی یک فیلتر هرزنامه وارد کنند، هوش مصنوعی ممکن است ایمیل‌های حاوی بدافزار را به اشتباه ایمن تشخیص دهد. نمونه واقعی و مشهور این موضوع، حادثه چت‌بات تای مایکروسافت در سال ۲۰۱۶ بود – کاربران اینترنت با ارسال ورودی‌های توهین‌آمیز، چت‌بات را «مسموم» کردند و باعث شدند تای رفتارهای سمی بیاموزد. این نشان داد که چگونه یک سیستم هوش مصنوعی می‌تواند به سرعت توسط داده‌های بد منحرف شود اگر محافظت‌های لازم وجود نداشته باشد.

  مسموم‌سازی می‌تواند ظریف‌تر نیز باشد: مهاجمان ممکن است تنها درصد کمی از داده‌ها را به گونه‌ای تغییر دهند که تشخیص آن دشوار باشد اما خروجی مدل را به نفع خودشان سوگیری کند. شناسایی و جلوگیری از مسموم‌سازی چالشی بزرگ است؛ بهترین روش‌ها شامل بررسی منابع داده و استفاده از تشخیص ناهنجاری برای شناسایی نقاط داده مشکوک پیش از تأثیرگذاری بر هوش مصنوعی است.

• ورودی‌های خصمانه (حملات فرار): حتی پس از آموزش و پیاده‌سازی مدل هوش مصنوعی، مهاجمان می‌توانند با ارائه ورودی‌های دقیقاً طراحی شده، آن را فریب دهند. در حمله فرار، داده ورودی به طور ظریف دستکاری می‌شود تا هوش مصنوعی آن را اشتباه تفسیر کند. این دستکاری‌ها ممکن است برای انسان‌ها قابل تشخیص نباشد اما خروجی مدل را کاملاً تغییر دهد.
  یک مثال کلاسیک مربوط به سیستم‌های بینایی ماشین است: پژوهشگران نشان داده‌اند که چسباندن چند برچسب کوچک یا افزودن کمی رنگ روی یک تابلوی توقف می‌تواند هوش مصنوعی خودروهای خودران را فریب دهد تا آن را به عنوان تابلو محدودیت سرعت تشخیص دهد. تصویر زیر نشان می‌دهد چگونه تغییرات جزئی که برای انسان بی‌اهمیت به نظر می‌رسند، می‌توانند مدل هوش مصنوعی را کاملاً گیج کنند. مهاجمان می‌توانند از تکنیک‌های مشابه برای عبور از سیستم‌های تشخیص چهره یا فیلترهای محتوا با افزودن اختلالات نامرئی به تصاویر یا متن استفاده کنند. چنین نمونه‌های خصمانه آسیب‌پذیری بنیادی هوش مصنوعی را نشان می‌دهند – الگوریتم‌های تشخیص الگو می‌توانند به روش‌هایی مورد سوءاستفاده قرار گیرند که انسان‌ها انتظار ندارند.

تغییرات جزئی در یک تابلو توقف (مانند برچسب‌ها یا علامت‌های ظریف) می‌تواند سیستم بینایی هوش مصنوعی را فریب دهد تا آن را اشتباه بخواند – در یک آزمایش، تابلو توقف تغییر یافته به طور مداوم به عنوان تابلو محدودیت سرعت تفسیر شد. این نمونه‌ای است از اینکه چگونه حملات خصمانه می‌توانند با بهره‌گیری از نحوه تفسیر داده‌ها توسط مدل‌ها، هوش مصنوعی را فریب دهند.

• ریسک‌های زنجیره تأمین داده‌ها: توسعه‌دهندگان هوش مصنوعی اغلب به منابع داده خارجی یا شخص ثالث (مانند داده‌های جمع‌آوری شده از وب، داده‌های آزاد یا گردآورندگان داده) متکی هستند. این موضوع یک آسیب‌پذیری زنجیره تأمین ایجاد می‌کند – اگر داده‌های منبع آسیب‌دیده یا از مبدا غیرقابل اعتماد باشند، ممکن است تهدیدات پنهانی داشته باشند.
  برای مثال، یک مجموعه داده عمومی ممکن است عمداً با ورودی‌های مخرب یا خطاهای ظریف آلوده شده باشد که بعدها مدل هوش مصنوعی را که از آن استفاده می‌کند، به خطر می‌اندازد. اطمینان از اصالت داده‌ها (دانستن منبع داده و اینکه دستکاری نشده است) حیاتی است.

  راهنمایی مشترک سازمان‌های امنیتی توصیه می‌کند اقداماتی مانند امضاهای دیجیتال و بررسی‌های یکپارچگی برای تأیید اصالت داده‌ها در طول زنجیره تأمین هوش مصنوعی به کار گرفته شود. بدون این محافظت‌ها، مهاجم می‌تواند زنجیره تأمین هوش مصنوعی را با تغییر داده‌ها در مراحل اولیه (مثلاً دستکاری داده‌های آموزشی مدل دانلود شده از مخزن عمومی) ربوده و آسیب برساند.

• تغییر تدریجی داده‌ها و کاهش کیفیت مدل: همه تهدیدات مخرب نیستند – برخی به طور طبیعی در طول زمان رخ می‌دهند. تغییر تدریجی داده‌ها به پدیده‌ای گفته می‌شود که ویژگی‌های آماری داده‌ها به تدریج تغییر می‌کند، به طوری که داده‌هایی که سیستم هوش مصنوعی در عملیات با آن مواجه می‌شود، دیگر با داده‌های آموزشی مطابقت ندارد. این موضوع می‌تواند منجر به کاهش دقت یا رفتار غیرقابل پیش‌بینی شود.
  اگرچه تغییر تدریجی داده‌ها خود یک حمله نیست، اما زمانی که مدل عملکرد ضعیفی دارد، می‌تواند توسط مهاجمان سوءاستفاده شود. برای مثال، سیستم تشخیص تقلب هوش مصنوعی که بر اساس الگوهای تراکنش سال گذشته آموزش دیده، ممکن است تاکتیک‌های جدید تقلب امسال را تشخیص ندهد، به ویژه اگر مجرمان برای دور زدن مدل قدیمی‌تر خود را تطبیق دهند.

  مهاجمان حتی ممکن است الگوهای جدیدی (نوعی تغییر مفهوم) را عمداً وارد کنند تا مدل‌ها را گیج کنند. آموزش مجدد منظم مدل‌ها با داده‌های به‌روز و نظارت بر عملکرد آن‌ها برای کاهش اثر تغییر تدریجی ضروری است. به‌روزرسانی مداوم مدل‌ها و اعتبارسنجی مستمر خروجی‌های آن‌ها تضمین می‌کند که آن‌ها در برابر تغییرات محیطی و تلاش‌های سوءاستفاده از دانش قدیمی مقاوم باقی بمانند.

• حملات سایبری سنتی به زیرساخت‌های هوش مصنوعی: باید به یاد داشت که سیستم‌های هوش مصنوعی بر روی نرم‌افزارها و سخت‌افزارهای استاندارد اجرا می‌شوند که در برابر تهدیدات سایبری معمول آسیب‌پذیر هستند. مهاجمان ممکن است سرورها، فضای ذخیره‌سازی ابری یا پایگاه‌های داده‌ای که داده‌ها و مدل‌های آموزشی هوش مصنوعی را نگهداری می‌کنند، هدف قرار دهند.
  نفوذ به این منابع می‌تواند داده‌های حساس را افشا کند یا امکان دستکاری سیستم هوش مصنوعی را فراهم آورد. برای مثال، نشت داده‌ها در شرکت‌های هوش مصنوعی رخ داده است – در یک مورد، فهرست داخلی مشتریان یک شرکت تشخیص چهره پس از نفوذ مهاجمان فاش شد که نشان می‌داد بیش از ۲۲۰۰ سازمان از خدمات آن استفاده کرده‌اند.

  این حوادث نشان می‌دهد که سازمان‌های هوش مصنوعی باید همانند هر شرکت نرم‌افزاری، از شیوه‌های امنیتی قوی (رمزنگاری، کنترل دسترسی، امنیت شبکه) پیروی کنند. علاوه بر این، سرقت یا استخراج مدل‌ها نیز نگرانی رو به رشدی است: مهاجمان ممکن است مدل‌های اختصاصی هوش مصنوعی را از طریق هک یا پرس‌وجو از سرویس‌های عمومی برای مهندسی معکوس مدل سرقت کنند. مدل‌های سرقت شده می‌توانند سوءاستفاده یا تحلیل شوند تا آسیب‌پذیری‌های بیشتری کشف شود. بنابراین، حفاظت از مدل‌های هوش مصنوعی (مثلاً با رمزنگاری در حالت استراحت و کنترل دسترسی) به اندازه حفاظت از داده‌ها اهمیت دارد.

خلاصه اینکه، سیستم‌های هوش مصنوعی با ترکیبی از حملات خاص داده‌محور (مسموم‌سازی، فرار خصمانه، دستکاری زنجیره تأمین) و تهدیدات سایبری سنتی (هک، دسترسی غیرمجاز) مواجه هستند. این موضوع نیازمند رویکردی جامع برای امنیت است که یکپارچگی، محرمانگی و دسترسی‌پذیری داده‌ها و مدل‌های هوش مصنوعی را در هر مرحله تضمین کند.

همانطور که مرکز ملی امنیت سایبری بریتانیا و شرکایش اشاره کرده‌اند، سیستم‌های هوش مصنوعی «آسیب‌پذیری‌های امنیتی نوظهور» دارند و امنیت باید یک الزام اساسی در سراسر چرخه عمر هوش مصنوعی باشد، نه یک فکر بعدی.

هوش مصنوعی: شمشیری دو لبه برای امنیت

در حالی که هوش مصنوعی خطرات امنیتی جدیدی ایجاد می‌کند، ابزاری قدرتمند برای تقویت امنیت داده‌ها نیز هست، به شرطی که به صورت اخلاقی استفاده شود. مهم است که این دوگانگی را درک کنیم. از یک سو، مجرمان سایبری از هوش مصنوعی برای تقویت حملات خود بهره می‌برند؛ از سوی دیگر، مدافعان از هوش مصنوعی برای تقویت امنیت سایبری استفاده می‌کنند.

• هوش مصنوعی در دست مهاجمان: ظهور هوش مصنوعی مولد و یادگیری ماشین پیشرفته، موانع انجام حملات سایبری پیچیده را کاهش داده است. بازیگران مخرب می‌توانند از هوش مصنوعی برای خودکارسازی کمپین‌های فیشینگ و مهندسی اجتماعی استفاده کنند و جعل‌ها را قانع‌کننده‌تر و تشخیص آن‌ها را دشوارتر کنند.
  برای مثال، هوش مصنوعی مولد می‌تواند ایمیل‌های فیشینگ بسیار شخصی‌سازی شده یا پیام‌های جعلی بسازد که سبک نوشتاری فرد را تقلید می‌کند و احتمال فریب خوردن قربانی را افزایش می‌دهد. چت‌بات‌های هوش مصنوعی حتی می‌توانند مکالمات زنده با اهداف داشته باشند و در نقش پشتیبانی مشتری یا همکاران ظاهر شوند تا کاربران را به افشای رمز عبور یا اطلاعات مالی ترغیب کنند.

  تهدید دیگر دیپ‌فیک‌ها هستند – ویدئوها یا کلیپ‌های صوتی مصنوعی تولید شده توسط هوش مصنوعی. مهاجمان از صدای دیپ‌فیک برای تقلید صدای مدیران عامل یا مقامات دیگر استفاده کرده‌اند تا انتقال‌های بانکی جعلی را در آنچه «فیشینگ صوتی» نامیده می‌شود، مجاز کنند. به همین ترتیب، ویدئوهای دیپ‌فیک می‌توانند برای انتشار اطلاعات نادرست یا اخاذی به کار روند. مقیاس‌پذیری هوش مصنوعی به این معنی است که این حملات می‌توانند در مقیاس و با باورپذیری‌ای انجام شوند که قبلاً ممکن نبود.

  کارشناسان امنیتی اشاره می‌کنند که هوش مصنوعی به سلاحی در زرادخانه مجرمان سایبری تبدیل شده است که برای شناسایی آسیب‌پذیری‌های نرم‌افزاری تا خودکارسازی ساخت بدافزار استفاده می‌شود. این روند نیازمند آن است که سازمان‌ها دفاع خود را تقویت کرده و کاربران را آموزش دهند، زیرا «عامل انسانی» (مانند فریب خوردن در برابر ایمیل فیشینگ) اغلب ضعیف‌ترین حلقه است.

• هوش مصنوعی برای دفاع و شناسایی: خوشبختانه، همان قابلیت‌های هوش مصنوعی می‌توانند به طور چشمگیری امنیت سایبری را در سمت دفاع بهبود بخشند. ابزارهای امنیتی مبتنی بر هوش مصنوعی می‌توانند حجم زیادی از ترافیک شبکه و لاگ‌های سیستم را تحلیل کنند تا ناهنجاری‌هایی که ممکن است نشانه نفوذ سایبری باشد را شناسایی کنند.
  با یادگیری رفتار «عادی» در یک سیستم، مدل‌های یادگیری ماشین می‌توانند الگوهای غیرمعمول را به صورت زنده علامت‌گذاری کنند – که ممکن است هکرها را در حین عمل گرفتار کند یا نفوذ داده‌ها را هنگام وقوع تشخیص دهد. این تشخیص ناهنجاری به ویژه برای شناسایی تهدیدات جدید و پنهان که توسط سیستم‌های مبتنی بر امضا قابل شناسایی نیستند، مفید است.

  برای مثال، سیستم‌های هوش مصنوعی می‌توانند الگوهای ورود کاربران یا دسترسی به داده‌ها در یک شرکت را زیر نظر داشته باشند و در صورت مشاهده تلاش دسترسی غیرمعمول یا دانلود حجم غیرمعمولی از داده‌ها (که ممکن است نشانه تهدید داخلی یا استفاده از اعتبارنامه‌های سرقت شده باشد) به تیم‌های امنیتی هشدار دهند. هوش مصنوعی همچنین در فیلتر کردن هرزنامه و محتوای مخرب به کار می‌رود، جایی که یاد می‌گیرد ایمیل‌های فیشینگ یا بدافزار را بر اساس ویژگی‌هایشان تشخیص دهد.

  در حوزه شناسایی تقلب، بانک‌ها و مؤسسات مالی از هوش مصنوعی برای ارزیابی فوری تراکنش‌ها بر اساس رفتار معمول مشتری استفاده می‌کنند و تراکنش‌های مشکوک را به صورت زنده مسدود می‌کنند تا از تقلب جلوگیری شود. کاربرد دفاعی دیگر استفاده از هوش مصنوعی برای مدیریت آسیب‌پذیری‌ها است – یادگیری ماشین می‌تواند آسیب‌پذیری‌های نرم‌افزاری بحرانی‌تر را برای رفع اولویت‌بندی کند و به سازمان‌ها کمک کند قبل از وقوع حمله سیستم‌ها را وصله کنند.

  مهم است که هوش مصنوعی جایگزین کارشناسان امنیتی انسانی نشود بلکه آن‌ها را تقویت کند، با انجام پردازش‌های سنگین داده و تشخیص الگو تا تحلیل‌گران بتوانند بر تحقیق و پاسخگویی تمرکز کنند. این هم‌افزایی بین ابزارهای هوش مصنوعی و تخصص انسانی به یکی از ارکان استراتژی امنیت سایبری مدرن تبدیل شده است.

در اصل، هوش مصنوعی هم دامنه تهدیدات را افزایش می‌دهد و هم راه‌های جدیدی برای تقویت دفاع‌ها ارائه می‌کند. این رقابت تسلیحاتی به این معنی است که سازمان‌ها باید درباره پیشرفت‌های هوش مصنوعی در هر دو طرف آگاه باشند. خوشبختانه، بسیاری از ارائه‌دهندگان امنیت سایبری اکنون هوش مصنوعی را در محصولات خود به کار می‌برند و دولت‌ها در حال تأمین مالی تحقیقات دفاع سایبری مبتنی بر هوش مصنوعی هستند.

با این حال، باید با احتیاط عمل کرد: همانطور که هر ابزار امنیتی باید آزمایش شود، سیستم‌های دفاعی هوش مصنوعی نیز نیازمند ارزیابی دقیق هستند تا مطمئن شویم خودشان توسط مهاجمان فریب نمی‌خورند (برای مثال، مهاجم ممکن است داده‌های گمراه‌کننده به هوش مصنوعی دفاعی بدهد تا آن را نسبت به حمله جاری «کور» کند – نوعی مسموم‌سازی هدفمند علیه سیستم‌های امنیتی). بنابراین، به‌کارگیری هوش مصنوعی برای امنیت سایبری باید همراه با اعتبارسنجی و نظارت قوی باشد.

بهترین روش‌ها برای تأمین امنیت داده‌های هوش مصنوعی

با توجه به طیف گسترده تهدیدات، سازمان‌ها چه اقداماتی می‌توانند برای تأمین امنیت هوش مصنوعی و داده‌های پشت آن انجام دهند؟ کارشناسان رویکردی چندلایه را توصیه می‌کنند که امنیت را در هر مرحله از چرخه عمر سیستم هوش مصنوعی تعبیه کند. در اینجا برخی از بهترین روش‌ها استخراج شده از آژانس‌ها و پژوهشگران معتبر امنیت سایبری آورده شده است:

• حاکمیت داده و کنترل دسترسی: با کنترل سختگیرانه بر اینکه چه کسانی می‌توانند به داده‌های آموزشی، مدل‌ها و خروجی‌های حساس هوش مصنوعی دسترسی داشته باشند، شروع کنید. از احراز هویت و مجوزدهی قوی استفاده کنید تا فقط افراد یا سیستم‌های مورد اعتماد بتوانند داده‌ها را تغییر دهند. تمام داده‌ها (چه در حالت استراحت و چه در حال انتقال) باید رمزنگاری شوند تا از رهگیری یا سرقت جلوگیری شود.
  ثبت و بررسی دسترسی به داده‌ها برای پاسخگویی اهمیت دارد – اگر مشکلی پیش آمد، لاگ‌ها می‌توانند منبع را ردیابی کنند. همچنین، اصل کمترین امتیاز را اجرا کنید: هر کاربر یا مؤلفه باید فقط به حداقل داده‌های لازم برای عملکرد خود دسترسی داشته باشد.

• اعتبارسنجی داده و اصالت: پیش از استفاده از هر مجموعه داده برای آموزش یا تغذیه هوش مصنوعی، یکپارچگی آن را بررسی کنید. تکنیک‌هایی مانند امضاهای دیجیتال و چکسام‌ها می‌توانند تضمین کنند که داده‌ها از زمان جمع‌آوری تغییر نکرده‌اند. حفظ اصالت داده‌ها (سوابق منبع) به اعتماد کمک می‌کند – برای مثال، داده‌ها را از منابع قابل اعتماد، بررسی شده یا شرکای رسمی ترجیح دهید.
  اگر از داده‌های جمع‌سپاری شده یا جمع‌آوری شده از وب استفاده می‌کنید، آن‌ها را با منابع متعدد مقایسه کنید (رویکرد «اجماع») تا ناهنجاری‌ها شناسایی شوند. برخی سازمان‌ها برای داده‌های جدید محیط ایزوله‌ای ایجاد می‌کنند – داده‌ها به صورت جداگانه برای هرگونه پرچم قرمز (مانند کد مخرب یا داده‌های غیرعادی) تحلیل می‌شوند پیش از آنکه وارد آموزش شوند.

• روش‌های توسعه امن هوش مصنوعی: از شیوه‌های کدنویسی و پیاده‌سازی امن متناسب با هوش مصنوعی پیروی کنید. این به معنای پرداختن به آسیب‌پذیری‌های معمول نرم‌افزار و همچنین آسیب‌پذیری‌های خاص هوش مصنوعی است. برای مثال، اصول «حریم خصوصی از ابتدا» و «امنیت از ابتدا» را به کار ببرید: مدل هوش مصنوعی و زنجیره داده خود را از ابتدا با محافظت‌های لازم بسازید، نه اینکه بعداً به آن‌ها اضافه کنید.
  راهنمایی‌های بریتانیا و آمریکا برای توسعه امن هوش مصنوعی پیشنهاد می‌کنند در مرحله طراحی از مدل‌سازی تهدید استفاده کنید تا پیش‌بینی کنید چگونه ممکن است کسی به سیستم شما حمله کند. در طول توسعه مدل، از تکنیک‌هایی برای کاهش تأثیر داده‌های مسموم استفاده کنید – یکی از روش‌ها تشخیص داده‌های پرت در مجموعه آموزشی است، به طوری که اگر ۵٪ داده‌ها اطلاعات عجیب یا مضر به مدل می‌دهند، پیش از آموزش شناسایی شوند.

  رویکرد دیگر آموزش مدل مقاوم است: الگوریتم‌هایی وجود دارند که مدل‌ها را نسبت به داده‌های پرت یا نویز خصمانه حساسیت کمتری می‌دهند (مثلاً با افزودن تغییرات جزئی به داده‌های آموزشی تا مدل یاد بگیرد مقاوم باشد). بازبینی‌های منظم کد و تست‌های امنیتی (از جمله تمرینات تیم قرمز که در آن تست‌کنندگان فعالانه سعی در شکستن سیستم هوش مصنوعی دارند) به اندازه هر نرم‌افزار حیاتی دیگری اهمیت دارند.

• نظارت و تشخیص ناهنجاری: پس از پیاده‌سازی، به طور مستمر ورودی‌ها و خروجی‌های سیستم هوش مصنوعی را برای نشانه‌های دستکاری یا تغییر تدریجی زیر نظر بگیرید. هشدارهایی برای الگوهای غیرمعمول تنظیم کنید – برای مثال، اگر ناگهان حجم زیادی از پرس‌وجوهای غیرمعمول مشابه به مدل هوش مصنوعی وارد شود (که ممکن است نشانه حمله مسموم‌سازی یا استخراج باشد) یا اگر مدل شروع به ارائه خروجی‌های آشکاراً عجیب کند. سیستم‌های تشخیص ناهنجاری می‌توانند در پس‌زمینه این رویدادها را علامت‌گذاری کنند.
  نظارت باید شامل معیارهای کیفیت داده نیز باشد؛ اگر دقت مدل روی داده‌های جدید به طور غیرمنتظره‌ای کاهش یابد، ممکن است نشانه تغییر تدریجی داده‌ها یا حمله مسموم‌سازی خاموش باشد که نیاز به بررسی دارد. بازآموزی یا به‌روزرسانی مدل‌ها به صورت دوره‌ای با داده‌های تازه برای کاهش تغییر تدریجی طبیعی و اعمال وصله‌ها در صورت کشف آسیب‌پذیری‌های جدید الگوریتم هوش مصنوعی ضروری است.

• برنامه‌های پاسخ به حادثه و بازیابی: با وجود بهترین تلاش‌ها، نفوذ یا شکست‌ها ممکن است رخ دهد. سازمان‌ها باید برنامه پاسخ به حادثه مشخصی برای سیستم‌های هوش مصنوعی داشته باشند. اگر نفوذ داده‌ای رخ داد، چگونه آن را مهار و به ذینفعان اطلاع می‌دهید؟
  اگر متوجه شدید داده‌های آموزشی شما مسموم شده‌اند، آیا نسخه‌های پشتیبان یا مدل‌های قبلی برای بازگشت دارید؟ برنامه‌ریزی برای بدترین سناریوها تضمین می‌کند که حمله به هوش مصنوعی عملیات شما را برای مدت طولانی فلج نکند. به طور منظم از داده‌ها و حتی نسخه‌های مدل پشتیبان تهیه کنید – به این ترتیب، اگر مدل هوش مصنوعی در حال اجرا آسیب دید، می‌توانید به وضعیت سالم قبلی بازگردید.

  در کاربردهای حساس، برخی سازمان‌ها مدل‌های هوش مصنوعی افزونه یا چندگانه نگه می‌دارند؛ اگر یک مدل رفتار مشکوکی نشان داد، مدل ثانویه می‌تواند خروجی‌ها را بررسی یا پردازش را تا حل مشکل بر عهده گیرد (این مشابه مکانیزم‌های ایمنی است).

• آموزش و آگاهی کارکنان: امنیت هوش مصنوعی صرفاً یک مسئله فنی نیست؛ انسان‌ها نقش بزرگی دارند. اطمینان حاصل کنید که تیم‌های داده‌کاوی و توسعه شما در روش‌های امن آموزش دیده‌اند. آن‌ها باید از تهدیداتی مانند حملات خصمانه آگاه باشند و فرض نکنند داده‌هایی که به هوش مصنوعی می‌دهند همیشه بی‌ضرر است.
  فرهنگ شکاکیت را تشویق کنید که روندهای داده‌ای غیرمعمول را زیر سؤال ببرد نه اینکه نادیده بگیرد. همچنین، همه کارکنان را درباره خطرات مهندسی اجتماعی مبتنی بر هوش مصنوعی آموزش دهید (برای مثال، به آن‌ها بیاموزید چگونه صداهای دیپ‌فیک یا ایمیل‌های فیشینگ را تشخیص دهند، زیرا این موارد با هوش مصنوعی در حال افزایش هستند). هوشیاری انسانی می‌تواند مواردی را که سیستم‌های خودکار از دست می‌دهند، شناسایی کند.

اجرای این روش‌ها می‌تواند به طور قابل توجهی خطرات مربوط به هوش مصنوعی و امنیت داده‌ها را کاهش دهد. در واقع، آژانس‌های بین‌المللی مانند سازمان امنیت سایبری و زیرساخت ایالات متحده (CISA) و شرکایش دقیقاً چنین اقداماتی را توصیه می‌کنند – از پذیرش تدابیر قوی حفاظت از داده و مدیریت ریسک پیشگیرانه، تا تقویت نظارت و قابلیت‌های شناسایی تهدید برای سیستم‌های هوش مصنوعی.

در یک مشاوره مشترک اخیر، مقامات از سازمان‌ها خواستند تا «داده‌های حساس، اختصاصی و حیاتی در سیستم‌های مجهز به هوش مصنوعی را با استفاده از اقداماتی مانند رمزنگاری، ردیابی اصالت داده و آزمایش‌های دقیق محافظت کنند». به طور حیاتی، امنیت باید یک فرآیند مستمر باشد: ارزیابی‌های مداوم ریسک برای همگام شدن با تهدیدات در حال تحول ضروری است.

همانطور که مهاجمان همیشه در حال ابداع استراتژی‌های جدید هستند (به ویژه با کمک خود هوش مصنوعی)، سازمان‌ها باید به طور مداوم دفاع‌های خود را به‌روزرسانی و بهبود بخشند.

تلاش‌های جهانی و پاسخ‌های قانونی

دولت‌ها و نهادهای بین‌المللی در سراسر جهان به طور فعال به مسائل امنیت داده‌های مرتبط با هوش مصنوعی می‌پردازند تا اعتماد به فناوری‌های هوش مصنوعی را برقرار کنند. پیش‌تر به قانون هوش مصنوعی اتحادیه اروپا اشاره کردیم که الزامات شفافیت، مدیریت ریسک و امنیت سایبری را برای سیستم‌های هوش مصنوعی پرخطر اعمال خواهد کرد. اروپا همچنین در حال بررسی به‌روزرسانی قوانین مسئولیت برای پاسخگو کردن ارائه‌دهندگان هوش مصنوعی در برابر نقص‌های امنیتی است.

در ایالات متحده، مؤسسه ملی استانداردها و فناوری (NIST) چارچوب مدیریت ریسک هوش مصنوعی را ایجاد کرده است تا سازمان‌ها را در ارزیابی و کاهش ریسک‌های هوش مصنوعی، از جمله ریسک‌های امنیتی و حریم خصوصی، راهنمایی کند. چارچوب NIST که در سال ۲۰۲۳ منتشر شد، بر ساخت سیستم‌های هوش مصنوعی قابل اعتماد با در نظر گرفتن مسائلی مانند استحکام، قابلیت توضیح و ایمنی از مرحله طراحی تأکید دارد.

دولت آمریکا همچنین با شرکت‌های بزرگ هوش مصنوعی در تعهدات داوطلبانه امنیت سایبری همکاری کرده است – برای مثال، اطمینان از اینکه مدل‌ها توسط کارشناسان مستقل (تیم‌های قرمز) برای آسیب‌پذیری‌ها پیش از انتشار آزمایش می‌شوند و سرمایه‌گذاری در تکنیک‌هایی برای ایمن‌تر کردن خروجی‌های هوش مصنوعی.

همکاری بین‌المللی در زمینه امنیت هوش مصنوعی به طور قابل توجهی قوی است. همکاری برجسته‌ای در سال ۲۰۲۳ رخ داد که مرکز ملی امنیت سایبری بریتانیا (NCSC)، CISA، FBI و آژانس‌هایی از بیش از ۲۰ کشور دستورالعمل‌های مشترک توسعه امن هوش مصنوعی را منتشر کردند. این مشاوره جهانی بی‌سابقه تأکید کرد که امنیت هوش مصنوعی یک چالش مشترک است و بهترین روش‌ها (همسو با اصول امنیت از ابتدا) را برای سازمان‌های سراسر جهان ارائه داد.

این دستورالعمل‌ها تأکید کردند که «امنیت باید یک الزام اساسی... در سراسر چرخه عمر» هوش مصنوعی باشد و نه صرفاً یک فکر بعدی. چنین تلاش‌های مشترکی نشان‌دهنده درک این موضوع است که تهدیدات هوش مصنوعی مرزها را نمی‌شناسند و آسیب‌پذیری در یک سیستم هوش مصنوعی پرکاربرد در یک کشور می‌تواند اثرات زنجیره‌ای جهانی داشته باشد.

علاوه بر این، سازمان‌هایی مانند یونسکو با ایجاد اولین استاندارد جهانی اخلاق هوش مصنوعی (۲۰۲۱) که اگرچه گسترده‌تر است، اما نکات قوی درباره امنیت و حریم خصوصی دارد، پیشگام شده‌اند. توصیه یونسکو از کشورهای عضو و شرکت‌ها می‌خواهد که «آسیب‌های ناخواسته (ریسک‌های ایمنی) و آسیب‌پذیری‌های حمله (ریسک‌های امنیتی) توسط بازیگران هوش مصنوعی اجتناب و مدیریت شود». همچنین بر ضرورت حفظ حفاظت داده‌ها و حقوق بشر در زمینه هوش مصنوعی تأکید می‌کند.

موضوعات مشابهی را در اصول هوش مصنوعی OECD و بیانیه‌های گروه ۷ می‌بینیم: همه بر امنیت، پاسخگویی و حریم خصوصی کاربران به عنوان ستون‌های کلیدی هوش مصنوعی قابل اعتماد تأکید دارند.

در بخش خصوصی، اکوسیستم رو به رشدی بر امنیت هوش مصنوعی متمرکز شده است. ائتلاف‌های صنعتی پژوهش‌هایی درباره یادگیری ماشین خصمانه به اشتراک می‌گذارند و کنفرانس‌ها اکنون به طور منظم بخش‌هایی درباره «تیم قرمز هوش مصنوعی» و امنیت یادگیری ماشین دارند. ابزارها و چارچوب‌هایی برای آزمایش مدل‌های هوش مصنوعی پیش از پیاده‌سازی در حال ظهور هستند. حتی نهادهای استانداردسازی نیز درگیر شده‌اند – گزارش شده است که ISO در حال کار بر روی استانداردهای امنیت هوش مصنوعی است که می‌تواند مکمل استانداردهای موجود امنیت سایبری باشد.

برای سازمان‌ها و فعالان، همسویی با این دستورالعمل‌ها و استانداردهای جهانی بخشی از دقت لازم است. این نه تنها خطر حوادث را کاهش می‌دهد، بلکه سازمان‌ها را برای رعایت قوانین آماده کرده و اعتماد کاربران و مشتریان را جلب می‌کند. در بخش‌هایی مانند بهداشت و درمان و مالی، نشان دادن اینکه هوش مصنوعی شما امن و مطابق مقررات است، می‌تواند مزیت رقابتی باشد.

>>> ممکن است برای شما مفید باشد:

خطرات استفاده از هوش مصنوعی

مزایای هوش مصنوعی برای افراد و کسب‌وکارها

پتانسیل تحول‌آفرین هوش مصنوعی همراه با چالش‌های مهم امنیت داده‌ها است. تضمین امنیت و یکپارچگی داده‌ها در سیستم‌های هوش مصنوعی گزینه‌ای نیست – بلکه پایه و اساس موفقیت و پذیرش راهکارهای هوش مصنوعی است. از حفاظت از حریم خصوصی داده‌های شخصی تا محافظت از مدل‌های هوش مصنوعی در برابر دستکاری و سوءاستفاده‌های خصمانه، رویکردی جامع و مبتنی بر امنیت لازم است.

مسائل شامل فناوری، سیاست و عوامل انسانی است: مجموعه داده‌های بزرگ باید مطابق قوانین حریم خصوصی به طور مسئولانه مدیریت شوند؛ مدل‌های هوش مصنوعی نیازمند حفاظت در برابر تکنیک‌های حمله نوظهور هستند؛ و کاربران و توسعه‌دهندگان باید در عصر تهدیدات سایبری مبتنی بر هوش مصنوعی هوشیار بمانند.

خبر خوب این است که آگاهی نسبت به مسائل امنیت داده‌ها و هوش مصنوعی هرگز به این اندازه بالا نبوده است. دولت‌ها، نهادهای بین‌المللی و رهبران صنعت به طور فعال چارچوب‌ها و مقرراتی برای هدایت توسعه ایمن هوش مصنوعی تدوین می‌کنند. در همین حال، پژوهش‌های پیشرفته به بهبود تاب‌آوری هوش مصنوعی ادامه می‌دهند – از الگوریتم‌هایی که در برابر نمونه‌های خصمانه مقاوم‌اند تا روش‌های حفظ حریم خصوصی هوش مصنوعی (مانند یادگیری فدرال و حفظ حریم خصوصی تفاضلی) که امکان استخراج بینش‌های مفید بدون افشای داده‌های خام را فراهم می‌کنند.

با اجرای بهترین روش‌ها – رمزنگاری قوی، اعتبارسنجی داده، نظارت مستمر و غیره – سازمان‌ها می‌توانند به طور قابل توجهی ریسک‌ها را کاهش دهند.

در نهایت، هوش مصنوعی باید با ذهنیت «امنیت در اولویت» توسعه و پیاده‌سازی شود. همانطور که کارشناسان اشاره کرده‌اند، امنیت سایبری پیش‌نیاز بهره‌مندی کامل از مزایای هوش مصنوعی است. وقتی سیستم‌های هوش مصنوعی امن باشند، می‌توانیم با اطمینان از کارایی و نوآوری‌های آن‌ها بهره‌مند شویم.

اما اگر هشدارها را نادیده بگیریم، نفوذ داده‌ها، دستکاری‌های مخرب و نقض حریم خصوصی می‌تواند اعتماد عمومی را تضعیف کرده و آسیب واقعی ایجاد کند. در این حوزه به سرعت در حال تحول، پیش‌دستی و به‌روزرسانی مداوم کلید موفقیت است. هوش مصنوعی و امنیت داده‌ها دو روی یک سکه‌اند – و تنها با پرداختن همزمان به آن‌ها می‌توانیم وعده‌های هوش مصنوعی را به شکلی ایمن و مسئولانه برای همه محقق کنیم.