تعامل با هوش مصنوعی (AI)

به لطف افزایش قدرت محاسباتی، الگوریتم های جدید و حجم فزاینده داده ها، سیستم های هوش مصنوعی (AI) یا هوش مصنوعی توانسته اند در سال های اخیر خود را در تعدادی از موارد استفاده تثبیت کنند. تجزیه و تحلیل متن، ترجمه، تشخیص تصویر و گفتار با حوزه های حیاتی ایمنی مانند رانندگی خودران دنبال شدند. اداره فدرال امنیت اطلاعات آلمان (BSI) تحقیقات اساسی را انجام می دهد و الزامات نیاز گرا و عملی، معیارهای test و روش های test را توسعه می دهد تا استفاده از هوش مصنوعی را به نفع عموم مردم ایمن کند.

فرصت و تهدید

سه نقطه اصلی تماس بین هوش مصنوعی و امنیت فناوری اطلاعات در حال حاضر موضوع تحقیقات فشرده است:

• امنیت فناوری اطلاعات برای هوش مصنوعی: چگونه می توان به سیستم های هوش مصنوعی حمله کرد؟ چه سناریوهای حمله ای از استفاده از هوش مصنوعی ناشی می شود و چه تأثیراتی دارد؟ چگونه می توان سیستم های هوش مصنوعی را به طور قابل اثبات در برابر حملات خاص هوش مصنوعی محافظت کرد؟
• امنیت فناوری اطلاعات از طریق هوش مصنوعی: چگونه سیستم های هوش مصنوعی می توانند امنیت فناوری اطلاعات را بهبود بخشند؟ کدام اقدامات دفاعی را می توان کارآمدتر کرد، کدام یک را می توان به تازگی توسعه داد؟
• حملات هوش مصنوعی: روش های هوش مصنوعی در ابزارهای حمله چه تهدیدات جدیدی برای سیستم های فناوری اطلاعات ایجاد می کنند؟ کدام حملات شناخته شده را می توان با هوش مصنوعی بهبود بخشید؟ چگونه می توان چنین حملاتی را شناسایی و دفع کرد؟

این سؤالات هم در BSI و هم در کمیته های استانداردسازی و گروه های تخصصی در سراسر جهان مورد توجه قرار گرفته است. این موارد عبارتند از Din, ETSI، ITU، انیسا و HLEG کمیسیون اروپا. BSI به عنوان مرجع امنیت سایبری فدرال، تخصص خود را در اینجا ارائه می دهد.

تمرکز بر هوش مصنوعی در BSI

چندین ارائه به موضوع هوش مصنوعی با محورهای موضوعی مختلف می پردازد. این شامل هم سیستم های هوش مصنوعی مشخص، مانند تشخیص علائم راهنمایی و رانندگی، و هم شامل روش های عمومی هوش مصنوعی مانند شبکه های عصبی عمیق است. BSI به عنوان یک نتیجه مشترک از فعالیت های هوش مصنوعی خود، یک سند کلی ایجاد کرده است که مشکلات، اقدامات و نیازهای اقدام برای استفاده ایمن، قوی و قابل ردیابی از هوش مصنوعی را ارائه می دهد.

استفاده ایمن، قوی و قابل ردیابی از هوش مصنوعی

کاربرد ایمن، قوی و شفاف هوش مصنوعی

BSI، انجمن TÜV و موسسه Fraunhofer Heinrich Hertz (HHI) به طور مشترک یک سری کارگاه های آموزشی سالانه در مورد قابلیت آزمایش سیستم های هوش مصنوعی با کارشناسان مشهور بین المللی برگزار می کنند. در کارگاه ها، وضعیت فعلی قابلیت آزمایش سیستم های هوش مصنوعی در مناطق بحرانی ایمنی به عنوان مبنایی برای اولویت بندی کارهای آینده ثبت خواهد شد. BSI نتایج کارگاه ها را در یک مقاله سفید با کارشناسان انجمن TÜV، Fraunhofer و همه سخنرانان خلاصه کرده است:

به سوی سیستم های هوش مصنوعی قابل حسابرسی (2021)

به سوی سیستم های هوش مصنوعی قابل حسابرسی (2022)

BSI همچنین در حال بررسی قابلیت توضیح هوش مصنوعی است. موضوع یک نشریه از اوایل سال 2022 امکان سنجی ایجاد مدل های قطعی و قوی یادگیری عمیق (DL) و امکان سنجی هوش مصنوعی قابل توضیح قطعی (XAI) در عمل است. تکرارپذیری به عنوان پیش نیاز برای استخراج علیت از نتایج مدل DL برای ایجاد اعتماد در برنامه های سیستم هوش مصنوعی کمک می کند. پایان نامه زبان انگلیسی مشکلاتی را که باید در مسیر تکرارپذیری حل شوند و مدیریت احتمالی برخی از آنها را بررسی می کند.

تکرارپذیری یادگیری عمیق و هوش مصنوعی قابل توضیح (XAI)

اصطلاح روش های رسمی (FM) تکنیک های مدل سازی و آزمایش ریاضی و دقیق سیستم های کامپیوتری را خلاصه می کند تا بتواند پایداری و قابلیت اطمینان آنها را از نظر ریاضی اثبات کند. FM عمدتا برای تجزیه و تحلیل دقت مدل هایی که تا حد امکان کاملا مشخص شده اند استفاده می شود. مشخصات مدل های هوش مصنوعی چالش های خاصی را برای کل FM ایجاد می کند که در سند توضیح داده شده است. مدل های هوش مصنوعی باید از نظر توضیح، استحکام و ایمنی تأیید شوند. رویکردهای خوبی برای اثبات صحت با کسر خودکار وجود دارد. این بر اساس یک روش مثال زدنی در نشریه شرح داده شده است.

روش های رسمی و هوش مصنوعی قابل توضیح

مرکز شایستگی هوش مصنوعی

استانداردهای موجود برای سیستم های فناوری اطلاعات کلاسیک به دلیل ساختار خاص سیستم های هوش مصنوعی مدرن را نمی توان مستقیما منتقل کرد. بنابراین، یکی دیگر از مشکلات مصرف کنندگان، شرکت ها یا مقامات، ارزیابی امنیت سیستم های هوش مصنوعی در مورد استفاده مربوطه است. حسابرسان واجد شرایط برای اینکه بتوانند گواهینامه های ایمنی مناسب را برای ارزیابی صادر کنند، به معیارها، روش ها و ابزارهای test کافی مناسب و قابل اعتماد نیاز دارند.

هماهنگ کردن ایجاد آنها وظیفه مرکز تعالی هوش مصنوعی در BSI. در انجام این کار، چندین جنبه هوش مصنوعی مانند استحکام، امنیت، قابلیت اطمینان، یکپارچگی، شفافیت، توضیح، تفسیر پذیری و انصاف یا عدم تبعیض سیستم های هوش مصنوعی و همچنین کیفیت داده ها را در نظر می گیرد که نقش اصلی در یادگیری ماشین دارد. مرکز صلاحیت به عنوان رابط مرکزی هوش مصنوعی برای دولت فدرال عمل می کند.

اولین نتیجه کار او این است کهکاتالوگ معیارهای انطباق سرویس ابری هوش مصنوعی (AIC4). این یک مبنای اولیه برای ارزیابی امنیت خدمات هوش مصنوعی در یک ابر برای مورد استفاده آنها با توجه به جنبه های انتخاب شده در اختیار کاربران حرفه ای قرار می دهد. این معیارها به طور منظم مورد بازنگری قرار می گیرند تا به طور مداوم ارزش اطلاعاتی را افزایش دهند و وضعیت فعلی هنر را منعکس کنند. معیارهای موارد استفاده بیشتر دنبال خواهد شد.

هوش مصنوعی در زمینه های حیاتی امنیتی مانند خودرو و بیومتریک

روش های هوش مصنوعی به طور فزاینده ای در مقیاس بزرگ برای کارهای حیاتی ایمنی استفاده می شوند. این موارد عبارتند از شناسایی بیومتریک و تأیید اشخاص، بلکه عملکردهای اصلی رانندگی خودران. شرایط چارچوب خاص این کاربردهای عملی به طور قابل توجهی متفاوت است.

به طور خاص، ارزیابی استحکام روش ها در برابر تغییرات تصادفی در داده های ورودی مهم است. به عنوان مثال، در رانندگی خودکار، تشخیص علائم راهنمایی و رانندگی باید حتی در شرایط نامساعد آب و هوایی یا آلودگی دوربین یا علائم به طور قابل اعتماد عمل کند. برای این منظور، BSI از اواسط سال 2019 به همراه انجمن انجمن های بازرسی فنی (VdTÜV) در حال توسعه الزامات سیستم های هوش مصنوعی در بخش تحرک بوده است.

مقاله BSI در مورد سوالات اساسی امنیت فناوری اطلاعات برنامه های هوش مصنوعی (ژوئیه 2020، مرزها در داده های بزرگ، انگلیسی.)

رمزنگاری، به عنوان مثال: هوش مصنوعی از ارزیابی فنی پشتیبانی می کند

BSI همچنین از تکنیک های هوش مصنوعی استفاده می کند سوالات رمزنگاری در. با توجه به احتمالات حمله جدید، روش ها و پیاده سازی های رمزنگاری دوباره ارزیابی می شوند و در صورت لزوم الزامات موجود تطبیق داده می شوند.

BSI قبلا توانسته است توانایی های خود را در کنفرانس رمزنگاری CHES نشان دهد. با کمک روش های هوش مصنوعی، یک تیم BSI در سال 2018 در دو رشته انفرادی مقام اول CHES را به دست آورد و در سال 2020 پیروزی کلی را به دست آورد.

مطالعات BSI در مورد هوش مصنوعی

در زمینه هوش مصنوعی، BSI در حال حاضر در حال کار بر روی فناوری های آینده مانند “یادگیری ماشین کوانتومی” است. این پتانسیل های محاسبات کوانتومی را در زمینه یادگیری ماشین تجزیه و تحلیل و آزمایش می کند. در یک مطالعه پایه، BSI وضعیت فعلی تحقیقات در مورد یادگیری ماشین کوانتومی و فرصت ها و خطرات مربوط به امنیت فناوری اطلاعات را بررسی می کند.

در پروژه دیگری، BSI در حال بررسی چگونگی استفاده از روش های یادگیری ماشین برای بهبود روش های تجزیه و تحلیل کد استاتیک است. نتایج مربوط به وضعیت تحقیقات در این زمینه در این مطالعه ارائه شد یادگیری ماشین در زمینه تست امنیت اپلیکیشن استاتیک – ML-SASTخلاصه.

در پروژه 464 “امنیت سیستم های هوش مصنوعی: اصول اولیه” ، BSI وضعیت فعلی تحقیقات در زمینه “امنیت سیستم های هوش مصنوعی” را در چندین مطالعه ثبت کرده است:

• امنیت سیستم های هوش مصنوعی: اصول – یادگیری عمیق متخاصم این مطالعه به بررسی سوالات اساسی در مورد امنیت شبکه های عصبی می پردازد.
• امنیت سیستم های هوش مصنوعی: اصول – تهیه یا استفاده از داده های خارجی یا مدل های آموزش دیده این مطالعه به جنبه های امنیتی می پردازد که بر اساس این واقعیت است که منابع هوش مصنوعی به اشتراک گذاشته می شوند.
• امنیت سیستم های هوش مصنوعی: ملاحظات امنیتی اولیه برای هوش مصنوعی نمادین و ترکیبی این نشریه به ویژگی های امنیتی هوش مصنوعی نمادین و سیستم های هوش مصنوعی ترکیبی می پردازد که در آن هوش مصنوعی نمادین با سایر روش های هوش مصنوعی (به عنوان مثال شبکه های عصبی) مرتبط است.

تعاریف: هوش مصنوعی و سیستم های هوش مصنوعی

BSI اصطلاح “هوش مصنوعی” را به معنای فناوری و رشته علمی می داند که چندین رویکرد و تکنیک مانند یادگیری ماشین، استدلال ماشین و رباتیک را در بر می گیرد.

سیستم های هوش مصنوعی سیستم های نرم افزاری و سخت افزاری هستند که از هوش مصنوعی برای عمل “منطقی” در دنیای فیزیکی یا دیجیتال استفاده می کنند. آنها بر اساس درک و تجزیه و تحلیل محیط خود ، برای دستیابی به اهداف خاص با درجه خاصی از استقلال عمل می کنند.

این تعاریف بر اساس گروه تخصصی سطح بالا در زمینه هوش مصنوعی (HLEG) کمیسیون اروپا.

در سال 2024 منتشر شده وایت پیپر شفافیت سیستم های هوش مصنوعی ، BSI مفهوم شفافیت را در زمینه سیستم های هوش مصنوعی برای ذینفعان مختلف تعریف می کند (به عنوان مثال. مصرف کنندگان یا توسعه دهندگان). از طریق شفافیت سیستم های هوش مصنوعی، آنها باید بتوانند به طور مستقل تصمیم بگیرند که آیا یک سیستم برای نیازها و اهداف آنها مناسب است یا خیر. برای این منظور، تعریف حاضر شامل اطلاعات مربوط به اکوسیستم (مانند ارائه دهنده یا فرآیند توسعه) است و بنابراین شفافیت را فراتر از سیستم هوش مصنوعی واقعی در نظر می گیرد. علاوه بر این، به الزامات شفافیت مقررات هوش مصنوعی (مقررات هوش مصنوعی) پارلمان اروپا و شورا اشاره شده و فرصت ها و خطرات سیستم های هوش مصنوعی شفاف مورد بررسی قرار می گیرد.

راهنمای توسعه دهنده

با شرح حملات مربوط به تمرین به هوش مصنوعی، BSI آگاهی را در بین توسعه دهندگان در مورد آسیب پذیری های احتمالی برنامه های هوش مصنوعی ایجاد می کند. نشریه “نگرانی های امنیتی هوش مصنوعی به طور خلاصه” حاوی ارائه کوتاه و واضحی از وضعیت فعلی تحقیقات در زمینه حملات به هوش مصنوعی است. همچنین به توسعه دهندگان دفاع احتمالی در برابر حملات ارائه می شود.

نگرانی های امنیتی هوش مصنوعی به طور خلاصه – راهنمای عملی هوش مصنوعی

در سال 2023، BSI دستورالعملی را برای توسعه سیستم های هوش مصنوعی ایمن با همکاری مقامات بین المللی امنیت سایبری ایجاد کرد. نشریه “دستورالعمل هایی برای توسعه ایمن سیستم هوش مصنوعی” توصیه های خاصی در مورد طراحی، توسعه، استقرار و عملکرد سیستم های هوش مصنوعی ارائه می دهد.

رهنمودهایی برای توسعه ایمن سیستم هوش مصنوعی

نشریه «امنیت یادگیری تقویتی به طور خلاصه» از سال 2023 از «امنیت هوش مصنوعی به طور خلاصه» پیروی می کند و ملاحظات را گسترش می دهد تا مورد خاص سیستم های یادگیری تقویتی را نیز شامل شود. این نشریه با هدف توسعه دهندگان سیستم های هوش مصنوعی است و وضعیت تحقیقات در زمینه امنیت سایبری برای سیستم های یادگیری تقویتی را به صورت فشرده ارائه می دهد.
هدف از این نشریه حساس کردن توسعه دهندگان نسبت به بردارهای حمله احتمالی و اطلاع رسانی به آنها در مورد اقدامات دفاعی موجود است تا بتوان آنها را به عنوان بخشی از تجزیه و تحلیل ریسک در نظر گرفت.

تقویت امنیت یادگیری به طور خلاصه

هوش مصنوعی مولد

مدل های هوش مصنوعی مولد قادر به انجام وظایف مختلفی هستند که به طور سنتی نیاز به خلاقیت و درک انسانی دارند. در طول آموزش، آنها الگوهایی را از داده های موجود یاد می گیرند و متعاقبا می توانند محتوای جدیدی مانند متون، تصاویر، موسیقی و ویدیوها تولید کنند که از این الگوها نیز پیروی می کنند. مدل های زبان بزرگ (LLM) زیرشاخه ای از هوش مصنوعی مولد هستند و می توانند در موارد استفاده مختلف استفاده شوند. این شامل برنامه هایی است که در آن متن پردازش می شود و خروجی متن بر اساس آن تولید می شود، به عنوان مثال در زمینه ترجمه، تولید و طبقه بندی متون. علاوه بر فرصت ها، استفاده از LLMخطرات امنیتی فناوری اطلاعات جدیدی را به همراه دارد و می تواند تهدیدات امنیتی شناخته شده فناوری اطلاعات را تقویت کند.

نشریه مدل های هوش مصنوعی مولد – فرصت ها و خطرات برای صنعت و مقامات در نسخه فعلی، این پروژه یک نمای کلی از این فرصت ها و خطرات LLMs به عنوان زیرمجموعه ای از هوش مصنوعی مولد ارائه می دهد. این اقدامات متقابل احتمالی برای مقابله با خطرات را نشان می دهد. هدف این نشریه شرکت ها و مقامات دولتی است که به منظور ایجاد آگاهی امنیتی اولیه برای این مدل ها و ارتقای استفاده ایمن از آنها به فکر ادغام LLMها در گردش کار خود هستند. این می تواند به عنوان پایه ای برای تجزیه و تحلیل ریسک سیستماتیک عمل کند. با توسعه مورد نظر زیرحوزه های بیشتر در هوش مصنوعی مولد، مانند تولیدکنندگان تصویر یا ویدئو، انتشار به طور مداوم گسترش خواهد یافت.

تأثیر هوش مصنوعی بر چشم انداز تهدیدات سایبری

تحولات اخیر در هوش مصنوعی، به ویژه معرفی مدل های زبان بزرگ (LLM)، پیامدهای گسترده ای برای امنیت سایبری دارد. تأثیر هوش مصنوعی بر چشم انداز تهدیدات سایبری بررسی می کند که چگونه هوش مصنوعی با ارائه ابزارهای جدید به مهاجمان و مدافعان، پویایی تهدیدات سایبری را تغییر می دهد.

هوش مصنوعی، به ویژه LLM، موانع ورود به فعالیت های مخرب را کاهش می دهد. استفاده از هوش مصنوعی کارایی و دسترسی به حملات را از طریق تکنیک هایی مانند ایجاد و دستکاری بدافزار، حملات مهندسی اجتماعی و تجزیه و تحلیل داده های پیشرفته افزایش می دهد. این مدل ها حملات پیچیده تر و با کیفیت تر و همچنین توسعه سریعتر و توزیع در مقیاس بزرگتر را امکان پذیر می کنند و در نتیجه چشم انداز تهدید تغییر می کنند. در عین حال، مدافعان از دستاوردهای بهره وری فعال شده توسط LLM ها، مانند فرصت های بهبود یافته برای شناسایی و تجزیه و تحلیل اطلاعات منبع باز، بهره مند می شوند.

این گزارش اثرات دوگانه هوش مصنوعی بر چشم انداز تهدیدات سایبری را روشن می کند و بر لزوم انطباق استراتژی های امنیت سایبری با توجه به این پیشرفت های تکنولوژیکی جدید – به ویژه از نظر مقیاس و سرعت عمل – تأکید می کند. او همچنین در زبان انگلیسی دسترس.