دکترین
نقش سلاح های خودکار مبتنی بر هوش مصنوعی و کنترل انسانی در حقوق بین الملل بشردوستانه: چالش یا تعامل؟ (مقاله علمی وزارت علوم)
نقش سلاح های خودکار مبتنی بر هوش مصنوعی و کنترل انسانی در حقوق بین الملل بشردوستانه: چالش یا تعامل؟ (مقاله علمی وزارت علوم)
نویسندگان: معصومه زمانیان زهرا وطنی
منبع: مطالعات حقوقی دوره 17 زمستان 1404 شماره 4
چکیده
مقدمه: پس از ظهور هوش مصنوعی در عرصه فناوری جهانی، به کارگیری آن در تسلیحات نظامی که به جای تکیه بر مدل برنامه نویسی گذشته، می تواند از طریق یادگیری ماشینی یعنی آموزش و بازخورد پس از استفاده کاربر، یاد بگیرد چگونه وظیفه ای را به انجام رساند، علی رغم مزایای متعدد، کنترل انسانی را به عنوان اصل بنیادی حقوق بین الملل بشردوستانه که در پی تنظیم رفتار طرف های درگیر در مخاصمات مسلحانه و کاستن از رنج های غیرضروری (در عین توجه به ضرورت تضعیف دشمن) است به چالش می کشد.
از آنجا که وجود قابلیت «یادگیری» دائمی از محیط در سامانه یادگیرنده ماشینی، رفتار آن و چگونگی پردازش ورودی های جدید را غیرقابل پیش بینی و فهم می کند، امکان کنترل گری انسانی برای چنین سامانه هایی با رفتار غیرقابل پیش بینی و فرآیندهای تصمیم گیری غیرشفاف محل پرسش جدی است و از آن بالاتر این سؤال مطرح می شود که آیا اساساً سیستم های یادگیری ماشین برای رعایت IHL نیازمند کنترل انسانی هستند؟ روش ها : این مقاله ابتدا در ضمن مروری تکنولوژیک بر سامانه های یادگیرنده خودکار، به توضیح توانایی این سامانه ها در یادگیری و تحلیل و تطبیق مداوم تجربیات و فرآیندهای تصمیم گیری غیرشفاف و نتایج غیرقابل پیش بینی و در نتیجه دشوار شدن کنترل معنادار انسانی بر آن ها می پردازد و سپس با تحلیل قدرت سامانه در پردازش سریع حجم عظیم داده ها و به کارگیری آن ها در اتخاذ تصمیمات استراتژیک و دقیق، پتانسیل بالا برای افزایش رعایت IHL توسط این سامانه ها را اثبات خواهد کرد.
یافته ها : امروزه یادگیری ماشینی با کاهش نرخ کنش و واکنش های اشتباه در محیط های پیچیده، در طیف گسترده ای از فعالیت های نظامی به کار گرفته می شود. این سامانه ها با ابتنا بر دو نوع یادگیری عمیق و تقویتی از مرز توانایی های انسانی در حل مسائل پیچیده جنگی عبور کرده و به دلیل عدم محدودیت به ظرفیت ها و پیش فرض های انسانی، در ایجاد راه حل های نوآورانه بسیار کارآمدتر هستند که البته این ویژگی رفتار ماشین ها را در مراحل قبل و بعد از وقوع غیرقابل پیش بینی و غیرقابل فهم می سازد و ممکن است رعایت الزامات احتیاطی حقوق بین الملل بشردوستانه ازجمله تکلیف مراقبت دائمی را با دشواری مواجه سازد که در مورد نقش کنترل انسانی در ایفای این تکلیف، سه نظریه «کنترل انسانی معنادار»، «شرورت دخالت انسانی پیش از تصمیم گیری در حملات» و «امکان حذف دخالت انسانی پیشینی» مطرح است.
در نظریه سوم ب. ت. ب. ابتنای تصمیم گیری سامانه های یادگیرنده در شرایط حساس بر داده های کلان و فرآیندهای غیرقابل فهم انسانی باید گفت نظارت یا دخالت انسان عملاً بی معنی است و البته حتی با وجود غیرقابل فهم بودن و عدم کنترل انسانی، ممکن است این سامانه ها قادر باشند تصمیمات هدف گیری منطبق بر IHL را بهتر از سامانه های تحت کنترل انسانی اتخاذ کنند. این توانایی ممکن است ناشی از قابلیت پردازش و تحلیل حجم بسیار بیشتری از داده ها با دقت و سرعتی فراتر از انسان باشد.
بنابراین، نباید صرفاً به دلیل عدم امکان نظارت معنادار انسانی، استفاده از آن ها ممنوع شود، مگر اینکه دلیلی قطعی بر ضرورت نظارت انسانی اقامه شود. نتیجه گیری : پیاده سازی سامانه های خودکار مبتنی بر یادگیری ماشینی در میدان های نبرد، ضرورت بازتعریف مفهوم «کنترل انسانی معنادار» را آشکار می سازد. یافته ها نشان می دهد که این سامانه ها در برخی شرایط می توانند بدون نظارت مستقیم انسانی با اصول حقوق بین الملل بشردوستانه (IHL) منطبق عمل کنند و در عین حال، در شرایط خاص، اعمال کنترل انسانی برای تضمین رعایت IHL ضروری است.
رویکرد متداول «هرچه کنترل انسانی بیشتر، بهتر» نیازمند بازنگری است. تمرکز باید بر «قابلیت پیش بینی قابل قبول» سامانه ها باشد، به گونه ای که عملکرد آن ها با استانداردهای IHL منطبق و قابل ارزیابی باشد. این چارچوب، مسیر طراحی، آزمون و تأیید سامانه ها را روشن کرده و نظارت انسانی را در مرحله ای اعمال می کند که بیشترین اثرگذاری را دارد. در نهایت، با طراحی و بهره گیری مسئولانه از سامانه های یادگیرنده، می توان ضمن رعایت اصول اساسی IHL، از جمله ضرورت نظامی و کاهش خسارات غیرضروری، از ظرفیت های فناورانه برای کاهش تلفات غیرنظامیان بهره برد.
رویکرد پیشنهادی، تعادل میان قابلیت های فناورانه و مسئولیت انسانی را برقرار ساخته و امکان استفاده بهینه از فناوری های نوین در چارچوب حقوق بین الملل بشردوستانه را فراهم می آورد.
Autonomous Weapons Based on Artificial Intelligence and Human Control: Challenges and Solutions in International Humanitarian Law
Introduction Following the emergence of artificial intelligence on the global technological stage, its application in military weaponry—which, unlike traditional programming models, can learn how to perform a task through machine learning (i.e., training and post-use feedback)—poses a fundamental challenge to the principle of human control within International Humanitarian Law (IHL). IHL seeks to regulate the conduct of parties to armed conflict and mitigate unnecessary suffering (while acknowledging the military necessity of weakening the adversary). Since the inherent capacity for continuous "learning" from the environment renders the behavior of a machine learning system and its processing of new inputs unpredictable and inscrutable, the very possibility of meaningful human control over such systems, characterized by unpredictable behavior and opaque decision-making processes, is called into serious doubt. An even more profound question arises: are machine learning systems inherently dependent on human control to ensure compliance with IHL in the first place? Methods This article first provides a technological overview of autonomous learning systems, explicating their capabilities for continuous learning, analysis, and adaptation based on experience, alongside their opaque decision-making processes and unpredictable outcomes. This analysis establishes how these characteristics complicate the exercise of meaningful human control. Subsequently, by examining a system's capacity to rapidly process vast datasets and employ them in making strategic and precise decisions, the article demonstrates the significant potential of such systems to enhance overall compliance with IHL. Results and Discussion Machine learning is now deployed across a broad spectrum of military activities, primarily by reducing the rate of erroneous actions and reactions in complex environments. Relying on deep learning and reinforcement learning, these systems have transcended human limitations in solving complex battlefield problems. Unencumbered by human cognitive constraints and biases, they prove far more efficient at generating innovative solutions. However, this very capability renders machine behavior, both pre- and post-event, unpredictable and incomprehensible. This opacity may impede adherence to IHL's precautionary requirements, including the duty of constant care. Regarding the role of human control in fulfilling this duty, three principal theories are debated: "meaningful human control," "the necessity of human intervention prior to attack decisions," and "the possibility of eliminating prior human intervention." Under the third theory, given that the decision-making of learning systems in sensitive situations is founded upon big data and processes opaque to human understanding, direct human supervision or intervention is rendered practically meaningless. Crucially, however, even absent human comprehensibility and direct control, such systems might be capable of making targeting decisions that are more compliant with IHL than those made by human-controlled systems. This potential superiority may stem from their ability to process and analyze immensely larger volumes of data with precision and speed exceeding human faculties. Consequently, their use should not be prohibited solely on the grounds of precluding meaningful human supervision, unless conclusive evidence is presented establishing the absolute necessity of such oversight. Conclusion The deployment of machine learning-based autonomous systems in combat reveals the imperative to redefine "meaningful human control." The findings indicate that under certain conditions, these systems can operate in accordance with IHL principles without direct human supervision, while in others, human control remains essential to guarantee compliance. The conventional wisdom that "more human control is invariably better" requires reassessment. The focus must shift toward ensuring "acceptable predictability" in system performance, such that it aligns with IHL standards and remains evaluable. This framework clarifies the pathways for system design, testing, and certification, applying human oversight at the most consequential stages. Ultimately, through responsible design and deployment, learning systems can harness technological capabilities to reduce civilian casualties while upholding core IHL principles, such as military necessity and the mitigation of unnecessary harm. The proposed approach establishes an equilibrium between technological capability and human responsibility, enabling the optimal utilization of novel technologies within the bounds of International Humanitarian Law.
موارد مرتبط
برای این صفحه موردِ مرتبطی ثبت نشده.
