با گسترش استفاده از سیستم‌های هوش مصنوعی عامل‌محور (Agentic AI) در صنایع پیشرفته، مسئله «اعتماد» به خروجی‌های این سامانه‌ها به یکی از چالش‌های اصلی مهندسی مدرن تبدیل شده است. در حوزه‌هایی نظیر هوافضا، خودروسازی، تجهیزات پزشکی، سامانه‌های ریلی و اتوماسیون صنعتی، اعتماد هرگز بر پایه فرضیات شکل نمی‌گیرد؛ بلکه بر اساس شواهد، قابلیت ردیابی، تأییدپذیری و استانداردهای سخت‌گیرانه مهندسی ایجاد می‌شود.

«در مهندسی، اعتماد یک ادعا نیست؛ بلکه نتیجه‌ی شواهد، آزمون و قابلیت اثبات است.»

اعتماد در مهندسی؛ مفهومی مبتنی بر شواهد

صنایع حساس و ایمنی‌محور بر یک حقیقت بنیادین بنا شده‌اند: انسان‌ها ممکن است اشتباه کنند و سیستم‌ها ممکن است رفتارهای پیش‌بینی‌نشده‌ای از خود نشان دهند. به همین دلیل استانداردهای بین‌المللی متعددی برای کنترل کیفیت و ایمنی توسعه یافته‌اند؛ از جمله:

  • استاندارد DO-178C در صنایع هوافضا و دفاعی
  • استاندارد ISO 26262 برای ایمنی عملکردی خودروها
  • استاندارد IEC 61508 در سامانه‌های صنعتی و ریلی

این استانداردها صرفاً مجموعه‌ای از قوانین اداری نیستند؛ بلکه چارچوب‌هایی برای تضمین قابلیت اطمینان، کاهش ریسک و ایجاد شفافیت در فرایندهای مهندسی محسوب می‌شوند. در تمامی این استانداردها، انتظار می‌رود مصنوعات مهندسی دارای ویژگی‌های زیر باشند:

  • قابلیت بازرسی و ممیزی
  • قابلیت بازتولید نتایج
  • ردیابی کامل تغییرات و تصمیمات
  • قابلیت اعتبارسنجی و اثبات عملکرد

در چنین محیط‌هایی، صرفاً «کار کردن» یک سیستم کافی نیست؛ بلکه باید بتوان عملکرد آن را به‌صورت علمی و مستند اثبات کرد.

چرا هوش مصنوعی عامل‌محور نیاز به شواهد بیشتری دارد؟

سیستم‌های Agentic AI ذاتاً ماهیتی احتمالی و غیرقطعی دارند. این سامانه‌ها می‌توانند مدل‌ها، پیکربندی‌ها و معماری‌هایی تولید کنند که در نگاه اول منطقی و حتی اجرایی به نظر برسند؛ اما «معقول بودن» الزاماً به معنای «درست بودن» نیست.

هوش مصنوعی قادر است مواردی مانند:

  • تولید خودکار تست‌ها
  • ایجاد منطق‌های کنترلی
  • ساخت مدل‌های نرم‌افزاری
  • اتوماسیون فرایندهای مهندسی

را تسهیل کند؛ اما خروجی‌های آن ذاتاً خوداعتبارسنج نیستند و همچنان نیازمند بررسی انسانی، اعتبارسنجی سیستماتیک و انطباق با نیازمندی‌های مهندسی خواهند بود.

برای مثال، یک عامل هوش مصنوعی ممکن است مدلی تولید کند که بدون خطا اجرا شود، اما:

  • برخی فرضیات حیاتی سیستم را نقض کند،
  • قابلیت ردیابی نیازمندی‌ها را از بین ببرد،
  • یا خطاهای پنهانی ایجاد کند که تنها در مرحله یکپارچه‌سازی آشکار شوند.

به همین دلیل، اگر ما حتی به مهندسان انسانی بدون فرایندهای تأیید و آزمون اعتماد کامل نداریم، منطقی نیست که به سامانه‌های هوش مصنوعی اعتماد بیشتری داشته باشیم.

شکل 1:
هوش مصنوعی عامل‌محور نباید مهندسان را مجبور به انتخاب میان «سرعت» و «اطمینان» کند. خروجی سریع تنها زمانی ارزشمند است که همچنان قابل ردیابی، قابل اعتبارسنجی و مبتنی بر شواهد باشد.

نقش رشته دیجیتال (Digital Thread) در اعتمادپذیری سیستم‌ها

در مهندسی دیجیتال مدرن، مفهوم «رشته دیجیتال» یا Digital Thread نقش اساسی در حفظ ارتباط میان مراحل مختلف توسعه سیستم ایفا می‌کند. این مفهوم کمک می‌کند تا:

  • نیازمندی‌ها،
  • طراحی معماری،
  • پیاده‌سازی،
  • اعتبارسنجی،
  • و نتایج آزمون‌ها

به‌صورت یکپارچه و قابل ردیابی مدیریت شوند.

اما صرف اتصال اسناد دیجیتال کافی نیست. بسیاری از سازمان‌ها دارای پایگاه‌های داده نیازمندی‌ها، مدل‌ها، مستندات و نتایج آزمون هستند، اما اگر این اجزا به رفتار اجرایی سیستم متصل نباشند، تیم‌های مهندسی همچنان مجبور خواهند بود تأثیر تغییرات را به‌صورت دستی تحلیل کنند.

مدل‌های اجرایی؛ هسته اصلی اعتماد به AI

در اینجا مدل‌های اجرایی (Executable Models) اهمیت ویژه‌ای پیدا می‌کنند. این مدل‌ها صرفاً مستندات ایستا نیستند؛ بلکه نمایش‌های زنده‌ای از سیستم هستند که می‌توان آن‌ها را:

  • شبیه‌سازی کرد،
  • تحت فشار قرار داد،
  • و به‌صورت مداوم اعتبارسنجی نمود.

زمانی که یک عامل هوش مصنوعی تغییری در مدل ایجاد می‌کند، این مدل اجرایی می‌تواند بررسی کند که آیا خروجی تولیدشده با اهداف، محدودیت‌ها و رفتار مورد انتظار سیستم سازگار است یا خیر.

در چنین ساختاری، مدل اجرایی به مرجع اصلی «قصد مهندسی» تبدیل می‌شود؛ نه خروجی خام تولیدشده توسط عامل هوش مصنوعی.

شکل 2:
مدل‌های اجرایی کمک می‌کنند خروجی‌های تولیدشده توسط هوش مصنوعی به اهداف سیستم، رفتار واقعی و شواهد اعتبارسنجی متصل باقی بمانند.

جایگاه واقعی هوش مصنوعی عامل‌محور در مهندسی

هوش مصنوعی عامل‌محور زمانی ارزشمند خواهد بود که در چارچوب فرایندهای مهندسی قابل ردیابی و مبتنی بر شواهد عمل کند، نه زمانی که این فرایندها را دور بزند.

در این رویکرد:

  • مهندسان اهداف و محدودیت‌ها را تعیین می‌کنند،
  • معیارهای اعتبارسنجی را مشخص می‌سازند،
  • و عامل‌های هوش مصنوعی صرفاً اجرای وظایف را تسهیل می‌کنند.

به بیان دیگر، انسان باید همچنان «رهبر» فرایند مهندسی باقی بماند، نه صرفاً عضوی در حلقه نظارت.

در این شرایط، AI می‌تواند در موارد زیر بسیار مؤثر باشد:

  • جستجوی اطلاعات مرتبط
  • تولید راهکارهای اولیه طراحی
  • ایجاد تست‌های نرم‌افزاری
  • به‌روزرسانی مدل‌ها
  • خودکارسازی فعالیت‌های تکراری
  • بررسی گزینه‌های طراحی مختلف

استانداردهای نوین و آینده مهندسی مبتنی بر AI

استانداردهای نوظهوری مانند SysML v2 زیرساخت مناسبی برای همکاری بهتر میان مدل‌های مهندسی و عامل‌های هوش مصنوعی فراهم می‌کنند. این استانداردها مدل‌های سیستم را:

  • ماشین‌خوان‌تر،
  • قابل‌تحلیل‌تر،
  • و در دسترس‌تر برای APIها

می‌سازند.

این موضوع اهمیت بالایی دارد؛ زیرا عامل‌های AI بدون درک ساختار سیستم، نیازمندی‌ها، روابط میان اجزا و محدودیت‌های مهندسی، صرفاً بر اساس داده‌های ناقص تصمیم‌گیری خواهند کرد.

هوش مصنوعی قابل اعتماد، صرفاً هوش مصنوعی دارای داده بیشتر نیست؛ بلکه هوش مصنوعی متصل به زمینه صحیح، محدودشده توسط فرایندهای مهندسی و اعتبارسنجی‌شده بر پایه شواهد است.

جمع‌بندی

در صنایع حساس و قانون‌محور، مصنوعات تولیدشده توسط هوش مصنوعی باید همانند هر خروجی مهندسی دیگری مورد بررسی، آزمون، اعتبارسنجی و ردیابی قرار گیرند.

هوش مصنوعی می‌تواند سرعت توسعه را افزایش دهد و بخشی از فعالیت‌های تکراری را حذف کند؛ اما نمی‌تواند جایگزین شواهد مهندسی، زمینه سیستمی و قابلیت اعتبارسنجی شود.

بنابراین سازمان‌هایی که به دنبال استفاده از Agentic AI هستند، باید پیش از هر چیز این پرسش‌ها را مطرح کنند:

  • این عامل هوش مصنوعی تا چه حد به زمینه واقعی سیستم متصل است؟
  • خروجی‌های آن چگونه اعتبارسنجی می‌شوند؟
  • چه شواهدی برای دفاع از تصمیمات مهندسی وجود دارد؟
  • آیا این خروجی‌ها در رشته دیجیتال سازمان قابل ردیابی هستند؟

آینده مهندسی مبتنی بر هوش مصنوعی تنها در افزایش سرعت خلاصه نمی‌شود؛ بلکه در کاهش فاصله میان ایده، مدل، شواهد اعتبارسنجی و تصمیم‌گیری مهندسی معنا پیدا می‌کند.

در مهندسی، اعتماد هرگز اعلام نمی‌شود؛ بلکه اثبات می‌شود.