Explainable Multimodal Knowledge Processing for Digital Media Integrity Risk Assessment under Uncertainty

سال انتشار: 1405
نوع سند: مقاله ژورنالی
زبان: انگلیسی
مشاهده: 24

فایل این مقاله در 25 صفحه با فرمت PDF قابل دریافت می باشد

استخراج به نرم افزارهای پژوهشی:

لینک ثابت به این مقاله:

شناسه ملی سند علمی:

JR_IJKPS-6-3_002

تاریخ نمایه سازی: 22 آبان 1405

چکیده مقاله:

The rapid growth of social media and generative artificial intelligence has increased the prevalence of misinformation and manipulated digital media, creating challenges for reliable content verification. This study presents a soft computing-based explainable multimodal framework for digital media integrity risk assessment under uncertainty. The framework integrates transformer-based textual credibility and emotion analysis, OCR-assisted text extraction, CLIP-based image–text semantic consistency, and ResNet۵۰-based visual integrity assessment. The resulting evidence is integrated through a weight-adjusted Mamdani fuzzy inference mechanism to produce continuous integrity-risk scores and graded risk levels. SHAP and Grad-CAM provide supporting textual and visual explanations. On the benchmark test set, the framework achieved ۹۵.۶% accuracy and ۹۵.۱% F۱-score, with a ROC-AUC of ۰.۹۷, indicating strong threshold-independent discrimination under the evaluated test conditions. Ablation and sensitivity analyses demonstrated performance changes associated with the integrated components and fusion configuration. Five repeated runs showed limited performance variation under the evaluated protocol. External validation on approximately ۱,۵۰۰ previously unseen multimodal samples achieved a ۹۲.۹% F۱-score, indicating performance variation under a different data distribution. The framework provides an interpretable, uncertainty-aware approach to multimodal digital media integrity assessment and supports graded risk interpretation rather than relying solely on binary classification.

نویسندگان

- -

Associate Professor, Department of Computer Applications, Federal Institute of Science and Technology, Angamaly, Kerala.

- -

PG Student, Department of Computer Applications, Federal Institute of Science and Technology, Kerala, India.

مراجع و منابع این مقاله:

لیست زیر مراجع و منابع استفاده شده در این مقاله را نمایش می دهد. این مراجع به صورت کاملا ماشینی و بر اساس هوش مصنوعی استخراج شده اند و لذا ممکن است دارای اشکالاتی باشند که به مرور زمان دقت استخراج این محتوا افزایش می یابد. مراجعی که مقالات مربوط به آنها در سیویلیکا نمایه شده و پیدا شده اند، به خود مقاله لینک شده اند :
  • Comito, C., Caroprese, L., & Zumpano, E. (۲۰۲۳). Multimodal fake ...
  • Demszky, D., Movshovitz-Attias, D., Ko, J., Cowen, A., Nemade, G., ...
  • Khattar, D., Goud, J. S., Gupta, M., & Varma, V. ...
  • Lundberg, S. M., & Lee, S.-I. (۲۰۱۷). A unified approach ...
  • Mamdani, E. H., & Assilian, S. (۱۹۷۵). An experiment in ...
  • Nakamura, K., Levy, S., & Wang, W. Y. (۲۰۲۰). Fakeddit: ...
  • Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, ...
  • Sagar, A. S. M., Bennamoun, M., Boussaïd, F., Sharif, N., ...
  • Vosoughi, S., Roy, D., & Aral, S. (۲۰۱۸). The spread ...
  • Yang, Y., Yang, Y., Ying, Q., Qian, Z., & Zhang, ...
  • Zadeh, L. A. (۱۹۶۵). Fuzzy sets. Information and Control, ۸(۳), ...
  • نمایش کامل مراجع