Segment-Wise Data Leakage Inflates EEG-Based Schizophrenia Classification Performance: A CNN–Transformer Study Using Participant-Balanced Training Sampling

High performance in EEG-based schizophrenia classification may be substantially inflated when segments from the same participant occur in both training and test sets. We investigated this problem using a compact EEGNet-inspired CNN–Transformer on the public IBIB PAN resting-state dataset (۲۸ participants: ۱۴ schizophrenia, ۱۴ healthy controls). After filtering, ICA-based ocular correction, ۴-s segmentation, artifact screening, and channel interpolation, the ۵۰%-overlap dataset contained ۱۳,۶۹۱ segments. The same model was evaluated under participant-disjoint three-fold cross-validation, intentionally participant-overlapping segment-wise holdouts with ۵۰% window overlap, and participant-overlapping holdouts with no window overlap. Training used participant-balanced sampling, class-weighted loss, training-only normalization, and validation-based threshold selection. Under participant-disjoint evaluation, segment-level balanced accuracy was ۷۲.۰۶ _x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰_۰۵.۶۱% and ROC-AUC was ۰.۷۹۱ _x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰_۰.۰۶۴; participant-level balanced accuracy was ۷۲.۵۰ _x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰_۰۱۳.۹۲% and ROC-AUC ۰.۸۵۲ _x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰_۰.۰۲۰. In contrast, participant-overlapping evaluation reached ۹۹.۴۷ _x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰_۰.۱۱% balanced accuracy with ۵۰% overlap and ۹۸.۸۹ _x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰__x۰۰۰۰_۰.۰۴% without temporal overlap. The findings show that participant identity overlap, not merely shared neighboring samples, can dominate apparent performance and should be explicitly controlled in small EEG studies.

کلیدواژه ها:

Schizophrenia detection ، Electroencephalography (EEG) ، CNN Transformer ، Participant-disjoint evaluation ، Data leakage ، Participant-level classification