طراحی و تولید مجموعه دادگان دوزبانه انگلیسی-فارسی متون پزشکی: IHU_MedicalArticlesDataSet_Javadzade-et-al

یکی از مهم ترین چالش ها در پردازش زبان طبیعی و یادگیری ماشین در حوزه پزشکی، کمبود مجموعه داده های متنی جامع و استاندارد است. این کمبود به ویژه در زبان هایی مانند فارسی ملموس تر است، زیرا اغلب منابع معتبر به زبان انگلیسی منتشر می شوند و دسترسی پژوهشگران فارسی زبان به داده های ساختارمند و دوزبانه محدود است.در این پژوهش، مجموعه دادهIHU_MedicalArticlesDataSet_Javadzade-et-al طراحی گردید و در این مقاله نسبت به معرفی آن پرداخته شده است. این مجموعه حاصل خزش از پایگاه PubMed در بازه زمانی ۲۰۰۰ تا ۲۰۲۵ است و شامل نه ویژگی اصلی است: عنوان مقاله، PMID، DOI، کلیدواژه ها، دسته بندی اصلی، دسته بندی فرعی، تاریخ انتشار، چکیده انگلیسی و چکیده فارسی. چنین ویژگی هایی، مجموعه داده حاضر را به منبعی ارزشمند برای تحقیقات بین زبانی، توسعه مدل های ترجمه تخصصی پزشکی و تحلیل روندهای علمی در حوزه هایی مانند دندان پزشکی، چشم، سرطان، علوم اعصاب و ایمنی تبدیل می کند.داده ها پس از پیش پردازش، نرمال سازی و حذف موارد تکراری، در قالب استاندارد CSV ذخیره شده و قابلیت استفاده در وظایفی همچون دسته بندی متون، بازیابی اطلاعات، خلاصه سازی خودکار و تحلیل شبکه دانش را دارند. جامعیت، کیفیت بالا و وجود لایه ترجمه فارسی از جمله ویژگی های متمایز مجموعه داده IHU_MedicalArticlesDataSet_Javadzade-et-al به شمار می روند.

کلیدواژه ها:

مجموعه داده پزشکی ، پردازش زبان طبیعی ، پردازش متون فارسی ، یادگیری ماشین ، دسته بندی متن.