روش شناسی شاخص ریسک پژوهشی (RI2)

دکتر جعفر مهراد استاد پیشکسوت دانشگاه شیراز و‌بنیانگذار موسسه ISC: بخش اول «شاخص ریسک صداقت پژوهشی» در روز دوشنبه ۱۷ تیر ماه ۱۴۰۴ در خبرگزاری لیزنا منتشر شد. اینک بخش دوم آن را تحت عنوان «روش شناسی شاخص ریسک صداقت پژوهشی RI2: معیاری ترکیبی برای تشخیص پروفایل های ریسک» با هم مطالعه می کنیم.

شاخص RI2, اولین معیاری است که به صراحت برای پروفایل ریسک های صداقت پژوهشی با استفاده از شاخص های تجربی و شفاف طراحی شده است. شاخص RI2, برخلاف رتبه بندی های مرسوم که به حجم‌ پژوهش و رویت پذیری استنادها امتیاز می دهند، RI2 تمرکز خود را به معیارهای حساس به صداقت که در برابر دستکاری و افزایش غیر معمول منابع کتابشناختی، پایدار و ثابت هستند معطوف کرده است. در شکل فعلی خود، شاخص RI2، شامل دو جز اصلی است:

۱- ریسک مقالات سلب اعتبار شده:

میزان مقالات سلب اعتبار شده در سبد تحقیقاتی یک دانشگاه، به ویژه مقالاتی را که به دلیل جعل داده ها، سرقت ادبی، نقص اخلاق، دستکاری در نگارش یا داوری همتا یا خطاهای جدی روش شناختی سلب اعتبار شده اند، اندازه گیری می کند. Fang et al.,2012; Ioannidis et al., 2025). این ریسک به صورت تعداد سلب اعتبار شده ها به ازای هر ۱۰۰۰ مقاله در دو سال تقویمی کامل، قبل از آخرین سال،  محاسبه می شود (به عنوان مثال، ۲۰۲۳-۲۰۲۲ برای تحلیلی که در سال ۲۰۲۵ انجام شده است) و بروندادهای پژوهشی و اثرات تاخیر زمانی را نرمال سازی می کند. نرخ بالای سلب اعتبار ممکن است نشان دهنده ضعف در نظارت بر پژوهش و فرهنگ سازمانی باشد. این مطالعه، از داده های سلب اعتبار شده از سه پایگاه،  برای ارزیابی آسیب پذیری سازمانی در برابر سو رفتار تحقیقاتی یا کوتاهی های نظارتی استفاده کرده است. برای انجام این کار، نویسنده DOI های اصلی و شناسه های PubMed ID (PMIDs) مرتبط با مقالات سلب اعتبار شده را از پایگاه های: Web of Science, Retraction Watch, PubMed استخراج و بارگذاری کرد. تا ۱۸ ژوین ۲۰۲۵، پایگاه داده Retraction Watch تعداد ۴۳۴۸۲ مدخل را که با عنوان «سلب اعتبار» مشخص شده و‌ در انواع اسناد زیر طبقه بندی شده اند، صورت برداری کرده است:

• گزارش های موردی
• مطالعات بالینی
• دستورالعمل ها
• متل آنالیزها
• مقالات پژوهشی 
• مقالات سلب اعتبار شده
• مقالات مروری
• نامه ها در صورت مرتبط بودن با مقالات پژوهشی
• اصلاحات در صورت مرتبط بودن با مقالات مروری

 این نوع مقالات به این دلیل انتخاب شدند که پس از ارجاع متقابل، با مقالات و مرورهای موجود در مدلاین و وب او ساینس مطابقت داشتند. با استفاده از معیارهای حذف مورد استفاده توسط Ioannidis و‌همکاران (۲۰۲۵)، تعداد ۲۲۳۸ رکورد به دلایل غیر مرتبط با نویسنده (به عنوان مثال، «سلب اعتبار و جایگزینی»، «خطا توسط مجله/ناشر») حذف شدند. از میان مدخل های باقی مانده Retraction Watch, تعداد ۳۸۳۱۶ مورد با موفقیت با استفاده از DOI ها و PMID ها با رکوردهای SciVal مطابقت داده شدند. تعداد ۵۱۶۶ مورد باقی مانده، به دلایل زیر قابل مطابقت نبودند: یا به این دلیل که در مجلاتی منتشر شده بودند که توسط SciVal نمایه نشده بودند یا فاقد DOI ها یا PMID های قابل شناسایی در پایگاه داده بودند. برای تکمیل مجموعه داده های Retraction Watch ، تعداد ۴۴۱۶ نشریه سلب اعتبار شده از مدلاین و وب او ساینس (۲۷۳۷ مورد از مدلاین و ۲۸۵۰ مورد از وب او ساینس) شناسایی گردیده که به عنوان «سلب اعتبار» یا «انتشارات سلب اعتبار شده» طبقه بندی  و  انگاه به عنوان مقاله یا مرور برچسب گذاری شدند. در مجموع، ۴۲۷۳۲ مقاله سلب اعتبار شده با SciVal تطبیق و در تجزیه و تحلیل گنجانده شدند. اسکوپوس به دلیل شیوه های رده بندی متفاوت حذف شد: برچسب «سلب اعتبار شده» آن طیف گسترده ای از اسناد، از جمله نامه های سرمقاله ها را در بر می گیرد و آن را برای جداسازی مقاله های پژوهشی و مرور های سلب اعتبار شده نامناسب می کند. برای در نظر گرفتن فاصله زمانی بین انتشار و سلب اعتبار ، این تحلیل به جای سال های ۲۰۲۳ و ۲۰۲۴،  بر مقالات منتشر شده در سال های ۲۰۲۲ و ۲۰۲۳ متمرکز شد تا اولا رفتارهای  نهادی اخیر را به طرز بهتری ثبت کند و ثانیا دیدگاه وسیع تری از فعالیت های سلب اعتبار ارایه دهد.  vandal-Pedreira)  و همکاران، ۲۰۲۴؛ Feng و همکاران، ۲۰۲۴؛ Fang و همکاران، ۲۰۱۲؛ Gedik و همکاران، ۲۰۲۴).

تا ۱۸ ژوین ۲۰۲۵، تعداد مقالات سلب اعتبار شده برای سال ۲۰۲۲ به ۱۰۵۷۹، برای سال ۲۰۲۳ به ۲۸۹۷ و برای سال ۲۰۲۴ به ۱۶۰۱ مورد رسید. در سراسر جهان، تا تاریخ ۱۸ ژوین ۲۰۲۵، نرخ سلب اعتبار مقالات برای سال های ۲۰۲۳-۲۰۲۲ به طور متوسط ۲/۲ در هر ۱۰۰۰ مقاله بود که بالاترین نرخ در ریاضیات ۹/۳ و علوم کامپیوتر ۷/۶ و‌کمترین آن در هنر و‌علوم انسانی ۲/.  مشاهده شده است. طبق گزارش Retaction Watch، ۱۵ دلیل اصلی برای سلب اعتبار مقالات عبارتند از: بررسی توسط نشریه/ناشر ۴۸٪، نتایج و یا نتیجه گیری های غیرقابل اعتماد ۴۲٪، بررسی توسط شخص ثالث ۳۴٪، نگرانی ها/مسایل مربوط به داده ها ۳۰٪، نگرانی ها/مسایل مربوط به ارجاع و انتساب ها ۲۶٪، کارخانه کاغذسازی ۲۵٪، نگرانی ها/مسایل مربوط به داوری همتا ۲۳٪، نگرانی ها/مسایل مربوط به نتایج/نتیجه گیری ها ۱۹٪، داوری همتا جعلی  ۱۹٪، محتوای به کمک رایانه یا محتوای تولید شده توسط رایانه ۱۸٪، کپی/در تصویر ۱۰٪، کپی/ در مقاله ۸٪، حس تعبیر برای سرقت ادبی ۶٪، بررسی توسط شرکت/ موسسه ۶٪ و عدم تایید و یا انطباق ۶٪

۲- ریسک مجلات حذف شده از فهرست:

نسبت انتشارات یک موسسه را که به دلیل نقص استانداردهای انتشار، سردبیری یا بررسی همتا از اسکوپوس و وب او ساینس حذف شدند، کمی سازی می کند. (Cortegiani و همکاران، ۲۰۲۲). این شاخص در دو سال تقویمی کامل اخیر (به عنوان مثال، ۲۰۲۴-۲۰۲۳ برای تحلیلی که در سال ۲۰۲۵ انجام شد) مورد اندازه گیری قرار می گیرد و آسیب پذیری های ساختاری در کنترل کیفیت و شیوه های انتشار را به نمایش می گذارد. چنین انتشاراتی حتی پس از حذف از فهرست، همچنان بر معیارهای کتابسنجی تاثیر داشته و به طور بالقوه معیارهای ارزیابی را تحریف می کند. این مولفه شامل تمام مقالات منتشر شده و در مجلات حذف شده توسط اسکوپوس است. همچنین، شامل مقالاتی در مجلات حذف شده توسط وب او ساینس است که هنوز به طور فعال در اسکوپوس نمایه می شوند. اسکوپوس از طریق بک برنامه ارزیابی مجدد عنوان، مجلات را متوقف یا از فهرست خود حذف می کند. این مجلات ممکن است به دلایل زیر برای ارزیابی مجدد علامت گذاری شوند: (۱) عملکرد ضعیف در معیارهای کلیدی کتابسنجی  (میزان استناد، میزان خود استنادی و SciteScire)؛ (۲) شکایات رسمی در مورد شیوه های انتشار؛ (۳) رفتارهای انتشار غیر معمول که به صورت الگوریتمی شناسایی می شوند (به عنوان مثال، افزایش ناگهانی در خروجی یا تمرکز جغرافیایی)؛ و (۴) بازخورد مداوم از هیات انتخاب محتوا و‌مشاوره.

مجلاتی که در ارزیابی مجدد رد شوند، با حفظ محتوای قبلی آن ها، از فهرست حذف گردیده و نمایه سازی آن ها به صورت آینده نگر متوقف می شود. وب او ساینس پس از یک ارزیابی مجدد عمیق ویراستاری، که توسط ویراستاران مستقل داخلی ان انجام می شود، مجلات را از فهرست حذف می کند. این ویراستاران، مجلات را بر اساس ۲۴ معیار کیفیت و ۴ معیار تاثیر ارزیابی می کنند. عناوین بعد از بازنگری داخلی، دریافت بازخورد از جامعه، یا مشاهده تغییرات در کیفیت ویراستاری دوباره ارزیابی می شوند. اگر مجله ای دیگر استاندارهای کیفی را رعایت نکند، مانند فقدان دقت ویراستاری، انتشار محتوای اخلاقی مشکوک یا انحراف از هنجارهای داوری همتا، از سیستم حذف  و دیگر نمایه سازی نمی شود. در موارد جدی، مقالاتی که قبلا نمایه شده اند ممکن است این ها نیز حذف شوند. بین سال های ۲۰۰۹ تا ژوین ۲۰۲۵، در مجموع ۹۷۴ مجله از فهرست حذف شده است - ۸۵۵ مجله توسط اسکوپوس و ۱۶۹ مجله توسط وب او ساینس. از این تعداد، ۵۵۳ مجله در طول سال های ۲۰۱۹-۲۰۱۸ در اسکوپوس نمایه سازی شده که حاوی ۱۹۳۳۶۸ مقاله است، و ۲۰۶ مجله نیز با ۱۲۴۹۴۵ مقاله در فاصله سال های ۲۰۲۴-۲۰۲۳. وابستگی های سازمانی این مقالات در سطح جهان ردیابی شد تا میزان قرار گرفتن در معرض کانال های انتشار با صداقت پایین ارزیابی شود.

داده های هر دو‌ مولفه به عنوان عواملی برای نگرانی های گسترده تر در مورد صداقت در پژوهش عمل می کنند. مانند: کارخانه های کاغذسازی (کسب و کارهایی که حق تالیف می فروشند)، مزارع استناد (سازمان ها یا شبکه هایی که استناد تولید می کنند یا می فروشند)، شیوه های جعل حق تالیف و سایر اشکال بازی های معیار.

(Abalkina, 2023; Maisonneuve, 2025; Candal-Pedreira et al., 2024; Feng et al., 2024; Ioannidis & Maniadis, 2024; Lancho Barrantes et al., 2023; Smagulov & Teixeira da Silva, 2025; Teixeira da Silva & Nazarovets, 2023; Wright, 2024)

 نکته مهم آن است که هر دو‌ مولفه به جای رفتارهای استنباطی، نتایج قابل تایید را منعکس  و  انگاه آن ها را به شاخص های قوی ریسک در سطح نهادی تبدیل می کنند. 

برای اطمینان از ثبات در مطالعات متنوع، چه در تحلیل ۵۰ دانشگاه در یک کشور و چه در تحلیل ۵۰۰۰ دانشگاه در سطح جهان، RI2 از یک گروه مرجع ثابت استفاده می کند: ۱۰۰۰ دانشگاه منتشرکننده برتر در سراسر جهان. این مبنای جهانی، پوشش متعادلی از رشته ها و نواحی جغرافیایی را فراهم می کند و تضمین می نماید که آستانه ها توسط داده های پرت منحرف نشوند. این معیار مشابه با محدوده های مرجع بالینی عمل می کند: همان طور ی که فشار خون بالا با استفاده از آستانه های استاندارد جهانی تشخیص داده می شود، رده بندی های RI2 نیز برای تشخیص ناهنجاری های ساختاری به یک معیار جهانی متکی هستند. مزایای کلیدی این رویکرد عبارتند از:

۱- قابلیت مقایسه جهانی:

نمرات RI2 ، همیشه به جای این که با هنجارهای محلی یا خاص نمونهمقیاس بندی شوند، در برابر مبنای جهانی تفسیر می شوند. این امر ثبات را در زمینه بافتارهای جغرافیایی و زمانی تضمین می کند.

۲- آستانه های پایدار:

سطوح ریسک بر اساس توزیع تجربی گروه مرجع دریا می شوند. به عنوان مثال، اگر بالاترین نرخ سلب اعتبار  ۳ در ۱۰۰۰ مقاله باشد، موسسه ای با  ۱/۵ مقاله سلب اعتبار شده، صرف نظر از اندازه نمونه، نمره نرمال شده ۰/۵ را دریافت می کند.

نرمال سازی، امتیازدهی ترکیبی و رده بندی سطوح:

هر شاخص با استفاده از نرمال سازی حداقل-حداکثر نسبت به گروه مرجع جهانی، در محدوده ۰ تا ۱ مقیاس بندی می شود. امتیاز ترکیبی RI2 میانگین ساده این دو است:

   RI2 = (نرخ سلب اعتبار نرمال شده + نرخ حذف نرمال شده) / ۲

 برای نسخه ژوین ۲۰۲۵، نرخ سلب اعتبار از ۰/۰۰ تا ۲۶/۸۲ مورد در هر ۱۰۰۰ مقاله متغیر بود و سهم مقالات در مجلات حذف شده‌از فهرست از ۰/۰۰٪ تا ۱۵/۳۵٪ متغیر بود. این مقادیر، مقیاس نرمال سازی را تعریف می کنند و در تمام نمونه ها ثابت می مانند و‌مقایسه های بین موسسه ای پایدار را صرف نظر از نمایندگی جغرافیایی یا رشته ای تضمین می نمایند. سپس موسسات بر اساس امتیاز RI2 خود به یکی از ۵ سطح ریسک به شرح زیر رده بندی می شوند:

سطح:

قرمز=نشانه اخطار

نارنجی= ریسک بالا

زرد=لیست مراقبت (نظارتی)

سبز= تنوع (توزیع) نرمال

سفید= ریسک پایین

برای مشاهده کامل جدول مربوط به سطوح ریسک, تعارف و فرمول ها، که منبع ترجمه نیز است، به سایت زیر مراجعه کنید.

[1] http://sites.aub.edu.lb/lmeho/methodology/

منابع:

• Abalkina, A. (2023). Publication and collaboration anomalies in academic papers originating from a paper mill: Evidence from a Russia-based paper mill. Learned Publishing, 36(4), 689-702. http://doi.org/10.1002/leap.1574
• Pedreira,C., Guerra-Tort, C., Ruano -Ravina,A., Freijedo -Farinas,F., Rey-Brandariz , J., Ross, J. S., & Perez-Rios, M. (2024). Retracing papers originating from paper mills: a cross-sectional analysis of references and citations. Journal of Clinical Epidemiology, 172, Article 111397. http://doi.org/10.2016/j.cline’s 2024.111397
• Cortegiani, A.,  Ippolito, M., Ingoglia, G., Manca, A., Cugusi, L., Severin, A., Strinzel, M., Panzarella, V., Campisi, G., Manjo, L., Gregoretti, C., Einav, S., Moher, D., & Giarratano, A. (2020). Citations and metrics of journals discontinued from Scopus for publication concerns: The GhoS(t)copus Project. F1000Research, 9, Article 415. http://doi.org/10.12688/f1000resesrch.23847.2
• 
  
• Fang, F. C., Steen, R. G., & Casadevall, A. (2012). Misconduct accounts for the majority of the retracted scientific publications. Proceedings of the National Academy of Sciences of the United States of America, 109(42), 17028-17033. http://doi.org/10.2073/journal.pbio.3002999
• Feng, S, Feng, L., Han, F., Zhang, Y., REN, Y., Wang, L., & Yuan, J. (2024). Citation network analysis of retractions in molecular biology field. Scientometrics, 129(8), 4795-4817. http://doi.org/10.2007/s11192-024-05101-4
• Scientometrics, 129(8), 4795-4817. https://doi.org/10.1007/s11192-024-05101-4
• Ioannidis, J. P. A., & Maniadis, Z. (2024). Quantitative research assessment: using metrics against gamed metrics. Internal and Emergency Medicine, 19(1), 39-47. https://doi.org/10.1007/s11739-023-03447-w
• Ioannidis, J. P. A., Pezzullo, A. M., Cristiano, A., Boccia, S., & Baas, J. (2025). Linking citation and retraction data reveals the demographics of scientific retractions among highly cited authors. PLoS Biology, 23(1), Article e3002999. https://doi.org/10.1371/pbio.3002999
• Lancho Barrantes, B. S., Dalton, S., & Andre, D. (2023). Bibliometrics methods in detecting citations to questionable journals. Journal of Academic Librarianship, 49(4), Article 102749. https://doi.org/10.1016/acalib.2023.102749
• Maisonneuve, H. (2025). Predatory journals and paper mills jeopardise knowledge management. Bulletin du Cancer, 112(1), 100-110. https://doi.org/10.1016/bulcan.2024.12.002
• Smagulov, K., & Teixeira da Silva, J. A. (2025). Scientific productivity and retracted literature of authors with Kazakhstani affiliations during 2013-2023. Journal of Academic Ethics. https://doi.org/10.1007/s10805-025-09624-0
• Teixeira da Silva, J. A., & Nazarovets, S. (2023). Assessment of retracted papers, and their retraction notices, from a cancer journal associated with “paper mills”. Journal of Data and Information Science, 8(2), 118-125. https://doi.org/10.2478/jdis-2023-0009
• Wright, D. E. (2024). Five problems plaguing publishing in the life sciences—and one common cause. FEBS Letters, 598(18), 2227-2239. https://doi.org/10.1002/1873-3468.15018