هنوز ISI و Scopus همه ارزیابی‌های ما هستند؟

لیزنا، سید ابراهیم عمرانی، سردبیر: زمانی دقیق به یاد ندارم سال 1373 بود یا 1374، در دانشگاه تهران و در یکی از جلسات مدیران پژوهشی دانشگاه، معاون وقت پژوهشی به شیوه ارزیابی مقالات استادان ایراد داشتند و مصمم بودند که روشی جایگزین و علمی برای آن بیابند، به دلیل گزارش‌هایی که قرار بود در حوزه خرید مجلات علمی به آن جلسه ارائه کنم بر حسب تصادف بنده هم حضور داشتم. من سابقه بحث را نمی‌دانستم و اجازه گرفتم و JCR[1] را نام بردم. معاون محترم پژوهشی پرسیدند این چه هست که استاد بزرگوار آقای دکتر صبوری (ریاست فعلی مرکز تحقیقات بیوشیمی و بیوفیزیک دانشگاه تهران) به ایشان اشاره فرمودند همان که با هم بررسی می‌کردیم و به طرف من برگشتند و گفتند  که شماره‌ای که ما داریم قدیمی است و من عرض کردم که کتابخانه علوم چند سالی است مشترک است و آخرین شماره را در اختیار داریم. معاون محترم پژوهشی بعد از دریافت شماره جدید و بحث‌هایی که آقای دکتر صبوری محور آن بودند و بررسی مفصلی که دو هفته به طول انجامید، در جلسه بعد اعلام کردند که همین لیست را مبنا قرار می‌دهیم و از این پس هر عضو هیئت علمی دانشگاه تهران که در این مجلات مقاله بنویسد مبلغ 3.000.000 ریال به او جایزه می‌دهیم.

این حرکت انگیزاننده، در سال‌های بعد به وزارت علوم راه یافت و وزارت علوم این جایزه را بر عهده گرفت و مبلغ آن را هم به 4.000.000 ریال ارتقاء داد و حرکتی شد در جهتی که منحنی رشد تولیدات علمی دانشگاه تهران و به فاصله اندکی سایر دانشگاه‌های ایران شروع به حرکت به طرف بالا کرد و سیر صعودی این منحنی را تقریباً همه می‌شناسیم.

این حرکت در یک دوره ده ساله با شکلی کمّی، صعودی بسیار خوب داشت و کمّی بودن آن هم برای شروع هیچ محلی از ایراد نداشت. کار به جایی رسید که رؤسای جمهور، وزیران علوم، بهداشت و بسیاری از مسئولین از این افتخار در صحبت‌هایشان تمجید کردند. لیکن این حرکت که از بعد سیاستگزاری علمی بسیار خوب بود و خوب شروع شد، بعد از چند سال و در سطح کشور شکلی به شدت نمایشی به خود گرفت. نمایشی شدن این حرکت استراتژیک که بنایش را انسان‌هایی علاقه‌مند و اهل پژوهش واقعی گذاشتند تا یک اندازه‌ای می‌توانست طبیعی تلقی شود ولی راستش حرکتی که در ذهن من چنان بود که روزی می‌بایست به چیزی شبیه "سامانه ارزشیابی پژوهشی" RAE[2] در وزارت علوم انگلستان بیانجامد، درست پیش چشمانم به شیوه‌ای 100% کمی – نمایشی تبدیل به  حرکتی بازاری و صحنه نمایش و متأسفانه حتی صحنه تقلب علمی برخی کم جنبه‌های عرصه دانشگاه‌ها شد.

از سویی دیگر می‌پذیرم که تجاری شدن آموزش عالی یک واقعیت جهانی است. آموزش عالی بازاری است که می‌توان در آن سرمایه‌گذاری و از آن سود مادی برداشت کرد. این حرکت در کشور ما با همان شیوه 100% کمی خود،  امکانی ایجاد کرد که فضای آموزش عالی را رقابتی کنند و این اتفاق نیز در کشور دارد جای خود را در سطح آمار و ارقام باز می‌کند. ولی رقابت در عمل خیلی واقعی نیست. چون بیشتر بودجه دارد از پول شهریه دانشجو می‌آید و بودجه دولتی دانشگاه‌ها؛ و نه  از گرفتن سفارش کار از بخش خصوصی و صنعت. پس تا رقابتی شدن آموزش عالی و به تبع آن تجاری شدن واقعی آموزش عالی در ایران هنوز راه زیادی باید طی شود. والا اینکه همه شبانه و پردیس بزنند و دانشجو بگیرند و از شهریه آنها هزینه کنند و بودجه دولتی هم بگیرند و در پایان هم طرف چه شایسته باشد و چه نباشد مدرک بگیرد، تجاری شدن آموزش عالی نخواهد بود، بلکه بازارآفرینی با استفاده از مدرک‌فروشی در آموزش عالی است.

نگارنده به عناون یکی از افرادی که از ابتدا در جریان استفاده از شاخص‌های JCR، بنا به رشته و تخصص خود بود، شاهد بودم و هستم که ISI و Scopus  تبدیل به همه ارزیابی‌ها شده و حتی خطاهایی که خود طراحان و پشتیبانان استفاده از ضریب تاثیر IF همیشه پذیرفته‌اند، در ایران پذیرفته نمی‌شود، از آن بدتر خیلی از دانشگاه‌ها در ارزشیابی مدارک استادان، بررسی‌های دقیق کیفی را کنار گذاشته و حتی IF را هم نمی‌خواهند. فقط می پرسند این در اسکوپوس هست؟ این در ISI هست؟ و در همان سال‌های مورد بحث وحتی تا کنون در واقع دوستان ما در آموزش عالی مملکت به شیوه‌ای وطنی طاقت نیاوردند که وسط پشت بام بایستند و یکسره داشتند و دارند از طرف دیگر پشت بام به پائین سقوط می‌کردند و می‌کنند. در سال 1386 به عنوان ادا کردن سهم خودم در این بی قانونی نوین  که به پا شده بود (و حال عین قانون بود) مقاله "مروری بر شاخص‌های بروندادهای پژوهشی"[3] را نوشتم که ضمن اشاره‌ای به  ضریب تاثیر،  به کیفیت در برابر کمیت پرداخته و به نظام‌های ارزیابی مانند RAE اشاره کردم. از همان زمان تعقیب کننده انواع و اقسام شیوه‌های ارزشیابی بروندادهای پژوهشی هستم. لیکن با تأسف شاهد ادامه روندهای کمی در ارزیابی تولیدات علمی ایران نیز هستیم و این در شرایطی است که دیگران "کیفیت بیشتر"یا "مزیت بیشتر[4]" را جایگزین کیفیت می‌کنند.

در میان شیوه‌های ارزیابی دانشگاهی و در میان کشورهای اروپایی "سامانه ارزشیابی پژوهشی" انگلستان RAE[5] یکی از اصولی‌ترین و بهترین انواع ارزشیابی‌ها بود که بسیاری کشورهای دیگر نیز در تدوین شاخص‌های ملی نگاهی به آن داشتند. حال بعد از سال‌ها این نظام نیز دچار تحول می‌شود و از آنچه بود کیفی‌تر می‌شود. "سامانه ارزشیابی پژوهشی" انگلستان RAE به  نظامی جدید با عنوان "چارچوب برتر پژوهشی" REF[6] تغییر نام یافته و از سال میلادی 2015 - 2016 ارزشیابی‌های دانشگاهی در انگلستان با این سامانه نوین گردشی کیفی‌تر خواهد کرد و این بالا بردن استانداردهای کیفی آموزش عالی حتماً نتیجه‌اش را در سال‌های آینده نصیب مردم بریتانیا خواهد کرد و آنگونه که ادعا شده است باید تاثیرش را بر رفاه بیشتر مردم بریتانیا مشاهده کنیم.

کیفی‌تر شدن نظام، در ارزیابی‌های دقیق‌تر آن نهفته است و یافتن ارتباط‌های آن با زندگی مردم. اگر به شاخص‌ها و شعارهای آن رجوع کنید، می‌بینید که همه جا از برآیند یا Outcome  هر ارزیابی صحبت می‌کند. فقط برونداد یا  Output کافی نیست، باید دید که برآیند و تاثیر آن در زندگی مردم عادی کشوری به نام بریتانیا چه خواهد بود. شورای سرمایه‌گذاری آموزش عالی بریتانیا HEFCE [7] طراح این شاخص‌ها و روند ارزیابی است و همه جا بر دو نکته کلیدی تاکید می‌نماید:

-         اول بازده سرمایه‌گذاری و بهبود حال مردم: اینکه کجا سرمایه‌گذاری کند که برآیند آن موثر در بهبود کیفیت زندگی باشد و

-         دوم شفافیت: اینکه شیوه بکارگیری سرمایه‌ای که در اختیار یک دانشگاه یا مرکز تحقیقاتی گذاشته می‌شود، به گونه‌ای باشد که هر لحظه از پروژه که سرمایه‌گذار بخواهد ببیند سرمایه‌اش چگونه دارد هزینه می‌شود بتواند به فوریت ببیند، یعنی شفافیت حساب‌ها و عملکردها.

دیگر قرار نیست پولی تخصیص داده شود، و هر بار بپرسند حُب کجای کارید، پاسخ بگیرند، شما چکار دارید، شما در همان زمانی که تعیین شده بیا و نتیجه‌اش را ببین. سرمایه‌گذار تأکید دارد که می‌خواهد در هر مرحله شما را زیر نظر داشته باشد تا اگر جایی متوجه شد که طرح  هزینه – فایده نمی‌شود، یا سرمایه‌گذاری‌اَش ممکن است با ضرر همراه شود، آن را اصلاح یا متوقف کند.

اهداف اولیه‌ای که از سوی چارچوب جدید اعلام شده سه اصل زیر است:[8]

-          تعیین بودجه های پژوهشی دانشگاهها و مراکز پژوهشی: "موسسات سرمایه‌گذار (دولت - بخش خصوصی)  می‌خواهند از برآیندهای این سامانه (REF) برای تخصیص  بودجه تحقیق به موسسات آموزش عالی از سال تحصیلی 2015 – 2016، استفاده کنند.

-          اعتبار شاخص‌های ارزیابی: برآیندهای ارزیابی باید اطلاعات مقایسه‌ای وشاخص‌های معتبری برای ارزیابی ایجاد کند.

-          شفافیت حساب‌های دانشگاه‌ها: ارزیابی باید برای سرمایه‌گذاری در پژوهش قابلیت محاسباتی شفاف در اختیار بگذارد و شواهدی ایجاد کند که سود این سرمایه‌گذاری کاملاً قابل محاسبه باشد.

و بر اساس همین سه هدف

-          REF قصد دارد که کیفی‌تر، شفاف‌تر و با زندگی آحاد مردم بریتانیا در ارتباط‌تر باشد.

-          REF قصد دارد پایه‌ای برای توزیع بودجه‌های پژوهشی، در ابتدا بر اساس مزیت‌های برتر پژوهش‌ها ایجاد کند که بر اساس آن پژوهش‌های برتر را در هر شکلی و در هر جایی که لازم است حمایت و پشتیبانی کند.

-          در مقایسه با RAE قصد دارد به طور مؤثر و شاخص حجم کارهای ستادی مؤسسات پژوهشی را کاهش دهد.

-          REF قصد دارد از ایجاد انگیزه‌های رفتاری نامطلوب و شخصی جلوگیری شود.

-          هدف REF ارتقاء کیفیت و توزیع و پراکندگی بهتر کارهای پژوهشی است.

-          و در نهایت قصد REF ایجاد چارچوبی تثبیت شده برای پشتیبانی پایدار از حرکتی پیشرو در جهان برپایه پژوهش است[9].

در پایان اگر اجازه بدهید از کشور بریتانیا به وطن بازگردیم و سری بزنیم به علم‌سنجی از نوع وطنی و چند سوال تکراری (گاهی سوال آن قدر باید تکرار شود که بالاخره آقایان دستور بدهند بابا یکی بره به این یارو عمرانی پاسخ بده. هر روز این سوالا رو می‌پرسه و ممکن است مردم خیال کنند که راست میگه).

چرا در کشور من قانون‌ها خوب نوشته می‌شوند، ولی وقتی به اجرا می‌رسد هیچ شباهتی به اصل قانون ندارد؟

قوانینی که برای ارتقاء هیئت علمی نوشته شده و هیئت ممیزه باید آن را اجرا کند، ‌چیز بدی نیست. ولی ظاهراً از ابزار استاندارد برای محاسبات و تشخیص یز از درشت و سره از ناسره  استفاده نمی‌شود. اگر قرار است گندم الک کنیم و فقط دانه های سالم گندم  از خانه‌های الک عبور کنند باید الکی با خانه های به اندازه گندم تهیه کنیم. والا اگر از الکی با خانه‌های درشت که برای سورت سیب‌زمینی یا پسته استفاده می‌شود بخواهیم برای گندم استفاده کنیم، همه گندم‌های ته خم مانده و رطوبت دیده و باد کرده هم از آن عبور خواهند کرد و نهایتاً کیفیت نان را از دست می‌دهیم. چنانکه تا حدود زیادی کیفیت آموزش عالی مورد هجوم شدید قرار گرفته است.

کسی ناظر بر کار هیئت‌های ممیزه نیست؟

ابتدا الک شد ISI با همه نقاط ضعف (بیشتر) و نقاط قوتش (کمتر). دیدند از الک ISI فقط دانه‌های خاصی عبور می‌کنند، شد Scopus ، بعد شد مجله های علمی پژوهشی ایرانی، بعد مجله‌های علمی پژوهشی ایران برای تعداد مقاله‌های ساخته شده از پایان‌نامه‌های بی راهنما کم آمد، آب بستند در علمی پژوهشی‌ها و ظرف چند سال تعداد آنها به دو برابر و بیشتر رسید. آیا این مجلات در کنار کنترل تعداد شماره در سال و استاندارد بودن اعضای هیات تحریریه و این قبیل نکات که بسیار هم مهم هستند کنترل کیفی نیاز ندارند؟

این همه برای چه؟ برای اینکه یک جدول بگذارند جلوی هیئت ممیزه و بگویند اولی 6 امتیاز، دومی 4، سومی 2، چهارمی 0.5، (این نمره نیم هم که دیگر جا افتاده شده)، و الی آخر؟

چرا به جای استفاده از این شاخص‌هایی که به صورت علمی قابل توجیه نیستند، هیئت ممیزه نگاهی به اصل مقاله نمی‌اندازد؟ تا جائی که به یاد دارم هیئت ممیزه‌ها از افرادی خبره تشکیل می‌شدند و هر یک تسلط خوبی بر رشته و حواشی آن داشتند و خبره می تواندISI  را ببیند، اسکوپوس را ببیند،‌ لیست مجلات علمی پژوهشی را هم ببیند، ولی مهم‌تر از همه اینها یک نگاه به خود مقاله هم می‌کند. مقاله مانند بوی مُشک خودش به شما می‌گوید که این مقاله جایی در آینده برای خود حفظ خواهد کرد، یا فقط قرار بوده پایان‌نامه‌ای دفاع شود و لذا اعداد و رقم‌هایی در آن وول می‌زند که چه بسا واقعی نیستند و در آینده هم دردی از مشکلات این مرز و بوم را حل نخواهند کرد. هیات ممیزه خبره با یک تورق به شما می گویدکه همان نیم هم که بعضیها می دهند برای این زیاد است ا با اینکه مولف بزرگواری کرده و چنین مقاله ای را به یک مجله علمی پژوهشی ایرانی داده،و اعتبار آن را بالا برده، از مقاله هایی که در ISI نمایه شده اند هم قوی تر است.

یاد روزهای انقلاب می‌افتم که شعار زیبایی از دل مردم بیرون آمد که هیچ وقت از  یادم نخواهد رفت. وقتی که سربازانِ رو در رو قرار داده شده با مردم برای ارعاب خشاب خالی میکردند و با رگبار تیر به هوا می‌انداختند مردم فریاد می‌زدند: دونه دونه در کن پول نفتمونه. راستش همینطور که می‌نوشتم به یاد این شعار افتاده بودم که خُب مرد ناحسابی، به تو چه. پول، پول نفته، حالا می‌خواهند حقوق عده‌ای را سر سال چه کار کرده باشد و چه نکرده باشد زیاد کنند، شاخص‌هایی را هم برای توجیه روی کاغذ آورده‌اند. حالا به تو چه پول نفت چگونه و کجا خرج می‌شود؟ و آن وقت مردم در جواب بگویند: باشه، قبول، ولی لطفاً دونه دونه در کنید.

عمرانی، ابراهیم. «هنوز ISI و Scopus همه ارزیابی‌های ما هستند؟».  سخن هفته لیزنا، شماره 206. 5 آبان 1393.