هوش مصنوعی، انتخاب داور مقاله و داوران ایرانی

لیزنا، سید ابراهیم عمرانی، سردبیر:

بخش اول: هوش مصنوعی و انتخاب داور

محققان هوش مصنوعی که خود دستی در کنگره‌ها  و کنفرانس‌های رشته خودشان دارند، امیدوارند با استفاده از ابزارهای حوزه هوش مصنوعی، یک مشکل رو به رشد را حل کنند: چگونگی شناسایی و انتخاب داوران  که معضلی بزرگ برای همایشهای بزرگ و سالانه شده است.

در بیشتر رشته‌های علمی ، مجلات  به عنوان محور اصلی انتشار مقاله‌ها شناخته شده‌اند و به همین ترتیب بررسی مقاله‌ها و فرایند داوری، بیشتر در حوزه کاری دبیران و سردبیران مجلات علمی است. در شیوه جاری، سردبیران، وقت دارند مقالات را به داوران حرفه ای و مناسب اختصاص دهند. اما در علوم رایانه، اعم از نرم افزار و سخت افزار و رایانش و هوش مصنوعی و  ...  ، که در عمل مقاله‌های کنفرانسها ارزشی گاهی بیشتر از مقالات مجلات دارند، این مساله با چالشی جدی روبرو است، چون مقاله باید سریع داوری شود و در یک کنفرانس ارائه شود، و نمی‌تواند مانند مجله در فرصت کافی به آن پرداخته شود. به این معنی که سردبیر یا دبیران علمی مجله، با بررسی اولیه، آن را بپذیرند و برای داوری که می‌شناسند در آن حوزه کار کرده و کارش مورد تایید مجله است ارسال نمایند. بنابراین در حوزه علوم و مهندسی رایانه یافتن داور اغلب به دلیل ضرورت، عجولانه تر است: بیشتر نسخه‌‌های اولیه (دستنویس)، در فرصتی که در فراخوان داده می‌شود، همه به یک باره برای کنفرانس‌های سالانه ارسال می‌شوند، و گاهی برگزارکنندگان و دبیران علمی فقط یک هفته یا  کمتر وقت دارند تا هزاران مقاله را به هزاران داور اختصاص دهند.

این سیستم فشار و استرس زیادی به دبیران علمی و برگزارکنندگان وارد می‌کند. به گفته متیو هاتسان در "ساینس نیوز"[1] اول آوریل 2021، "در 5 سال گذشته ، ارسال مطلب به همایشهای بزرگ هوش مصنوعی بیش از چهار برابر شده است، و سازمان دهندگان این کنگره‌ها از این استقبال، خرسند هستند، و برای سازماندهی کار، در دو سه سال اخیر تحقیقاتی را آغاز کرده‌اند. یک نمونه از فشار کار که در این مقاله نام برده شده است، "کنفرانس سالانه هوش مصنوعی در سیستم های پردازش اطلاعات عصبی (NeurIPS) – " یکی از بزرگترین همایشهای این حوزه است.  "....  برای همایش دسامبر 2020،  بیش از 9000 مقاله به این رویداد علمی ارسال شده است، 40٪ بیشتر از سال قبل..... " و به گفته مارک اورلیو سانزاتو[2] رئیس کنفرانس سال جاری NeurIPS . "برگزارکنندگان مجبور بودند برای داوری 31000 مقاله تایید شده، حدود 7000 داور تعیین کنند"[3].

متیو هاتسان می نویسد، خوشبختانه برای کنفرانس 2020 از هوش مصنوعی کمک گرفته شد. برگزارکنندگان از نرم افزاری موجود به نام "سیستم تطبیق مقاله  تورنتو [4](TPMS) " برای کمک به تخصیص مقاله به داوران استفاده کردند. TPMS در کنفرانس‌های دیگری نیز مورد استفاده قرار گرفته بود. این نرم افزار با مقایسه متن موجود در مقاله‌های ارسالی و پروفایلی که به کم خود داوران تهیه شده است، میزان نزدیکی و انطباق بین مقاله‌های ارسالی و تخصص داوران را می‌سنجد. " ... غربال کردن، بخشی از یک سیستم تطبیق است که در آن داوران حوزه کاری خود و موضوع مقاله‌هایی را که میخواهند داوری کنند به سیستم پیشنهاد می‌دهند".

اما نرم‌افزارهای تازه‌تر هوش مصنوعی می‌توانند این روش را بهبود بخشند. "یک سیستم جدیدتر اندازه‌گیری انطباق ، با عنوان  OpenReview تدوین یافته که مشکلات TPMS را ندارد. این سیستم از یک شبکه عصبی ( یک الگوریتم یادگیری ماشین الهام گرفته از سیم کشی مغز ) برای تجزیه و تحلیل عناوین مقاله و خلاصه مقاله ، و نمایش غنی تر محتوای آنها استفاده می کند. بنا به روایت ملیسا بوک و هاو شیوان چانگ ، استادان علوم رایانه از دانشگاه ماساچوست ، آمهرست ، می گویند که چندین کنفرانس علوم رایانه ، از جمله NeurIPS ، در سال جاری با استفاده از OpenReview  و در ترکیب با TPMS برگزار شد که موفقیت‌آمیز بوده‌اند"[5].

بخش دوم: اگر هوش مصنوعی به داوری مجلات علوم اطلاعات برسد ؟!

چنانکه دیدیم، نرم "افزارهای انطباق داوری" برای یافتن و انتخاب داوران بر پایة تخصص آنها استفاده می‌شوند، همچنین به داوران اجازه می‌دهند تا مقالاتی را برای داوری پیشنهاد دهند. البته همانطور که گفته شد، این نرم‌افزارها تا اینجا در کنفرانسهای علوم رایانه استفاده شده‌اند و متیو هاتسان در همان مقاله می‌نویسد که امیدواری زیادی است که بتوانیم به زودی این کار را در رشته‌های دیگر هم انجام دهیم.

در بخش دوم می خواهم این موضوع را طرح کنم که اگر این نرم افزارها به رشته ما بیایند، چه اتفاقی می‌افتد؟

تقاضا می کنم سردبیران محترم مشارکت کنند و به ما پاسخ این سوال را بدهند. داوران ایرانی حوزه علوم اطلاعات که برای مجلات معتبر خارجی داوری می‌کنند هم کمک کنند. چه خواهد شد و ما چه باید بکنیم؟

الف-  بیرون از ایران: ابتدا مساله کلی را طرح کنیم و کاری به کار ایران نداشته باشیم.

طبیعی است، و به ویژه در این روزها که یادگیری ماشین (Machine Learning) ابزار روز و در جاهایی مُد روز است، باید داده‌هایی را به ماشین بدهیم که ماشین بر اساس آنها بتواند آموزش ببیند و بر پایه آن داده های آموزشی، سایر داده‌ها را تحلیل کند و نتایج دقیقی را به ما بدهد.

در مساله داوری، این طور به نظر می‌رسد که استادی می‌رود و خودش در فرمی در نرم افزار می‌نویسد که من این کلید واژه های تخصصی‌ام است و در این زمینه ها می‌توانم داوری کنم. و ماشین داور را با این کلید‌واژه‌ها در حافظه نگه می‌دارد و پس از دریافت مقاله، احتمالا کلیدواژه‌های مولف مقاله را با کلیدواژه‌های داور مطابقت می‌دهد و چند داور شناسایی می‌کند که با یک الکورتیم خاص هربار برای دو یا سه نفر از آنها ارسال می‌کند. در رشته ما از نظر من تنوع زیادی وجود دارد، لیکن نه به گسترش علوم رایانه و مهندسی نرم افزار و شبکه و امنیت و هوش مصنوعی و یادگیری عمیق و  ... . اگر یکی از اساتید که دستی بر آتش مجلات خارجی دارد بگوید، چه پیش‌بینی می‌کند خیلی خوب است، و آیا ما هم در حوزة علوم و فناوری اطلاعات مشکلی مانند رایانه‌کاران داریم، یا در آینده نزدیک خواهیم داشت؟

نکته‌ای فانتزی هم  دارم که به خود من که داستانهای جنایی زیاد خوانده‌ام بر می‌گردد. در داستانهای شرلوک هولمز و پوراو (هر دو نویسندگان انگلیسی دارند)، بارها رقابتهای دانشگاهی سوژة برخی جرایم بوده و جناب هولمز و جناب پورا و یا خانم مارپل آنها را کشف می‌کردند و .. اینجا هم برای من این سوال است که ماشین دیگر ملاحظات اینکه چه مقاله ای را برای چه کسانی بفرستد نخواهد داشت و هم خوب است و هم گاهی بد است. خوب است چون ملاحظات خاص سردبیر و دبیر تحریریه را ندارد و بد است که بدون این ملاحظات گاهی مقاله‌ای به داوری سپرده می شود که داور متخصص با یک نگاه رقیب را می‌شناسد و ممکن است تصمیماتش با سوء نظر همراه شود. نقش رقابتها در انتخاب داور برای مقاله چه می‌شود.

ب- در ایران: در بخش دوم سوال بیائیم و از ایران بگوئیم. در ایران چه اتفاقی خواهد افتاد؟

حتما داوران و سردبیران پیش بینی خودشان را بنویسند و راهنمایی کنند.

بخش فانتزی که در بالا گفتم، به قوت خود فانتزی باقی می‌ماند، حتی اگر اندکی واقعیت هم همراه آن باشد.

ولی بخش انتخاب داور توسط هوش مصنوعی برای داوران مجلات رشته ما در ایران چگونه سامان داده می‌شود؟ با کلیدواژه‌هایی که خودم تعریف می‌کنم؟ یا پروفایل من بر پایه کلیدواژهای مقاله‌هایی که قبلا داوری کرده‌ام، ساخته می‌شود؟ که اگر چنین شود، که ماشین حتما سرگیجه و حالت تهوع و دل‌پیچه می‌گیرد،  چون خود من از شیر مرغ تا جان آدمیزاد داوری کرده‌ام و خودم را همه چیز‌دان دانسته‌ام و هر چه ارسال کرده‌اند، رد نکرده‌ام.

ولی اگر بر پایه کلیدواژه‌هایی که خود من می‌روم و برای ماشین تعریف می‌کنم باشد، آن وقت من باید حریمی را مشخص کنم که ماشین فکر نکند با ویکی پدیا طرف است و حتما داور باید خودش را دقیق تعریف کند و شاید یک بار دیگر ماشین ما را مجبور کند که خودمان را سامان بدهیم. البته اگر منم، که راه کلاه گذاشتن سر ماشین را هم پیدا خواهم کرد ! ! !  ولی استادان و داوران محترم حتما محدوده‌های دقیقی را تعریف خواهند کرد و به ماشین اجازه استفاده از هوش مصنوعی را خواهد داد.

عمرانی ،سیدابراهیم..«قضیه، بخش اول بخش دوم؛ هوش مصنوعی، انتخاب داور مقاله و داوران ایرانی» .سخن هفته لیزنا، شماره 535،  30 فروردین ۱۴۰۰.

----------------------------------------------------------------

[1] . AI conferences use AI to assign papers to reviewers. Mathew Hutson. Science News: April, 1^st, 2021.

[2] . Marc'Aurelio Ranzato

[3] . همان

[4] . Toronto Paper Matching System

[5] . همان