ضرورت هم‌افزایی گراف­‌های دانش و مدل­‌های زبانی بزرگ (LLM)

لیزنا، مقاله‌های روز (10): علیرضا شهبازی[1]،  بنیان‌گذار شرکت برهان در زمینه بازنمایی و استدلال‌ورزی ماشینی، پژوهشگر ارشد آزمایشگاه داده کاوی دانشگاه علم و صنعت، طلبه سطح 4 حوزه علمیه قم:  هوش مصنوعی معنایی که شامل پردازش زبان طبیعی (NLP) و درک زبان طبیعی  (NLU)می­باشد، حوزه‌ای از هوش مصنوعی است که با درک معنای زبان سروکار دارد. وظایفی مانند تجزیه و تحلیل متن، تجزیه و تحلیل احساسات، ترجمه زبان و موارد دیگر ممکن است در این دسته قرار گیرند. هوش مصنوعی معنایی بر این مفهوم استوار است که برای پردازش و تجزیه و تحلیل مؤثر مقادیر عظیمی از داده های متنی، ماشین ها باید بتوانند معنای کلمات و عبارات را به همان شیوه ای که مردم درک می­کنند، درک کنند.

پردازش زبان طبیعی  و درک زبان طبیعی دو کاربرد مهم هوش مصنوعی معنایی  هستند. بسیاری از کسب‌وکارها برای درک بهتر مصرف‌کنندگان و بازار خود، از این تکنیک‌ها برای استخراج خودکار دیدگاه­ها از داده‌های متنی بدون ساختار، مانند نظرات مشتریان یا پست‌های شبکه‌های اجتماعی استفاده می‌کنند. ربات­های گفتگو (چت ­بات­ها) و دستیاران مجازی (virtual assistants) یکی دیگر از اپلیکیشن‌­های هوش­ مصنوعی­ معنایی هستند. این سیستم‌ها به جای اینکه از کاربران بخواهند با استفاده از مجموعه‌ای از دستورات از پیش تعیین‌شده با آن­ها مشارکت کنند، از پردازش و درک زبان طبیعی استفاده می‌کنند.

مدل‌های زبانی بزرگ مانند ChatGPT که توسط OpenAI توسعه یافته است این توانایی را دارند که متنی شبیه انسان تولید کنند. حضور این فناوری، حوزه تولید زبان طبیعی را متحول کرده است. دانش قابل توجه و خلاقیت ظاهری آن‌ها باعث شده است که افراد بیشتری از طریق این ربات‌های قدرتمند هوش مصنوعی برای پاسخ به فوری­ترین سؤالات خود استفاده کنند ولی با این حال، مانند هر مدل یادگیری ماشینی، محدودیت های خود را دارد. یکی از محدودیت های مدل‌های زبانی، عدم درک صریح و منطق محور از بافت و دانش پس زمینه متنی است که او تولید می کند. به عنوان مثال، اگر از آن خواسته شود در مورد یک موضوع خاص بنویسد، ممکن است متنی تولید کند که از نظر نحو و دستور زبان صحیح باشد اما فاقد عمق و ظرافت یک متخصص در آن بافت باشد. محدودیت دیگر، ناتوانی آن در استدلال و ایجاد ارتباط منطقی بین مفاهیم مختلف است. در حالی که می تواند متنی تولید کند که ظاهر منطقی مناسبی دارد، اما توانایی استنتاج و نتیجه ­گیری بر اساس اطلاعات ارائه شده را دست‌کم تا این نسخه ندارد. یکی از راه‌های غلبه بر این محدودیت‌ها، ترکیب این مدل‌های زبانی مانند ChatGPT با گراف دانش است.

گراف دانش نوعی پایگاه داده است که اطلاعات را به گونه ای ذخیره و سازماندهی می ­کند که روابط بین موجودیت­ ها را به طور صریح یا استنتاج شده در خود دارد. گراف دانش، در مقایسه با پایگاه‌های داده رابطه‌ای سنتی، امکان نمایش و بازنمایی دقیق‌تر و شهودی مفاهیم دنیای واقعی و ارتباطات آن‌ها را فراهم کرده و امکان دسترسی آسان و پرس‌وجو را میسر می‌سازد. با گنجاندن داده‌های گراف دانش در مدل‌های زبانی، مدل می‌تواند به انبوهی از اطلاعات پس‌زمینه دسترسی پیدا کند، و در ادامه به آن اجازه می دهد متنی با عمق درک بیشتری تولید کند. گراف­های دانش نیز می­توانند راهی برای استدلال و ایجاد ارتباط منطقی بین مفاهیم به مدل زبانی ارائه دهند.

علاوه بر این، گراف دانش می­تواند اطلاعات دقیقی را در اختیار مدل زبانی قرار دهد، که آن اطلاعات را در تولید متن خود بگنجاند. این رویکرد می‌تواند اطلاعات خاص و استواری را در مورد هر موضوعی ارائه دهد و متن تولیدشده را آموزنده‌تر و مفیدتر کند. در نتیجه، یک مدل زبانی قدرتمند می‌تواند با بهره‌گیری از داده‌های گراف­های دانش و استدلال‌ورزی‌های صریح روی آن بر محدودیت‌های منطقی خود غلبه کرده و در نتیجه یک سیستم تولید متن هوشمندتر و آموزنده‌تر ایجاد شود.

بنابرین برای حل این مشکلات، باید بر دومین شاخه رو به رشد هوش مصنوعی یعنی استدلال معنایی متمرکز شویم. استدلال معنایی، نیروی محرکه هوش مصنوعی مبتنی بر قوانین است که مجموعه‌ای از قوانین منطقی برای استنتاج اطلاعات جدید از داده‌های موجود را به کار می­گیرد. فایده واضح استدلال معنایی این است که هر نتیجه­گیری را می توان گام به گام ردیابی کرد و مطمئن بود که نتایج به طور منطقی از قوانین تنظیم شده پیروی می­کنند. بنابراین در این رویکرد از هوش مصنوعی توضیح‌پذیر (Explainable Artificial Intelligence) می­ توانیم دقت را بهبود ببخشیم و با نتایج پاسخگویی مطمئن­ تری مواجه شویم.

به طور خلاصه، مدل های زبانی بزرگ در تولید و درک زبان طبیعی برتری دارند و می­ توانند با طیف گسترده ای از موضوعات کار کنند. از سوی دیگر، گراف­ های معنایی روشی ساختاریافته برای بیان و بازنمایی دانش هستند که آن­ها را برای وظایفی مانند استدلال و بازیابی دقیق اطلاعات، مناسب می‌سازد. ترکیب نقاط قوت هر دو رویکرد می تواند به سیستم­های پردازش زبان طبیعی قدرتمندتر و موثرتر منجر شود.

در ادامه در گام اول به کلیت ترکیب و تعامل گراف‌های دانش و مدل‌های زبانی می‌پردازیم و سپس به جنبه‌های بهبوددهندگی هر کدام نسبت به دیگری می‌پردازیم:

ترکیب گراف­های دانش با مدل­های زبانی بزرگ

ترکیب گراف­های دانش با مدل‌های زبانی بزرگ می‌تواند به سیستم‌های پردازش زبان طبیعی قدرتمندتر و مؤثرتر منجر شود. در ادامه چند نمونه از تعامل و ترکیب گراف­های دانش با مدل­های زبانی بزرگ پیشنهاد می­ شود:

1.پیش‌آموزش با داده‌های گراف دانش: تزریق دانش از یک گراف دانش به مرحله پیش‌آموزش یک مدل زبانی بزرگ می‌تواند به مدل کمک کند تا روابط بین موجودیت­ها و ویژگی‌های آنها را بیاموزد. این کار را می توان با تبدیل سه گانه­های گراف دانش به جملات زبان طبیعی و افزودن آنها به مجموعه آموزشی انجام داد.

2.تنظیم دقیق با اهداف مبتنی بر گراف: پس از پیش آموزش، تنظیم دقیق مدل برای وظایف خاص با اهداف مبتنی بر گراف می تواند به آن کمک کند تا با استفاده از دانش کدگذاری شده در گراف، استدلال و استنتاج را بیاموزد. به عنوان مثال، مدل را می توان برای پیش­بینی موجودیت­ها یا روابط گمشده در گراف تنظیم کرد، که می­تواند درک آن را از ساختار زیربنایی بهبود بخشد.

3.پرس­و­جو از گراف­های دانش استنتاج‌شده: زمانی که مدل با یک سؤال یا وظیفه­ای مواجه می­شود که به دانش دقیق و ساختاریافته­ای نیاز دارد، می­تواند برای به دست آوردن اطلاعات مرتبط، از گراف دانش پرس­و­جو کند. این کار را می­توان با تبدیل و ترجمه پرس­و­جوی زبان طبیعی به یک پرس­و­جو مبتنی بر گراف (به عنوان مثال، با استفاده ازSPARQL ) و سپس استفاده از اطلاعات بازیابی شده برای پاسخ به سؤال انجام داد.

4.تولید دانش مبتنی بر راهنمایی گراف: با ترکیب قابلیت‌های تولید مدل‌های زبانی بزرگ با اطلاعات ساختاریافته در گراف­های دانش، می‌توان متون دقیق­تر و مرتبط‌تری را تولید کرد. به عنوان مثال، هنگام ایجاد خلاصه یا توصیفی از یک موجودیت، مدل می­تواند اطلاعات برگرفته از گراف دانش را اولویت­بندی کند تا از صحت واقعی اطلاعات بدست آمده اطمینان حاصل شود.

5.مدل‌های ترکیبی: توسعه مدل‌های ترکیبی که هر دو مؤلفه مبتنی بر گراف و مبتنی بر شبکه عصبی را در­بر­می‌گیرد، می‌تواند از نقاط قوت هر دو رویکرد استفاده کند. به عنوان مثال، شبکه‌های عصبی گراف (GNN) می‌توانند برای یادگیری بازنمون‌های پنهان داده‌های ساختاریافته گراف مورد استفاده قرار بگیرند تا با مدل‌های زبانی بزرگ برای وظایف پردازش زبان طبیعی ادغام شوند.

بهبود سیستم­های گراف دانش با مدل­های زبانی بزرگ

بهبود سیستم‌های گراف دانش برای سازگاری بهتر با مدل‌های زبانی بزرگ می‌تواند عملکرد پردازش زبان طبیعی را افزایش دهد. در ادامه چند استراتژی برای سازگاری بیشتر گراف­ های دانش با مدل­های زبانی بزرگ پیشنهاد می‌شود:

1.ایجاد توصیفات زبان طبیعی: اطلاعات ساختار­یافته در گراف­های دانش به جملات یا پاراگراف­های زبان طبیعی تبدیل شوند. این کار باعث می‌شود که مدل‌های زبانی بزرگ بتوانند دانش نهفته در گراف­ها را به شیوه­ای ساده ­تر در طول پیش‌آموزش و تنظیم دقیق ترکیب کنند.

2.گسترش و به روز­رسانی گراف­های دانش: گراف دانش به طور منظم با اطلاعات جدید و مرتبط به روز گردد تا اطمینان حاصل شود که مدل زبانی می تواند به آخرین و دقیق­ترین داده­ها هنگام کار با گراف دسترسی داشته باشد. این کار شامل استخراج خودکار اطلاعات از منابع متنی یا ترکیب داده­ها از سایر پایگاه­های داده ساختاریافته است.

3.بهبود تکنیک­های پرس­و­جوی گراف: باید روش­هایی برای ترجمه پرس­و­جوهای زبان طبیعی به پرس­وجو­های مبتنی بر گراف، مانند استفاده از الگوریتم­های پیشرفته­تر برای پیوند موجودیت، استخراج رابطه، و تولید پرس­و­جو ایجاد شود. این کار به مدل‌های زبانی بزرگ امکان می‌دهد تا در طول استنتاج، گراف­های دانش را به طور مؤثرتری مورد جستجو قرار دهند.

4.بهبود ابهام­زدایی موجودیت: باید فرآیندهای ابهام­زدایی موجودیت و پیوند در گراف دانش را بهبود بخشید تا اطمینان حاصل شود که مدل می تواند به طور دقیق موجودیت­های ذکر شده در متن را با گره­های مربوطه آنها در گراف شناسایی و مرتبط کند. این کار را می­توان با استفاده از تکنیک­های پیشرفته ابهام­زدایی و ترکیب ویژگی­های اضافی، مانند بافت و اطلاعات هم­رخداد به دست آورد.

5.توسعه تعبیه‌های مبتنی بر گراف: باید تعبیه‌هایی از گراف دانش را ایجاد کرد که به راحتی با تعبیه‌هایی که توسط مدل‌های زبانی بزرگ آموخته می‌شوند، یکپارچه شوند. این کار را می توان با استفاده از شبکه های عصبی گراف (GNN) یا سایر روش­های یادگیری بازنمون مبتنی بر گراف انجام داد. سپس می‌توان از این تعبیه‌ها برای غنی‌سازی درک مدل زبان- از موجودیت‌ها و روابط آن­ها- استفاده کرد.

6.بهینه­ سازی ساختار و ذخیره­سازی گراف: بهتر است ساختار و ذخیره­سازی گراف­های دانش بهینه شوند تا کارآمدتر و مقیاس­پذیرتر شوند و امکان جستجوی سریع­تر و ادغام بهتر با مدل­های زبانی بزرگ فراهم گردد. این کار شامل تمرکز بر پایگاه­های داده گراف کارآمدتر، تکنیک­های نمایه­سازی یا روش­های فشرده سازی است.

7.تشویق میان‌کنش­پذیری و استانداردها: توسعه و ارتقای استانداردهایی برای بازنمون گراف دانش، پرس­و­جو و یکپارچه­سازی برای تسهیل تعامل یکپارچه بین گراف­های دانش و مدل­های زبانی بزرگ دارای اهمیت است. این کار می­تواند شامل فرمت های داده استاندارد، زبان­های پرس­و­جو و واسط کاربری برنامه­های کاربردی (API) باشد.

بهبود مدل‌های زبانی بزرگ برای سازگاری بهتر با گراف­های دانش

بهبود مدل‌های زبانی بزرگ برای سازگاری بهتر با گراف­های دانش می‌تواند منجر به بهبود عملکرد در کارهایی شود که نیاز به دانش ساختاریافته و استدلال دارند. در اینجا چند استراتژی برای سازگاری بیشتر مدل­های زبانی بزرگ با گراف­های دانش ذکر می­‌شود:

1.ترکیب داده­های ساختاریافته در طول آموزش: همان طور که گذشت بهتر است دانش برگرفته از گراف­های دانش به مرحله پیش­آموزش مدل زبانی بزرگ منتقل شود. این کار را می­توان با تبدیل سه­گانه گراف دانش به جملات زبان طبیعی یا تولید متن ترکیبی که حاوی اطلاعات گراف دانش است، انجام داد.

2.طراحی معماری­های مبتنی بر گراف: پیشنهاد می­شود معماری مدل زبانی با تمرکز بر آگاهی بیشتر از ساختارهای گراف اصلاح شوند. این کار می‌تواند شامل یکپارچه‌سازی شبکه‌های عصبی گراف یا دیگر لایه‌های مبتنی بر گراف برای پردازش اطلاعات ساختاریافته باشد.

3.تنظیم دقیق با وظایف مبتنی بر گراف: باید مدل زبانی با وظایفی که مستلزم استدلال با گراف­های دانش است، تنظیم دقیق شود. به عنوان مثال، مدل برای پیش‌بینی روابط یا موجودیت‌های گمشده در گراف یا انجام وظایف پیش‌بینی پیوند و تفکیک موجودیت آموزش ببیند.

4.بهبود پیوند موجودیت و ابهام‌زدایی: افزایش توانایی مدل برای شناسایی و پیوند موجودیت‌ها در متن به گره‌های مربوطه آن­ها در گراف دانش باید مورد توجه قرار گیرد. این هدف با ترکیب کردن تکنیک­های پیشرفته پیوند موجودیت و ابهام­زدایی در طول آموزش یا تنظیم دقیق به دست خواهد آمد.

5.طراحی روش‌هایی با هدف استدلال مبتنی بر گراف: باید الگوریتم‌ها و تکنیک‌هایی طراحی شوند که مدل‌های زبانی بزرگ را قادر می‌سازد تا استدلال و استنتاج را با استفاده از ساختارهای گراف دانش ایجاد کنند. این کار می­تواند شامل ترجمه پرس­و­جوهای زبان طبیعی به پرس و جوهای مبتنی بر گراف و همچنین توسعه رویکردهایی برای ترکیب استدلال مبتنی بر گراف با استدلال مبتنی بر متن باشد

6. ادغام تعبیه­ های گراف: گنجاندن تعبیه­های موجودیت­ها و روابط گراف دانش در مدل زبانی بزرگ ضروری است. این تعبیه‌ها می‌توانند با استفاده از شبکه‌های عصبی گراف یا سایر روش‌های یادگیری بازنمون گراف آموزش ببینند و برای غنی‌سازی درک مدل از موجودیت‌ها و روابط آنها مورد استفاده قرار گیرند.

7.تشويق تبيين­پذيري و تفسيرپذيري: باید توسعه روش­هایی مدنظر قرارگیرند كه به مدل زبانی بزرگ اجازه مي­دهد تا توضيحاتي را براي استدلال و پيش­بيني­ های خود بر اساس گراف دانش ايجاد كند. این هدف می تواند به کاربران کمک کند تا بفهمند مدل چگونه از اطلاعات ساختار­یافته گراف دانش استفاده می­کند و همچنین می­ تواند به اشکال­زدایی و اصلاح مدل کمک کند.

نتیجه­ گیری:

با ترکیب داده‌های گراف دانش در مدل‌های زبانی مانند ChatGPT، مدل می‌تواند به انبوهی از اطلاعات پس‌زمینه و بافت دسترسی داشته باشد و به آن اجازه می‌دهد متنی با درک و بافت عمیق­تری تولید کند. گراف­های دانش می­توانند اطلاعات دقیقی در مورد هر موضوع خاصی ارائه دهند که مدل‌های زبانی می‌توانند آن را در تولید متن خود بگنجانند و در نتیجه خروجی آموزنده و دقیق تر را به همراه داشته باشند. گراف­های دانش روشی ساختاریافته برای پیوند دادن مفاهیم به یکدیگر ارائه می‌کنند و به مدل‌های زبانی اجازه می‌دهند تا بر اساس اطلاعاتی که ارائه شده است استنتاج و نتیجه‌گیری کنند، بنابراین قابلیت‌های استدلال مدل با چنین ترکیبی بهبود بخشیده می­شود.

با استفاده از گراف دانش، ارائه‌دهندگان ربات گفتگو می‌توانند تجربه‌های ربات گفتگوی شخصی‌سازی شده را برای مشتریان خود ایجاد کنند، همچنین با استفاده از تاریخچه مرور کاربر، علایق و داده‌های جمعیت شناختی برای ارائه توصیه‌ها و پاسخ‌های شخصی بهره ببرد. گراف­های دانش می­توانند حجم زیادی از داده­ها را ذخیره کنند، که به ارائه­دهندگان چت­بات اجازه می­دهد تا ربات­گفتگو را برای رسیدگی به تعداد زیادی از کاربران و پرس­و­جوها مقیاس کنند. در مقابل، ارائه دهندگان ربات­ گفتگو که بر درک زبان طبیعی تمرکز می­کنند ممکن است سطح یکسانی از عمق، استدلال و دقت را ارائه ندهند. علاوه بر این، ممکن است از نظر مقیاس پذیری و شخصی­ سازی محدودیت‌هایی داشته باشند.

به طور کلی، رویکردهای ذکرشده می‌توانند به مدل‌های زبانی بزرگ کمک کنند تا از دانش ساختاریافته در گراف­های دانش بهره ببرند و منجر به بهبود عملکرد در وظایفی شود که به استدلال نیاز دارند. با تمرکز بر استراتژی‌های ارائه­ شده، می‌توان مدل‌های زبانی بزرگ را با گراف­های دانش سازگارتر ساخت، که منجر به بهبود عملکرد در کارهایی می‌شود که نیازمند استدلال، بازیابی اطلاعات دقیق و درک عمیق‌تر از روابط بین موجودیت‌ها هستند. از طرفی دیگر، با اجرای این استراتژی‌ها، سیستم‌های گراف دانش را می‌توان با مدل‌های زبانی بزرگ سازگارتر کرد، که منجر به بهبود عملکرد در وظایف پردازش زبان طبیعی شوند. درنتیجه، ادغام گراف­های دانش با مدل­های زبانی بزرگ مانند چت­ جی­ پی ­تی ضروری به نظر می­رسد تا چالش درک بافت، تردید در صحت اطلاعات، و ناسازگاری­ها نیز رفع شود و استدلال معنایی و هوش مصنوعی معنایی به توسعه و بلوغ بیشتری برسند.

شهبازی، علیرضا . « ضرورت هم‌افزایی گراف­‌های دانش و مدل­‌های زبانی بزرگ (LLM)».  ستون مقاله های روز لیزنا: شماره 10،  2تیرماه 1402.

-----------------------------

منابع:

Anand, Ashesh (2023). Semantic AI: Applications, Advantages, and Disadvantages. Available at: https://www.analyticssteps.com/blogs/semantic-ai-applications-advantages-and-disadvantages

Cagle, Kurt (2023). An Interview with ChatGPT About Knowledge Graphs. Available at: https://thecaglereport.com/2023/04/02/an-interview-with-chatgpt-about-knowledge-graphs/

Isop, Marc (2023). Why should you combine ChatGPT with Knowledge Graphs? Available at: https://www.ontotext.com/blog/why-should-you-combine-chatgpt-with-knowledge-graphs/amp/

Oxford semantic technologies (2023). ChatGPT’s ‘Snow White’ Problem: The Danger of Common Knowledge. Available at: https://www.oxfordsemantic.tech/blog/chatgpts-snow-white-problem-the-danger-of-common-knowledge

درباره نویسنده

علیرضا شهبازی، در سال 1385 در المپیاد کشوری فیزیک مدال طلا کسب کرد و با ورود به تیم کشوری المپیاد فیزیک، در سال 2007 مدال برنز المپیاد جهانی فیزیک را در مقطع دانش‌آموزی بدست آورد. سپس در مقطع کارشناسی در رشته مهندسی برق دانشگاه صنعتی شریف به تحصیل پرداخت و پس از اتمام آن، در حالی که جزء استعدادهای درخشان رشته بود و می‌توانست بدون کنکور، مقطع ارشد را ادامه دهد راهی حوزه علمیه قم شد. شهبازی پس از گذراندن دروس متداول حوزوی در سال 1397 زیر نظر دکتر بهروز مینایی بیدگلی و در کنار جمعی از نخبگان حوزوی و دانشگاهی به شکل‌گیری کلان پروژه هوش مصنوعی و علوم اسلامی کمک کرد و در سال 1399 گروه برهان را در زمینه بازنمایی و استنتاج ماشینی در آزمایشگاه داده کاوی دانشگاه علم و صنعت، بنیان نهاد. این گروه که در آستانه ثبت به عنوان یک شرکت دانش‌بنیان می‌باشد تا کنون دستاوردهای متعددی را در زمینه بازنمایی و استنتاج ماشینی داشته است. (https://borhan-onto.ir/)

[1] این آدرس ایمیل توسط spambots حفاظت می شود. برای دیدن شما نیاز به جاوا اسکریپت دارید