نقش مدل‌های بزرگ زبانی در شناسایی مغالطات منطقی: گامی به سوی ارتقای دقت و شفافیت در فرایند داوری همتا | ||
| تحقیقات کتابداری و اطلاع‌رسانی دانشگاهی | ||
| مقاله 5، دوره 58، شماره 3، پاییز 1403، صفحه 1-20 اصل مقاله (416.25 K) | ||
| نوع مقاله: مقاله پژوهشی | ||
| شناسه دیجیتال (DOI): 10.22059/jlib.2025.387796.1767 | ||
| نویسندگان | ||
| بابک سهرابی* 1؛ سیدمحمدعلی موسویان2؛ امیر مانیان3؛ لطف الله نبوی4 | ||
| 1نویسنده مسئول، گروه مدیریت فناوری اطلاعات، دانشکده مدیریت صنعتی و فناوری، دانشکدگان مدیریت، دانشگاه تهران، تهران، ایران | ||
| 2دانشجوی دانشکده مدیریت دانشگاه تهران | ||
| 3استاد دانشکده مدیریت دانشگاه تهران | ||
| 4استاد گروه فلسفه و منطق، دانشکده علوم انسانی، دانشگاه تربیت مدرس | ||
| چکیده | ||
| هدف : این پژوهش به بررسی نقش مدل‌های بزرگ زبانی در شناسایی مغالطات منطقی در فرایند داوری همتا پرداخته و تأثیر این فناوری‌ها بر بهبود دقت، شفافیت و قابلیت اطمینان مقالات علمی را مورد ارزیابی قرار می‌دهد. همچنین، امکان به‌کارگیری این مدل‌ها برای کاهش بار کاری داوران انسانی و استانداردسازی ارزیابی‌ها بررسی شده است. روش پژوهش: سه آزمایش متفاوت در پژوهش حاضر طراحی و اجرا شد که شامل شناسایی و طبقه‌بندی مغالطات منطقی، حل مسائل استدلالی و ارزیابی متون علمی با طول و پیچیدگی متغیر بود. از مجموعه داده‌های استاندارد نظیر الک‌دب60-20 و سؤالات بخش منطق استعداد تحصیلی در آزمون دکتری ایران استفاده شد. مدل‌های زبانی پیشرفته مانند چت‌جی‌پی‌تی نسخه‌های o4 وo1 با روش‌های یادگیری ماشین کلاسیک نظیر ماشین بردار پشتیبان و جنگل تصادفی مقایسه شدند. مدل‌ها با استفاده از روش‌های بهینه‌سازی و یادگیری بدون نمونه برای تحلیل داده‌ها آماده شدند. یافته‌ها: نتایج آزمایش‌ها نشان داد که چت‌جی‌پی‌تی o1 در شناسایی مغالطات منطقی به دقت 98.1 درصد و در حل مسائل منطقی آزمون استعداد تحصیلی کنکور دکتری به دقت 100 درصد دست یافت. در مقایسه، مدل‌های سنتی یادگیری ماشین، مانند ماشین بردار پشتیبان و جنگل تصادفی، به ترتیب تنها دقت 48 درصد و 49 درصد داشتند. مدل‌های زبانی میسترال و لاما نیز دقتی بین 76 درصد تا 5/78 درصد در شناسایی مغالطات ارائه کردند. در تحلیل متون طولانی‌تر، چت‌جی‌پی‌تی o1 دقت 100 درصد را در شناسایی و نام‌گذاری انواع مغالطات ثبت کرد، در حالی که مدل‌های دیگر توانایی کمتری نشان دادند. همچنین مدل‌های زبانی پیشرفته در تحلیل استدلال‌های پیچیده و ارائه بازخوردهای ساختاریافته بسیار مؤثر بودند. نتیجه‌گیری: مدل‌های بزرگ زبانی ، به ویژه چت‌جی‌پی‌تیo1، توانایی بالایی در شناسایی و تحلیل مغالطات منطقی و بهبود فرایند داوری همتا دارند. این مدل‌ها با کاهش خطاهای انسانی، افزایش سرعت داوری و ارائه تحلیل‌های دقیق، نقشی کلیدی در بهبود کیفیت مقالات علمی ایفا می‌کنند. به‌کارگیری این فناوری‌ها می‌تواند به تقویت انسجام و شفافیت در فرایندهای علمی منجر شود، هرچند نظارت نهایی داوران انسانی برای ترکیب تخصص انسانی و هوش مصنوعی ضروری است. | ||
| کلیدواژه‌ها | ||
| مدل‌های بزرگ زبانی؛ مغالطات؛ داوری همتا | ||
| مراجع | ||
|
| ||
|
آمار تعداد مشاهده مقاله: 598 تعداد دریافت فایل اصل مقاله: 454 |
||