چت‌بات‌های هوش مصنوعی مانند ChatGPT در سال‌های اخیر به ابزاری محبوب و فراگیر تبدیل شده‌اند، به طوری که بسیاری از کاربران، از جمله دانشجویان و متخصصان برنامه‌نویسی، از آن‌ها برای کسب اطلاعات و حل مسائل فنی استفاده می‌کنند. اما آیا این اعتماد همواره بجاست؟

​

 

چت‌بات‌های هوش مصنوعی مانند ChatGPT در سال‌های اخیر به ابزاری محبوب و فراگیر تبدیل شده‌اند، به طوری که بسیاری از کاربران، از جمله دانشجویان و متخصصان برنامه‌نویسی، از آن‌ها برای کسب اطلاعات و حل مسائل فنی استفاده می‌کنند. اما آیا این اعتماد همواره بجاست؟ یک پژوهش جدید که توسط تیمی از دانشمندان علوم کامپیوتر در دانشگاه پردو انجام شده، نگاهی عمیق‌تر به دقت این چت‌بات‌ها در پاسخ به سؤالات برنامه‌نویسی انداخته است.

 

متدولوژی پژوهش و یافته‌های کلیدی:

 

این گروه تحقیقاتی، برای ارزیابی دقت ChatGPT، روشی مبتنی بر واقعیت‌سنجی را به کار گرفتند. آن‌ها ۵۱۷ سؤال برنامه‌نویسی را از وب‌سایت معتبر StackOverflow (یک انجمن آنلاین تخصصی برای توسعه‌دهندگان) استخراج کرده و آن‌ها را به ChatGPT ارائه دادند. هدف این بود که تعداد پاسخ‌های صحیح و غلط هوش مصنوعی را در این مجموعه سؤالات حیاتی، اندازه‌گیری کنند.

نتایج این بررسی، که در مجموعه مقالات کنفرانس CHI در مورد عوامل انسانی در سیستم‌های محاسباتی (CHI 2024) نیز ارائه شد، حاکی از یک واقعیت قابل تأمل است: ChatGPT تنها در ۵۲ درصد از موارد، پاسخ صحیح به سؤالات برنامه‌نویسی ارائه کرده است. این آمار نشان می‌دهد که تقریباً نیمی از پاسخ‌های تولید شده توسط این چت‌بات، حاوی اطلاعات نادرست یا راه‌حل‌های اشتباه بوده‌اند.

​

چالش تشخیص نادرستی‌ها در LLMها:

 

این تحقیق مجدداً بر یک چالش مهم در رابطه با استفاده از مدل‌های زبان بزرگ (LLMs) تأکید می‌کند: با وجود اینکه این برنامه‌ها می‌توانند حجم عظیمی از اطلاعات را پردازش و ارائه دهند، تشخیص زمان‌هایی که پاسخ‌های اشتباه می‌دهند، همیشه آسان نیست. این مسئله به‌ویژه در حوزه‌های تخصصی مانند برنامه‌نویسی که دقت کد و منطق اهمیت حیاتی دارد، می‌تواند منجر به خطاها و مشکلات جدی شود.

این یافته‌ها به کاربران هوش مصنوعی، به‌خصوص برنامه‌نویسان، توصیه می‌کند که در هنگام استفاده از ابزارهایی مانند ChatGPT، همواره پاسخ‌ها را با دقت مورد بازبینی و تأیید قرار دهند. این پژوهش گامی مهم در جهت درک محدودیت‌های فعلی هوش مصنوعی در حوزه‌های تخصصی و تأکید بر لزوم بررسی انتقادی خروجی‌های آن است.

​