شبکه‌های تولیدی کسرهای مستمر (CoFrGeNets): جایگزینی استخوان‌بندی مدل‌های مبتنی بر ترنسفورمر

شرح خبر

محققان پژوهشگاه آی‌بی‌ام با معرفی معماری جدیدی به نام شبکه‌های تولیدی کسرهای مستمر (CoFrGeNets) توانسته‌اند اجزای اصلی مدل‌های مبتنی بر ترنسفورمر، مانند مکانیسم توجه چندسر و شبکه‌های پیشرو، را با ساختارهایی مبتنی بر کسرهای مستمر جایگزین کنند. این رویکرد که در کنفرانس بین‌المللی یادگیری ماشین (ICML 2024) در سئول ارائه شد، امکان ساخت مدل‌های هوش مصنوعی سبکتر، کارآمدتر و با پارامترهای کمتر را فراهم می‌کند، بدون آنکه عملکرد رقابتی آنها کاهش یابد. کسرهای مستمر، به عنوان یک نمایش ریاضی فشرده، قادرند توابع پیچیده را با پارامترهای کمتری نسبت به معماری‌های سنتی تقلید کنند. نتایج آزمایش‌ها بر روی مدل‌هایی مانند GPT2-xl و Llama-3.2B نشان می‌دهد که CoFrGeNets در برخی موارد عملکرد بهتری نسبت به ترنسفورمرهای سنتی دارند، ضمن آنکه مصرف انرژی و زمان آموزش را به طور قابل توجهی کاهش می‌دهند. پژوهشگران آی‌بی‌ام معماری جدیدی به نام CoFrGeNets را معرفی کردند که از کسرهای مستمر برای جایگزینی اجزای اصلی مدل‌های ترنسفورمر استفاده می‌کند. این شبکه‌ها با استفاده از ساختارهای ریاضی فشرده، توانایی بیان توابع پیچیده را با پارامترهای کمتری فراهم می‌کنند. هدف اصلی، کاهش مصرف منابع محاسباتی و انرژی در مدل‌های زبانی بزرگ است، بدون آنکه عملکرد آنها تحت تاثیر قرار گیرد. این رویکرد در مقاله‌ای جدید و در کنفرانس ICML 2024 ارائه شد. آزمایش‌ها نشان داد که CoFrGeNets در برخی موارد عملکرد بهتری نسبت به مدل‌های سنتی مانند GPT2-xl دارد. این نوآوری می‌تواند مسیر جدیدی برای طراحی مدل‌های کارآمدتر و مقیاس‌پذیرتر باز کند. این پژوهش اهمیت زیادی دارد زیرا برای اولین بار نشان می‌دهد که می‌توان معماری‌های جایگزینی برای ترنسفورمرها ارائه کرد که نه تنها کارآمدتر هستند، بلکه در برخی موارد عملکرد بهتری نیز دارند. این امر می‌تواند به کاهش وابستگی حوزه هوش مصنوعی به معماری‌های سنتی منجر شود و راه را برای توسعه مدل‌های سبکتر و مقیاس‌پذیرتر هموار کند. علاوه بر این، استفاده از کسرهای مستمر به عنوان پایه ریاضی، امکان طراحی مدل‌هایی با پیچیدگی کمتر و مصرف انرژی پایین‌تر را فراهم می‌کند که برای کاربردهای صنعتی و پژوهشی حائز اهمیت است. این نوآوری می‌تواند تاثیر قابل توجهی بر صنعت هوش مصنوعی بگذارد، چرا که شرکت‌ها قادر خواهند بود مدل‌های قدرتمندی را با هزینه‌های محاسباتی و انرژی کمتری توسعه دهند. این امر می‌تواند منجر به کاهش هزینه‌های عملیاتی و افزایش دسترسی به فناوری‌های پیشرفته هوش مصنوعی برای کسب‌وکارهای کوچک‌تر شود. علاوه بر این، معماری‌های جدید می‌توانند فرصت‌های تجاری جدیدی را برای شرکت‌هایی مانند آی‌بی‌ام ایجاد کنند که در حال حاضر در خط مقدم تحقیقات هوش مصنوعی قرار دارند. ایران می‌تواند از این پیشرفت‌ها در حوزه هوش مصنوعی بهره‌مند شود، به ویژه در زمینه‌های پژوهشی و صنعتی که نیاز به مدل‌های کارآمد و کم‌مصرف دارند. با توجه به محدودیت‌های سخت‌افزاری و محاسباتی در کشور، استفاده از معماری‌هایی مانند CoFrGeNets می‌تواند به پژوهشگران و شرکت‌های ایرانی کمک کند تا مدل‌های پیشرفته‌ای را با منابع محدودتر توسعه دهند. این امر می‌تواند به رشد اکوسیستم هوش مصنوعی در ایران کمک کند. این پژوهش می‌تواند تاثیراتی بر قوانین و مقررات مربوط به هوش مصنوعی داشته باشد، به ویژه در زمینه‌های مالکیت فکری و استانداردهای فنی. معماری‌های جدید ممکن است نیاز به بازنگری در قوانین مربوط به ثبت اختراع و حفاظت از حقوق مالکیت فکری داشته باشند. علاوه بر این، استفاده از مدل‌های کارآمدتر می‌تواند به کاهش مصرف انرژی و تاثیرات زیست‌محیطی کمک کند، که ممکن است در آینده تحت مقررات سخت‌گیرانه‌تری قرار گیرد. این پژوهش بیشتر جنبه فنی و علمی دارد و تاثیر مستقیم بر روابط ژئوپلیتیکی ندارد. با این حال، پیشرفت در حوزه هوش مصنوعی می‌تواند به طور غیرمستقیم بر رقابت‌های فناوری بین کشورها تاثیر بگذارد. معماری جدید CoFrGeNets آی‌بی‌ام با استفاده از کسرهای مستمر، مدل‌های هوش مصنوعی سبکتر و کارآمدتری را ممکن می‌سازد. این نوآوری در ICML 2024 ارائه شد.

این صفحه خلاصه و تحلیل فارسی خبر را نمایش می‌دهد. نسخه کامل/اصلی از طریق لینک منبع در دسترس است.