GPU یکی از اصطلاحاتی است که تقریباً در تمام بحث‌های مربوط به هوش مصنوعی، یادگیری ماشین و مدل‌های زبانی دیده می‌شود. هنگام آموزش یک مدل، اجرای Stable Diffusion، استفاده از مدل‌های زبانی محلی یا خرید یک سیستم مناسب برای برنامه‌نویسی AI معمولاً با پرسش‌هایی مانند این روبه‌رو می‌شویم:

• GPU چیست؟
• تفاوت CPU و GPU چیست؟
• آیا برای هوش مصنوعی حتماً به کارت گرافیک نیاز داریم؟
• VRAM چیست و چه مقدار از آن کافی است؟
• CUDA چه ارتباطی با هوش مصنوعی دارد؟
• آیا کارت گرافیک گیمینگ برای AI مناسب است؟
• برای اجرای یک مدل ۷ یا ۱۳ میلیارد پارامتری چقدر حافظه لازم است؟
• خرید GPU بهتر است یا استفاده از API هوش مصنوعی؟

پاسخ کوتاه این است که بیشتر محاسبات مدل‌های هوش مصنوعی شامل تعداد بسیار زیادی عملیات ریاضی مشابه است که می‌توان آن‌ها را به‌صورت موازی انجام داد. GPU دقیقاً برای چنین الگوی محاسباتی مناسبی است.

بااین‌حال، انتخاب سخت‌افزار هوش مصنوعی فقط به نام کارت گرافیک یا ظرفیت VRAM محدود نمی‌شود. نوع مدل، دقت عددی، طول ورودی، تعداد کاربران هم‌زمان، پهنای باند حافظه و نرم‌افزارهای پشتیبانی‌شده نیز در عملکرد واقعی اثر دارند.

GPU چیست؟

GPU مخفف عبارت Graphics Processing Unit و به معنای «واحد پردازش گرافیکی» است.

این پردازنده در ابتدا برای پردازش گرافیک رایانه‌ای، نمایش تصاویر و اجرای بازی‌ها توسعه یافت. تولید یک تصویر سه‌بعدی به محاسبه هم‌زمان تعداد زیادی نقطه، رنگ، بافت، ماتریس و بردار نیاز دارد. معماری GPU برای انجام همین محاسبات موازی طراحی شده است.

پژوهشگران به‌مرور متوجه شدند همین توانایی در اجرای موازی عملیات ریاضی برای کاربردهای دیگری نیز مفید است؛ از جمله:

• یادگیری ماشین
• شبکه‌های عصبی
• پردازش تصویر
• شبیه‌سازی علمی
• تحلیل داده‌های حجیم
• پردازش ویدیو
• مدل‌های زبانی بزرگ
• تولید تصویر و ویدیو با هوش مصنوعی

امروزه GPU فقط یک قطعه برای نمایش تصویر یا اجرای بازی نیست، بلکه بخش مهمی از زیرساخت محاسبات هوش مصنوعی محسوب می‌شود.

چرا هوش مصنوعی به GPU نیاز دارد؟

بخش بزرگی از فعالیت یک شبکه عصبی به ضرب ماتریس‌ها و عملیات روی Tensorها مربوط است.

برای مثال، در یک لایه ساده شبکه عصبی رابطه زیر را داریم:

Y=XW+bY = XW + b

در این رابطه:

• XX ورودی است.
• WW ماتریس وزن‌های مدل است.
• bb بایاس است.
• YY خروجی لایه است.

اگر مدل میلیون‌ها یا میلیاردها پارامتر داشته باشد، این عملیات باید بارها روی حجم بزرگی از داده تکرار شود. بسیاری از این محاسبات مستقل از یکدیگرند و قابلیت اجرای موازی دارند.

GPU می‌تواند تعداد زیادی عملیات مشابه را هم‌زمان انجام دهد. به همین دلیل، در بسیاری از بارهای کاری هوش مصنوعی از CPU سریع‌تر است.

مستندات NVIDIA نیز ضرب ماتریسی را پایه بسیاری از عملیات یادگیری عمیق، از جمله لایه‌های Fully Connected، کانولوشن و شبکه‌های بازگشتی معرفی می‌کند.

البته این موضوع به معنای سریع‌تر بودن GPU در تمام برنامه‌ها نیست. برنامه‌هایی که شامل تصمیم‌گیری‌های متوالی، شاخه‌های شرطی فراوان یا پردازش‌های سبک هستند ممکن است همچنان روی CPU عملکرد مناسبی داشته باشند.

تفاوت CPU و GPU چیست؟

CPU و GPU هر دو پردازنده‌اند، اما برای الگوهای محاسباتی متفاوتی بهینه شده‌اند.

در یک سامانه واقعی معمولاً CPU و GPU با هم کار می‌کنند:

1. CPU برنامه را اجرا می‌کند.
2. داده‌ها را از دیسک یا شبکه می‌خواند.
3. داده‌ها را آماده و دسته‌بندی می‌کند.
4. Tensorها را به حافظه GPU انتقال می‌دهد.
5. GPU عملیات سنگین مدل را انجام می‌دهد.
6. نتیجه برای ادامه پردازش به برنامه بازگردانده می‌شود.

مدل برنامه‌نویسی CUDA نیز سیستم را به‌صورت ترکیبی از Host و Device توضیح می‌دهد: CPU و حافظه متصل به آن Host هستند و GPU و حافظه مربوط به آن Device نامیده می‌شوند.

آیا GPU همان کارت گرافیک است؟

این دو عبارت معمولاً به‌جای یکدیگر استفاده می‌شوند، اما دقیقاً یکسان نیستند.

GPU تراشه پردازشی است. کارت گرافیک یک قطعه کامل سخت‌افزاری محسوب می‌شود که ممکن است شامل اجزای زیر باشد:

• تراشه GPU
• حافظه VRAM
• مدار تغذیه
• سیستم خنک‌کننده
• رابط اتصال به مادربرد
• خروجی‌های تصویر

در لپ‌تاپ‌ها، تلفن‌های همراه و بعضی پردازنده‌ها ممکن است GPU به‌صورت یکپارچه داخل تراشه اصلی قرار گرفته باشد و حافظه مستقلی نداشته باشد.

پردازش موازی در GPU چگونه انجام می‌شود؟

فرض کنید می‌خواهیم روشنایی یک تصویر دارای یک میلیون پیکسل را تغییر دهیم.

یک روش ترتیبی می‌تواند هر پیکسل را پس از پیکسل قبلی پردازش کند. در روش موازی، تعداد زیادی پیکسل به‌طور هم‌زمان پردازش می‌شوند.

در شبکه‌های عصبی نیز اتفاق مشابهی رخ می‌دهد. عناصر ماتریس، نمونه‌های یک Batch یا بخش‌هایی از یک Tensor می‌توانند هم‌زمان وارد محاسبه شوند.

در معماری CUDA، Thread واحد بنیادی اجرای موازی است. Threadها در گروه‌هایی اجرا می‌شوند و اگر مسیرهای شرطی متفاوتی داشته باشند، کارایی پردازش موازی می‌تواند کاهش پیدا کند.

بنابراین داشتن GPU به‌تنهایی تضمین نمی‌کند که هر برنامه‌ای سریع‌تر شود. الگوریتم و نحوه استفاده نرم‌افزار از موازی‌سازی نیز اهمیت دارد.

CUDA چیست؟

CUDA پلتفرم محاسبات شتاب‌یافته NVIDIA است که لایه نرم‌افزاری لازم برای استفاده برنامه‌ها از توان GPUهای این شرکت را فراهم می‌کند.

CUDA شامل اجزایی مانند موارد زیر است:

• مدل برنامه‌نویسی GPU
• کامپایلر
• کتابخانه‌های محاسباتی
• Runtime
• ابزارهای Debug و Profiling
• APIهای مدیریت حافظه و اجرای Kernel

توسعه‌دهندگان می‌توانند مستقیماً با زبان‌هایی مانند C++ و Python برای CUDA برنامه بنویسند یا از کتابخانه‌هایی مانند PyTorch استفاده کنند.

آیا برای کار با GPU باید CUDA یاد بگیریم؟

در بیشتر پروژه‌های کاربردی هوش مصنوعی، خیر.

فریم‌ورک‌هایی مانند PyTorch و TensorFlow جزئیات سطح پایین CUDA را مدیریت می‌کنند. معمولاً کافی است:

1. نسخه سازگار Driver و کتابخانه را نصب کنید.
2. مدل و Tensorها را به GPU انتقال دهید.
3. محاسبات را با همان API سطح بالای فریم‌ورک انجام دهید.

یادگیری مستقیم CUDA بیشتر برای افرادی مفید است که می‌خواهند:

• Kernel اختصاصی بنویسند.
• عملکرد مدل را در سطح پایین بهینه کنند.
• یک کتابخانه محاسباتی توسعه دهند.
• گلوگاه‌های حافظه و پردازش را دقیق بررسی کنند.

آیا CUDA روی تمام کارت‌های گرافیک اجرا می‌شود؟

CUDA فناوری متعلق به NVIDIA است و برای GPUهای سازگار این شرکت استفاده می‌شود.

اکوسیستم‌های دیگر نیز گزینه‌های خود را دارند. برای مثال، ROCm در برخی محیط‌ها برای GPUهای AMD استفاده می‌شود و PyTorch برای سیستم‌های Apple Silicon از Backend مبتنی بر Metal یا MPS پشتیبانی می‌کند.

پشتیبانی واقعی به ترکیب سیستم‌عامل، مدل GPU، نسخه Driver، فریم‌ورک و عملیات موردنیاز بستگی دارد. قبل از خرید سخت‌افزار باید سازگاری دقیق نرم‌افزار پروژه بررسی شود.

هسته CUDA چیست؟

CUDA Core یک واحد محاسباتی در معماری GPUهای NVIDIA است. بااین‌حال، نباید آن را مستقیماً با هسته CPU مقایسه کرد.

هسته CPU برای اجرای وظایف پیچیده و عمومی طراحی شده است، اما واحدهای محاسباتی GPU برای انجام حجم بزرگی از عملیات نسبتاً ساده و موازی به کار می‌روند.

دو GPU با تعداد CUDA Core متفاوت را نیز نمی‌توان فقط با همین عدد مقایسه کرد. عوامل زیر بر عملکرد اثر دارند:

• نسل معماری
• فرکانس
• نوع داده مورد استفاده
• تعداد و نسل Tensor Core
• پهنای باند حافظه
• ظرفیت VRAM
• توان مصرفی
• محدودیت حرارتی
• نرم‌افزار و Kernel
• اندازه Batch

Tensor Core چیست؟

Tensor Core واحد سخت‌افزاری تخصصی برای اجرای سریع بعضی عملیات ماتریسی است. این عملیات در آموزش و استنتاج شبکه‌های عصبی بسیار پرتکرارند.

Tensor Coreها می‌توانند محاسبات را با دقت‌های عددی مختلف، بسته به نسل سخت‌افزار، انجام دهند. استفاده از دقت کمتر یا Mixed Precision ممکن است باعث افزایش سرعت و کاهش مصرف حافظه شود.

مستندات NVIDIA توضیح می‌دهد که Tensor Coreها برای شتاب‌دادن به عملیات ضرب ماتریسی و کانولوشن در آموزش Mixed Precision استفاده می‌شوند.

وجود Tensor Core به این معنا نیست که تمام برنامه‌ها خودکار سریع‌تر می‌شوند. ابعاد Tensorها، نوع داده، نسخه کتابخانه و نوع عملیات باید با مسیر شتاب‌یافته سازگار باشند.

VRAM چیست؟

VRAM حافظه‌ای است که GPU برای نگهداری داده‌های موردنیاز پردازش استفاده می‌کند.

در پروژه‌های هوش مصنوعی ممکن است موارد زیر در VRAM قرار بگیرند:

• وزن‌های مدل
• ورودی‌ها
• خروجی لایه‌ها
• Activationها
• Gradientها
• وضعیت Optimizer
• KV Cache مدل زبانی
• فضای کاری Kernelها
• بافرهای موقت
• Batchهای ورودی

ظرفیت VRAM تعیین می‌کند چه مدل و چه اندازه Batch یا Context را می‌توان اجرا کرد. اگر حافظه کافی نباشد، معمولاً با خطایی مانند CUDA out of memory روبه‌رو می‌شویم.

محاسبه تقریبی حافظه وزن‌های مدل

برای تخمین اولیه حافظه وزن‌های مدل می‌توان از رابطه زیر استفاده کرد:

حافظه وزن‌ها=تعداد پارامترها×تعداد بایت هر پارامتر\text{حافظه وزن‌ها} = \text{تعداد پارامترها} \times \text{تعداد بایت هر پارامتر}

اندازه نظری هر پارامتر در قالب‌های رایج تقریباً چنین است:

برای مثال، حافظه نظری وزن‌های چند مدل فرضی را می‌توان چنین برآورد کرد:

این جدول فقط اندازه نظری وزن‌های خام را نشان می‌دهد. حافظه واقعی می‌تواند بیشتر باشد، زیرا نرم‌افزار به فضای دیگری برای KV Cache، Activationها، بافرهای موقت، سربار Quantization و مدیریت حافظه نیاز دارد.

بنابراین نمی‌توان نتیجه گرفت که یک مدل ۷ میلیارد پارامتری INT4 حتماً روی GPU دارای ۴ گیگابایت VRAM به‌راحتی اجرا می‌شود.

چرا آموزش مدل به حافظه بیشتری نیاز دارد؟

در استنتاج یا Inference، معمولاً وزن‌های مدل و وضعیت اجرای درخواست نگهداری می‌شوند. در آموزش علاوه بر وزن‌ها، موارد زیر نیز لازم‌اند:

• Gradient هر پارامتر
• Activationهای موردنیاز Backpropagation
• وضعیت Optimizer
• گاهی نسخه‌ای از وزن‌ها با دقت دیگر
• Batchهای آموزشی
• بافرهای عملیات توزیع‌شده

برای مثال، Optimizerهایی مانند Adam برای هر پارامتر چند مقدار اضافی نگه می‌دارند. به همین دلیل حافظه موردنیاز آموزش یک مدل ممکن است چند برابر حافظه خام وزن‌های آن باشد.

روش‌هایی مانند موارد زیر می‌توانند مصرف حافظه را کاهش دهند:

• Mixed Precision
• Gradient Checkpointing
• Gradient Accumulation
• Quantization-Aware Training
• LoRA و QLoRA
• تقسیم مدل میان چند GPU
• Offloading به RAM یا NVMe
• Optimizerهای کم‌حافظه

KV Cache چیست و چرا حافظه مصرف می‌کند؟

در مدل‌های زبانی مبتنی بر Transformer، هنگام تولید هر توکن لازم نیست تمام محاسبات Attention برای توکن‌های قبلی از ابتدا تکرار شوند. مقادیر Key و Value تولیدشده ذخیره می‌شوند؛ این حافظه KV Cache نام دارد.

حجم KV Cache به عواملی مانند این موارد وابسته است:

• معماری مدل
• تعداد لایه‌ها
• تعداد Attention Headها
• طول Context
• نوع داده
• اندازه Batch
• تعداد درخواست‌های هم‌زمان

بنابراین ممکن است وزن‌های یک مدل در VRAM جا شوند، اما با افزایش طول ورودی یا تعداد کاربران هم‌زمان خطای کمبود حافظه رخ دهد.

برای یک سرویس چت عمومی، ظرفیت KV Cache و تعداد درخواست‌های هم‌زمان گاهی از اندازه فایل مدل مهم‌تر است.

پهنای باند حافظه چیست؟

Memory Bandwidth نشان می‌دهد داده با چه سرعتی می‌تواند میان VRAM و واحدهای محاسباتی GPU جابه‌جا شود.

بعضی بارهای کاری بیشتر از آنکه محدود به توان محاسباتی باشند، به سرعت انتقال داده وابسته‌اند. در چنین شرایطی، GPU دارای پهنای باند حافظه بالاتر ممکن است با وجود شباهت در بعضی مشخصات، عملکرد بهتری ارائه دهد.

برای مقایسه GPU در هوش مصنوعی نباید فقط این موارد را دید:

• ظرفیت VRAM
• تعداد Core
• فرکانس
• عدد تبلیغاتی TOPS یا FLOPS

نوع حافظه، عرض گذرگاه، پهنای باند و رفتار واقعی مدل نیز مهم‌اند.

FLOPS و TOPS چه معنایی دارند؟

FLOPS تعداد عملیات ممیز شناور در ثانیه را بیان می‌کند. TOPS معمولاً برای نمایش تریلیون عملیات در ثانیه به کار می‌رود.

این اعداد فقط وقتی قابل مقایسه‌اند که شرایط مشابه باشد:

• نوع داده یکسان باشد.
• عملیات محاسباتی مشابه باشد.
• استفاده از Sparse Computing مشخص باشد.
• توان نظری و عملکرد واقعی با هم اشتباه نشوند.
• Batch و ابعاد ماتریس مناسب باشند.
• نرم‌افزار بتواند از سخت‌افزار استفاده کند.

برای مثال، عدد مربوط به INT8 را نباید مستقیماً با FP32 مقایسه کرد. عملکرد نظری نیز الزاماً در یک اپلیکیشن واقعی تکرار نمی‌شود.

تفاوت Training و Inference

آموزش یا Training

در آموزش، مدل با داده‌ها روبه‌رو می‌شود و وزن‌های آن از طریق محاسبه خطا و Backpropagation تغییر می‌کنند.

آموزش معمولاً نیازمند این موارد است:

• پردازش بیشتر
• VRAM بیشتر
• زمان طولانی‌تر
• پهنای باند حافظه بالا
• ارتباط سریع میان چند GPU در پروژه‌های بزرگ
• ذخیره Checkpoint
• مدیریت خطا و بازیابی اجرای طولانی

استنتاج یا Inference

در استنتاج، مدل آموزش‌دیده ورودی جدید را دریافت می‌کند و خروجی می‌سازد. وزن‌ها معمولاً تغییر نمی‌کنند.

در یک سرویس استنتاج، معیارهای زیر اهمیت دارند:

• زمان تولید اولین توکن
• تعداد توکن در ثانیه
• تأخیر P50 و P95
• تعداد درخواست هم‌زمان
• میزان استفاده GPU
• هزینه هر درخواست
• مصرف KV Cache
• پایداری سرویس

یک GPU مناسب آموزش الزاماً اقتصادی‌ترین گزینه برای استنتاج نیست. انتخاب باید بر اساس بار کاری واقعی انجام شود.

تفاوت GPU، TPU و NPU چیست؟

TPUهای Google مدارهای مجتمع اختصاصی یا ASIC هستند که برای شتاب‌دهی بارهای کاری یادگیری ماشین طراحی شده‌اند. مستندات Google به استفاده از TPU از طریق Compute Engine، Google Kubernetes Engine و Vertex AI اشاره می‌کند.

NPU معمولاً در دستگاه‌های کم‌مصرف برای کارهایی مانند پردازش تصویر، حذف نویز، تشخیص گفتار و اجرای مدل‌های کوچک استفاده می‌شود. توانایی واقعی آن به سخت‌افزار، SDK و عملیات پشتیبانی‌شده بستگی دارد.

آیا برای هوش مصنوعی حتماً GPU لازم است؟

خیر. نیاز به GPU به نوع پروژه بستگی دارد.

پروژه‌هایی که می‌توانند روی CPU اجرا شوند

• یادگیری مفاهیم اولیه
• مدل‌های کوچک یادگیری ماشین
• پردازش داده با Pandas و Scikit-learn
• طبقه‌بندی‌های سبک
• اجرای مدل کوچک با تعداد درخواست کم
• آزمایش منطق برنامه
• استفاده از API یک سرویس هوش مصنوعی

پروژه‌هایی که معمولاً از GPU سود می‌برند

• آموزش شبکه‌های عصبی عمیق
• Fine-tuning مدل‌های زبانی
• تولید تصویر
• تولید یا پردازش ویدیو
• پردازش هم‌زمان تعداد زیادی تصویر
• استنتاج مدل‌های بزرگ
• سرویس‌دهی به کاربران متعدد
• مدل‌های دارای Context طولانی
• محاسبات Tensor سنگین

اگر از API هوش مصنوعی استفاده کنید، مدل روی زیرساخت ارائه‌دهنده اجرا می‌شود و سرور برنامه شما الزاماً به GPU نیاز ندارد.

بررسی GPU با دستور nvidia-smi

در سیستم دارای کارت NVIDIA و Driver نصب‌شده می‌توانید دستور زیر را اجرا کنید:

nvidia-smi

این دستور معمولاً اطلاعاتی مانند موارد زیر را نمایش می‌دهد:

• نام GPU
• نسخه Driver
• نسخه CUDA قابل پشتیبانی توسط Driver
• حافظه مصرف‌شده و آزاد
• میزان استفاده GPU
• دما
• توان مصرفی
• فرایندهای فعال

نکته مهم این است که نسخه CUDA نمایش‌داده‌شده توسط nvidia-smi الزاماً همان نسخه CUDA Toolkit نصب‌شده در محیط Python نیست.

برای بررسی کامپایلر Toolkit می‌توان از دستور زیر استفاده کرد:

nvcc --version

بررسی دسترسی PyTorch به GPU

ابتدا PyTorch سازگار با محیط خود را نصب کنید. سپس کد زیر را اجرا کنید:

import torch

print("PyTorch version:", torch.__version__)
print("CUDA available:", torch.cuda.is_available())

if torch.cuda.is_available():
    print("GPU count:", torch.cuda.device_count())
    print("GPU name:", torch.cuda.get_device_name(0))

    properties = torch.cuda.get_device_properties(0)

    print(
        "Total VRAM:",
        round(properties.total_memory / 1024**3, 2),
        "GB",
    )

اگر مقدار torch.cuda.is_available() برابر False بود، موارد زیر را بررسی کنید:

• آیا GPU سازگار وجود دارد؟
• آیا Driver نصب شده است؟
• آیا نسخه صحیح PyTorch نصب شده است؟
• آیا محیط مجازی درست فعال است؟
• آیا GPU داخل Docker در دسترس Container قرار گرفته است؟
• آیا متغیرهایی مانند CUDA_VISIBLE_DEVICES دسترسی را محدود کرده‌اند؟

مستندات رسمی PyTorch بخش مستقلی برای اجرای عملیات CUDA و مدیریت Device، Stream و حافظه ارائه می‌کند.

انتقال مدل و داده به GPU در PyTorch

در PyTorch می‌توان Device را به‌صورت پویا انتخاب کرد:

import torch
from torch import nn

device = torch.device(
    "cuda" if torch.cuda.is_available() else "cpu"
)

model = nn.Sequential(
    nn.Linear(128, 256),
    nn.ReLU(),
    nn.Linear(256, 10),
).to(device)

inputs = torch.randn(64, 128, device=device)

with torch.inference_mode():
    outputs = model(inputs)

print("Device:", device)
print("Output shape:", outputs.shape)

مدل و داده باید روی Device یکسان باشند. اگر مدل روی GPU و ورودی روی CPU باشد، PyTorch خطا می‌دهد.

مثال عملی ضرب ماتریسی روی GPU

کد زیر یک ضرب ماتریسی را روی CPU و در صورت وجود، روی GPU اجرا می‌کند:

import time
import torch


size = 4096

cpu_a = torch.randn(size, size)
cpu_b = torch.randn(size, size)

start = time.perf_counter()
cpu_result = cpu_a @ cpu_b
cpu_time = time.perf_counter() - start

print(f"CPU time: {cpu_time:.4f} seconds")


if torch.cuda.is_available():
    gpu_a = cpu_a.to("cuda")
    gpu_b = cpu_b.to("cuda")

    # اجرای اولیه برای آماده‌شدن کتابخانه‌ها و حافظه
    _ = gpu_a @ gpu_b
    torch.cuda.synchronize()

    start = time.perf_counter()
    gpu_result = gpu_a @ gpu_b
    torch.cuda.synchronize()
    gpu_time = time.perf_counter() - start

    print(f"GPU time: {gpu_time:.4f} seconds")

استفاده از torch.cuda.synchronize() برای اندازه‌گیری مهم است، زیرا بسیاری از عملیات CUDA به‌صورت غیرهم‌زمان اجرا می‌شوند.

نتیجه این آزمایش به GPU، CPU، اندازه ماتریس، نسخه کتابخانه و وضعیت سیستم بستگی دارد. برای ماتریس‌های کوچک حتی ممکن است هزینه انتقال داده و راه‌اندازی عملیات، مزیت GPU را کاهش دهد.

Mixed Precision چیست؟

در محاسبات سنتی ممکن است از FP32 استفاده شود. Mixed Precision ترکیبی از دقت‌های عددی مختلف را به کار می‌گیرد تا بعضی عملیات با دقت کمتر و سرعت بیشتر انجام شوند، درحالی‌که بخش‌های حساس دقت مناسب خود را حفظ می‌کنند.

در PyTorch می‌توان از Automatic Mixed Precision استفاده کرد:

import torch
from torch import nn


device = torch.device("cuda")

model = nn.Linear(1024, 1024).to(device)
optimizer = torch.optim.AdamW(model.parameters())
scaler = torch.amp.GradScaler("cuda")

inputs = torch.randn(32, 1024, device=device)
targets = torch.randn(32, 1024, device=device)

optimizer.zero_grad(set_to_none=True)

with torch.autocast(
    device_type="cuda",
    dtype=torch.float16,
):
    predictions = model(inputs)
    loss = nn.functional.mse_loss(predictions, targets)

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

مستندات PyTorch استفاده از autocast و Gradient Scaling را برای آموزش Mixed Precision توضیح می‌دهد.

کاهش دقت باید آزمایش شود؛ زیرا همه مدل‌ها و عملیات رفتار عددی یکسانی ندارند.

Quantization چیست؟

Quantization وزن‌ها یا محاسبات مدل را از قالب‌هایی مانند FP32 و FP16 به قالب‌های کم‌دقت‌تر مانند INT8 یا INT4 تبدیل می‌کند.

مزایای احتمالی آن عبارت‌اند از:

• کاهش حافظه مدل
• افزایش سرعت استنتاج
• امکان اجرای مدل بزرگ‌تر روی سخت‌افزار محدود
• کاهش هزینه زیرساخت

در مقابل ممکن است با این چالش‌ها روبه‌رو شویم:

• افت کیفیت
• ناسازگاری بعضی عملیات
• سربار Dequantization
• نیاز به Kernel تخصصی
• تفاوت عملکرد میان GPUها
• افزایش حافظه فراتر از محاسبه نظری به‌دلیل Scale و Metadata

بنابراین عبارت «مدل INT4» به‌تنهایی برای تخمین سرعت و حافظه واقعی کافی نیست.

چرا با وجود VRAM کافی خطای کمبود حافظه می‌گیریم؟

چند علت متداول وجود دارد:

افزایش اندازه Batch

هرچه تعداد ورودی‌های هم‌زمان بیشتر شود، Activation و حافظه موقت نیز افزایش پیدا می‌کند.

Context طولانی

در مدل‌های زبانی، Context بلندتر KV Cache بیشتری مصرف می‌کند.

تکه‌تکه‌شدن حافظه

ممکن است مجموع حافظه آزاد کافی به نظر برسد، اما بلوک مناسب برای تخصیص جدید وجود نداشته باشد.

نگهداری ناخواسته Tensorها

ذخیره Tensorهای متصل به Graph محاسباتی در یک فهرست یا متغیر بلندمدت می‌تواند حافظه را حفظ کند.

استفاده نکردن از inference_mode

هنگام استنتاج باید در صورت امکان ثبت Gradient غیرفعال شود:

with torch.inference_mode():
    output = model(inputs)

درخواست‌های هم‌زمان

هر کاربر فعال می‌تواند حافظه‌ای برای ورودی، خروجی و KV Cache مصرف کند.

حافظه رزروشده فریم‌ورک

PyTorch برای افزایش کارایی از Caching Allocator استفاده می‌کند. به همین دلیل حافظه رزروشده ممکن است با حافظه فعال Tensorها برابر نباشد.

PyTorch ابزار Memory Snapshot را برای بررسی دقیق تخصیص‌های CUDA و تحلیل خطاهای Out of Memory ارائه می‌کند.

چند GPU چگونه با هم کار می‌کنند؟

مدل‌های بزرگ ممکن است در حافظه یک GPU جا نشوند یا آموزش آن‌ها روی یک GPU بیش‌ازحد طول بکشد. در این شرایط از پردازش توزیع‌شده استفاده می‌شود.

Data Parallelism

نسخه‌ای از مدل روی هر GPU قرار می‌گیرد و هر GPU بخش متفاوتی از داده را پردازش می‌کند. سپس Gradientها هماهنگ می‌شوند.

این روش برای افزایش سرعت آموزش مناسب است، اما هر GPU معمولاً باید ظرفیت نگهداری مدل را داشته باشد.

Tensor Parallelism

Tensorهای بزرگ و عملیات هر لایه میان چند GPU تقسیم می‌شوند. این روش برای مدل‌هایی کاربرد دارد که وزن‌هایشان در یک GPU جا نمی‌شود.

Pipeline Parallelism

لایه‌های مختلف مدل روی GPUهای جداگانه قرار می‌گیرند و داده مانند یک خط تولید از مرحله‌ای به مرحله دیگر منتقل می‌شود.

Expert Parallelism

در مدل‌های Mixture of Experts، Expertهای مختلف می‌توانند میان GPUها توزیع شوند.

استفاده از چند GPU فقط مسئله ظرفیت نیست. سرعت اتصال میان GPUها، سربار ارتباط و نوع Parallelism نیز روی عملکرد اثر می‌گذارد.

کارت گرافیک گیمینگ برای هوش مصنوعی مناسب است؟

برای یادگیری، نمونه‌سازی، Fine-tuning سبک و اجرای مدل‌های کوچک، بسیاری از GPUهای مصرفی می‌توانند مفید باشند.

مزایای احتمالی:

• قیمت کمتر نسبت به سخت‌افزار دیتاسنتری
• دسترسی آسان‌تر
• عملکرد مناسب در بسیاری از پروژه‌های شخصی
• امکان استفاده هم‌زمان برای گرافیک و AI

محدودیت‌های احتمالی:

• VRAM کمتر
• نبود بعضی قابلیت‌های سازمانی
• محدودیت در استفاده چند GPU
• توان مصرفی و حرارت
• نبود حافظه ECC در برخی مدل‌ها
• پایداری و شرایط گارانتی متفاوت
• محدودیت‌های فیزیکی داخل کیس

انتخاب باید بر اساس مدل و بار کاری باشد، نه صرفاً برچسب گیمینگ یا حرفه‌ای.

برای هوش مصنوعی چقدر VRAM نیاز داریم؟

یک پاسخ ثابت برای همه پروژه‌ها وجود ندارد، اما این طبقه‌بندی می‌تواند نقطه شروع باشد:

پیش از خرید بهتر است مدل واقعی را با داده و تنظیمات موردنظر آزمایش کنید. عبارت‌هایی مانند «GPU مناسب هوش مصنوعی» بدون مشخص‌کردن مدل، Batch، Context و تعداد کاربران اطلاعات کافی نمی‌دهند.

معیارهای انتخاب GPU برای هوش مصنوعی

ظرفیت VRAM

بررسی کنید وزن‌ها، KV Cache، Activationها و سربار اجرا در حافظه قرار می‌گیرند یا خیر.

پهنای باند حافظه

برای مدل‌هایی که مرتباً حجم زیادی از وزن‌ها را می‌خوانند، پهنای باند می‌تواند بسیار مهم باشد.

نوع داده‌های پشتیبانی‌شده

پشتیبانی مناسب از FP16، BF16، INT8 یا INT4 ممکن است بر سرعت و سازگاری اثر بگذارد.

عملکرد واقعی فریم‌ورک

Benchmarkهای نزدیک به بار کاری خود را بررسی کنید. نتیجه بازی یا رندر سه‌بعدی معیار مستقیمی برای LLM نیست.

پشتیبانی نرم‌افزاری

سازگاری با PyTorch، TensorFlow، CUDA، ROCm، کتابخانه Quantization و موتور استنتاج را بررسی کنید.

توان مصرفی و خنک‌سازی

منبع تغذیه، فضای کیس، تهویه و هزینه برق بخشی از هزینه واقعی زیرساخت هستند.

تعداد GPU و ارتباط میان آن‌ها

اگر پروژه به چند GPU نیاز دارد، توپولوژی PCIe و سرعت ارتباط اهمیت پیدا می‌کند.

هزینه کل مالکیت

فقط قیمت خرید را محاسبه نکنید. هزینه‌های زیر نیز مهم‌اند:

• برق
• خنک‌سازی
• نگهداری
• نیروی DevOps
• مانیتورینگ
• قطعات جایگزین
• ظرفیت بلااستفاده
• به‌روزرسانی سخت‌افزار

خرید GPU، اجاره سرور یا استفاده از API؟

سه روش اصلی برای دسترسی به توان محاسباتی AI وجود دارد.

خرید GPU مناسب است اگر:

• مصرف زیاد و نسبتاً ثابت دارید.
• تیم زیرساخت در اختیار دارید.
• مدل مشخصی را دائماً اجرا می‌کنید.
• کنترل سطح پایین برایتان ضروری است.
• هزینه کل مالکیت را محاسبه کرده‌اید.

GPU ابری مناسب است اگر:

• به سخت‌افزار قوی برای مدت محدود نیاز دارید.
• آموزش یا آزمایش مقطعی انجام می‌دهید.
• می‌خواهید قبل از خرید، چند پیکربندی را ارزیابی کنید.
• مقیاس پروژه متغیر است.

API هوش مصنوعی مناسب است اگر:

• می‌خواهید محصول را سریع آزمایش کنید.
• نمی‌خواهید Driver، CUDA و GPU Server را مدیریت کنید.
• به چند مدل مختلف نیاز دارید.
• مصرف پروژه هنوز مشخص نیست.
• پرداخت بر اساس استفاده برایتان مناسب‌تر است.
• تمرکز تیم روی محصول و تجربه کاربری است.

استفاده از مدل‌های هوش مصنوعی بدون خرید GPU با API درواره

اگر برنامه شما فقط می‌خواهد از قابلیت‌های مدل استفاده کند، لازم نیست حتماً GPU بخرید یا مدل را روی سرور خود اجرا کنید.

با API درواره، برنامه درخواست را به سرویس ارسال می‌کند و مدل روی زیرساخت ارائه‌دهنده اجرا می‌شود. سرور اپلیکیشن شما می‌تواند مسئول موارد زیر باشد:

• احراز هویت کاربران
• دریافت ورودی
• اجرای قوانین کسب‌وکار
• ارسال درخواست به مدل
• اعتبارسنجی خروجی
• ثبت مصرف
• نمایش نتیجه

آدرس پایه API درواره:

https://api.darvareh.ir/v1

ابتدا کتابخانه OpenAI را نصب کنید:

pip install openai

متغیرهای محیطی را تنظیم کنید:

export DARVAREH_API_KEY="YOUR_API_KEY"
export DARVAREH_MODEL="YOUR_MODEL_ID"

نمونه کد پایتون:

import os

from openai import OpenAI


client = OpenAI(
    api_key=os.environ["DARVAREH_API_KEY"],
    base_url="https://api.darvareh.ir/v1",
)

response = client.chat.completions.create(
    model=os.environ["DARVAREH_MODEL"],
    temperature=0.2,
    messages=[
        {
            "role": "system",
            "content": (
                "شما یک دستیار فنی هستید و پاسخ‌های "
                "کوتاه، دقیق و فارسی ارائه می‌کنید."
            ),
        },
        {
            "role": "user",
            "content": (
                "تفاوت CPU و GPU را برای یک برنامه‌نویس "
                "تازه‌کار توضیح بده."
            ),
        },
    ],
)

content = response.choices[0].message.content

if not content:
    raise ValueError("مدل محتوایی برنگرداند.")

print(content)

شناسه مدل را باید از فهرست فعلی مدل‌های درواره انتخاب کنید.

در این معماری، برنامه شما با API کار می‌کند و مدیریت GPU، بارگذاری مدل و بسیاری از جزئیات اجرای آن در سمت سرویس انجام می‌شود.

معماری پیشنهادی اپلیکیشن مبتنی بر API

برای یک محصول واقعی بهتر است مرورگر یا اپلیکیشن موبایل مستقیماً به API مدل متصل نشود.

معماری مناسب‌تر:

کاربر
  ↓
رابط وب یا اپلیکیشن
  ↓
Backend محصول
  ↓
اعتبارسنجی و محدودیت مصرف
  ↓
API درواره
  ↓
مدل هوش مصنوعی
  ↓
اعتبارسنجی خروجی
  ↓
نمایش نتیجه

مزایای این ساختار:

• کلید API در Backend باقی می‌ماند.
• محدودیت هر کاربر کنترل می‌شود.
• ورودی‌ها قبل از ارسال بررسی می‌شوند.
• مصرف هر قابلیت ثبت می‌شود.
• مدل بدون تغییر Frontend قابل تعویض است.
• خروجی نامعتبر قبل از نمایش مدیریت می‌شود.

چه زمانی اجرای محلی مدل منطقی است؟

اجرای مدل روی GPU شخصی یا سرور اختصاصی می‌تواند در شرایط زیر بررسی شود:

• مصرف بسیار زیاد و پایدار است.
• مدل متن‌باز مشخصی انتخاب شده است.
• تیم توان مدیریت زیرساخت را دارد.
• کنترل دقیق بر نسخه مدل لازم است.
• عملکرد موردنیاز با سخت‌افزار موجود سازگار است.
• هزینه کل نسبت به API واقعاً کمتر محاسبه شده است.

اما اجرای محلی شامل کارهای بیشتری است:

• نصب Driver و Runtime
• مدیریت مدل و نسخه‌ها
• مانیتورینگ VRAM
• مدیریت Queue
• Batching
• Autoscaling
• ثبت خطا
• بازیابی سرویس
• به‌روزرسانی امنیتی
• ارزیابی کیفیت
• مدیریت چند GPU

برای بسیاری از نمونه‌های اولیه، API سریع‌ترین راه برای ارزیابی ارزش محصول است.

معیارهای مانیتورینگ GPU در محیط واقعی

اگر مدل را روی زیرساخت خود اجرا می‌کنید، فقط روشن‌بودن سرویس کافی نیست. معیارهای زیر را ثبت کنید:

استفاده GPU

نشان می‌دهد چه درصدی از زمان GPU مشغول محاسبه است. پایین‌بودن این عدد همیشه بد نیست؛ ممکن است سرویس منتظر ورودی یا محدود به CPU و شبکه باشد.

مصرف VRAM

حافظه تخصیص‌یافته، رزروشده و بیشینه مصرف را جداگانه بررسی کنید.

زمان اولین توکن

برای چت‌بات‌ها، فاصله دریافت درخواست تا تولید اولین توکن روی تجربه کاربر اثر زیادی دارد.

نرخ تولید توکن

تعداد توکن تولیدشده در ثانیه برای هر درخواست یا کل سرور را اندازه بگیرید.

تأخیر P95 و P99

میانگین تأخیر کافی نیست. کاربران کندتر نیز باید در مانیتورینگ دیده شوند.

طول Queue

اگر درخواست‌ها سریع‌تر از ظرفیت GPU وارد شوند، صف افزایش پیدا می‌کند.

نرخ خطای OOM

خطاهای کمبود حافظه باید بر اساس مدل، طول ورودی و تعداد کاربران تحلیل شوند.

توان و دما

دمای بالا یا محدودیت توان می‌تواند فرکانس و عملکرد را کاهش دهد.

راه‌های بهینه‌سازی اجرای مدل روی GPU

استفاده از Batching

چند درخواست می‌توانند در یک Batch پردازش شوند. این روش ممکن است بهره‌وری GPU را افزایش دهد، اما انتظار برای تکمیل Batch می‌تواند تأخیر را بیشتر کند.

Quantization

کاهش دقت وزن‌ها می‌تواند مصرف حافظه و هزینه استنتاج را کاهش دهد.

Mixed Precision

استفاده ترکیبی از دقت‌های عددی ممکن است سرعت آموزش یا استنتاج را افزایش دهد.

FlashAttention

پیاده‌سازی‌های بهینه Attention می‌توانند خواندن و نوشتن حافظه را کاهش دهند. نتیجه به سخت‌افزار و معماری مدل بستگی دارد.

محدودکردن Context

ارسال تاریخچه غیرضروری، KV Cache و هزینه پردازش را افزایش می‌دهد.

Continuous Batching

موتورهای استنتاج می‌توانند درخواست‌های در حال ورود را به‌صورت پویا مدیریت کنند تا GPU کمتر بیکار بماند.

انتخاب مدل متناسب با وظیفه

برای طبقه‌بندی ساده یا استخراج چند فیلد، همیشه به بزرگ‌ترین مدل نیاز ندارید.

Profiling

قبل از ارتقای سخت‌افزار مشخص کنید گلوگاه در GPU، CPU، حافظه، دیسک، شبکه یا کد برنامه قرار دارد.

اشتباهات رایج در انتخاب GPU برای هوش مصنوعی

انتخاب فقط بر اساس VRAM

VRAM تعیین‌کننده ظرفیت است، اما سرعت را به‌تنهایی مشخص نمی‌کند.

مقایسه مستقیم تعداد Core

تعداد Core میان معماری‌ها و نسل‌های متفاوت معیار مستقیمی برای عملکرد نیست.

مقایسه TOPS با دقت‌های متفاوت

TOPS مربوط به INT8 یا محاسبات Sparse را نباید با FP32 یا حالت Dense یکسان دانست.

استفاده از Benchmark بازی برای LLM

عملکرد گرافیکی و عملکرد استنتاج مدل زبانی الزاماً همبستگی مستقیمی ندارند.

خرید سخت‌افزار قبل از آزمایش

ابتدا مدل، Context، Batch و ترافیک واقعی را روی یک سیستم آزمایشی یا GPU ابری اجرا کنید.

نادیده‌گرفتن هزینه زیرساخت

هزینه نیروی فنی، برق، خنک‌سازی و ظرفیت بلااستفاده ممکن است از قیمت سخت‌افزار مهم‌تر باشد.

تصور اینکه تمام عملیات روی GPU اجرا می‌شوند

Tokenization، دریافت فایل، پردازش شبکه و بخش‌هایی از Pipeline ممکن است روی CPU انجام شوند.

افزایش بی‌محدودیت Context

Context طولانی‌تر می‌تواند حافظه و زمان پاسخ را افزایش دهد، حتی اگر حجم وزن‌های مدل تغییر نکند.

مسیر پیشنهادی انتخاب زیرساخت AI

مرحله اول: تعریف وظیفه

مشخص کنید برنامه قرار است چه کاری انجام دهد:

• چت
• خلاصه‌سازی
• تولید تصویر
• تبدیل گفتار به متن
• تحلیل اسناد
• تولید ویدیو
• طبقه‌بندی
• Embedding

مرحله دوم: انتخاب مدل اولیه

یک یا چند مدل مناسب را انتخاب کنید و اندازه، Context و قالب عددی آن‌ها را بررسی کنید.

مرحله سوم: اندازه‌گیری بار کاری

تعداد درخواست، طول ورودی، طول خروجی و هم‌زمانی احتمالی را تخمین بزنید.

مرحله چهارم: ساخت نمونه با API

بدون خرید سخت‌افزار، کیفیت کاربرد را روی داده واقعی آزمایش کنید.

مرحله پنجم: محاسبه هزینه

هزینه API، GPU ابری و زیرساخت اختصاصی را در حجم مصرف واقعی مقایسه کنید.

مرحله ششم: Benchmark

مدل را با تنظیمات واقعی روی سخت‌افزار هدف آزمایش کنید. Benchmark عمومی جایگزین آزمایش پروژه شما نیست.

مرحله هفتم: انتخاب معماری

بر اساس هزینه، پیچیدگی عملیاتی، تأخیر و نیاز به کنترل، یکی از روش‌های API، Cloud GPU، Self-host یا معماری ترکیبی را انتخاب کنید.

پرسش‌های متداول

GPU مخفف چیست؟

GPU مخفف Graphics Processing Unit و به معنای واحد پردازش گرافیکی است.

چرا GPU برای هوش مصنوعی سریع‌تر است؟

زیرا بسیاری از محاسبات شبکه‌های عصبی، به‌ویژه عملیات ماتریسی، قابلیت اجرای موازی دارند و GPU برای چنین پردازشی طراحی شده است.

آیا بدون GPU می‌توان هوش مصنوعی یاد گرفت؟

بله. مفاهیم اولیه، Scikit-learn، مدل‌های کوچک و کار با API روی CPU نیز امکان‌پذیر است.

CUDA چیست؟

CUDA پلتفرم نرم‌افزاری و مدل برنامه‌نویسی NVIDIA برای استفاده از GPU در محاسبات شتاب‌یافته است.

VRAM چیست؟

VRAM حافظه مورد استفاده GPU برای نگهداری وزن مدل، Tensorها، Activationها، KV Cache و داده‌های موقت است.

آیا RAM و VRAM با هم جمع می‌شوند؟

در حالت معمول نمی‌توان ظرفیت RAM و VRAM را مانند یک حافظه واحد با سرعت یکسان در نظر گرفت. بعضی نرم‌افزارها بخشی از مدل را به RAM منتقل می‌کنند، اما این کار ممکن است سرعت را کاهش دهد.

برای اجرای مدل ۷ میلیارد پارامتری چقدر VRAM لازم است؟

به دقت عددی، Quantization، طول Context، تعداد کاربران و موتور استنتاج بستگی دارد. وزن خام یک مدل ۷ میلیارد پارامتری در FP16 حدود ۱۴ گیگابایت و در INT4 از نظر نظری حدود ۳٫۵ گیگابایت است، اما حافظه واقعی بیشتر خواهد بود.

آیا کارت گرافیک گیمینگ برای AI مناسب است؟

برای یادگیری، توسعه و بسیاری از پروژه‌های کوچک تا متوسط می‌تواند مناسب باشد؛ اما ظرفیت حافظه، پشتیبانی نرم‌افزاری و نیاز عملیاتی باید بررسی شود.

تفاوت GPU و NPU چیست؟

GPU یک پردازنده موازی عمومی‌تر است، درحالی‌که NPU معمولاً برای عملیات مشخص شبکه‌های عصبی و مصرف انرژی کمتر طراحی می‌شود.

آیا CUDA فقط برای NVIDIA است؟

بله، CUDA پلتفرم NVIDIA است. اکوسیستم‌های دیگر ابزارها و Backendهای متفاوتی دارند.

چرا GPU من با وجود حافظه آزاد کند است؟

گلوگاه ممکن است CPU، انتقال داده، Disk I/O، اندازه کوچک Batch، Kernel نامناسب یا استفاده ناکافی از پردازش موازی باشد.

آیا خرید GPU از API ارزان‌تر است؟

همیشه نه. پاسخ به میزان مصرف، قیمت سخت‌افزار، برق، نگهداری، نیروی فنی و ظرفیت بلااستفاده بستگی دارد. برای مصرف متغیر یا مرحله آزمایش، API اغلب شروع ساده‌تری است.

جمع‌بندی

GPU پردازنده‌ای مناسب برای انجام تعداد زیادی عملیات موازی است و به همین دلیل نقش مهمی در آموزش و اجرای مدل‌های هوش مصنوعی دارد.

برای انتخاب زیرساخت مناسب باید این موارد را با هم بررسی کنید:

1. اندازه و معماری مدل
2. ظرفیت VRAM
3. نوع داده و Quantization
4. پهنای باند حافظه
5. طول Context
6. تعداد درخواست‌های هم‌زمان
7. پشتیبانی CUDA یا Backend موردنیاز
8. هزینه برق و نگهداری
9. توان فنی تیم
10. هزینه واقعی هر درخواست

اگر هدف شما افزودن قابلیت هوش مصنوعی به یک وب‌سایت، اپلیکیشن، CRM یا محصول SaaS است، لازم نیست از همان ابتدا GPU بخرید.

می‌توانید ابتدا با مستندات API درواره یک نمونه اولیه بسازید، چند مدل را روی داده واقعی مقایسه کنید و پس از مشخص‌شدن حجم مصرف، درباره API، GPU ابری یا زیرساخت اختصاصی تصمیم بگیرید.

درواره با یک API سازگار با OpenAI، پرداخت ریالی، گزارش مصرف و دسترسی یکپارچه به مدل‌های مختلف، امکان استفاده از هوش مصنوعی را بدون مدیریت مستقیم GPU و زیرساخت مدل فراهم می‌کند.

مقالات مرتبط

• آموزش PyTorch و یادگیری عمیق با پایتون
• آموزش TensorFlow و Keras
• اجرای مدل‌های هوش مصنوعی با Ollama
• Inference در هوش مصنوعی چیست؟
• آموزش Fine-tuning با LoRA و QLoRA
• محاسبه هزینه API هوش مصنوعی
• هوش مصنوعی با پایتون و API
• راهنمای API سازگار با OpenAI

منابع

• NVIDIA CUDA Programming Guide
• NVIDIA CUDA Platform
• NVIDIA Matrix Multiplication Background Guide
• PyTorch CUDA Semantics
• PyTorch Automatic Mixed Precision
• PyTorch Understanding CUDA Memory Usage
• Google Cloud TPU Documentation
• مستندات API درواره

این مقاله صرفاً با هدف آموزش و اطلاع‌رسانی تهیه شده است. پیش از استفاده عملی، مستندات رسمی سرویس‌ها و صفحه سلب مسئولیت را مطالعه کنید.