چرا برای استفاده از هوش مصنوعی GPU مهم‌تر از CPU است؟

وقتی از اجرای مدل‌های هوش مصنوعی حرف می‌زنیم، اغلب اولین پرسش این است که چه سخت‌افزاری لازم است. پاسخ کوتاه این است که CPU همچنان مغز هماهنگ‌کنندهٔ سیستم است، اما برای بار سنگین محاسباتی هوش مصنوعی، GPU نقش موتور اصلی را بازی می‌کند. دلیل این موضوع تنها در تعداد هسته‌ها خلاصه نمی‌شود؛ معماری، پهنای باند حافظه، توان پردازشی موازی، اکوسیستم نرم‌افزاری و اقتصاد محاسباتی، همگی دست‌به‌دست می‌دهند تا GPU در آموزش و استنتاج مدل‌های مدرن معمولاً انتخاب بهینه‌تری باشد. در این مقاله بررسی می‌کنیم چرا این اتفاق می‌افتد، کجا CPU هنوز بهترین گزینه است و چگونه می‌توان بدون گرفتار شدن در تبلیغات، سخت‌افزار مناسب پروژهٔ هوش مصنوعی را انتخاب کرد.

تفاوت بنیادین CPU و GPU در یک نگاه

CPU برای اجرای سریع دستورهای متنوع و غالباً وابسته به ترتیب طراحی شده است. یک پردازندهٔ معمول چند هستهٔ قدرتمند دارد، فرکانس بالایی دارد، حافظهٔ نهان بزرگ‌تری برای کاهش تأخیر در اختیار می‌گیرد و سازوکارهای پیچیده‌ای مثل پیش‌بینی شاخه، اجرای خارج از ترتیب و مدیریت حافظه دارد. این ویژگی‌ها CPU را برای کارهایی مثل اجرای سیستم‌عامل، مدیریت پایگاه داده، سرویس‌های وب، منطق برنامه و پردازش‌های عمومی عالی می‌کند. اما همان طراحی، آن را برای انجام هم‌زمان میلیون‌ها عمل سادهٔ عددی چندان بهینه نمی‌کند.

GPU از ابتدا برای گرافیک و رندر تصویر ساخته شد؛ یعنی کاری که در آن میلیون‌ها پیکسل باید عملیات مشابهی را هم‌زمان انجام دهند. به همین دلیل GPU هزاران هستهٔ کوچک‌تر دارد که اگرچه هر کدام از یک هستهٔ CPU کندتر و ساده‌ترند، در کنار هم می‌توانند حجم عظیمی از محاسبات موازی را با بازده بالا انجام دهند. مدل ذهنی درست این است که CPU برای «انجام سریع یک کار پیچیده» بهینه شده و GPU برای «انجام هم‌زمان هزاران کار ساده و مشابه».

در هوش مصنوعی، به‌ویژه یادگیری عمیق، بخش زیادی از زمان صرف ضرب ماتریس، کانولوشن، محاسبهٔ گرادیان و به‌روزرسانی وزن‌ها می‌شود. این عملیات دقیقاً از جنس محاسبات عددی موازی و تکرارشونده‌اند. بنابراین معماری GPU با نیاز اصلی مدل‌های عصبی هم‌راستاست. CPU می‌تواند همین محاسبات را انجام دهد، اما معمولاً با سرعت بسیار کمتر، مصرف انرژی بیشتر و هزینهٔ زمانی بالاتر در مقیاس واقعی.

چرا محاسبات هوش مصنوعی ذاتاً موازی است؟

یک شبکهٔ عصبی از لایه‌ها و ماتریس‌های بزرگ وزن تشکیل شده است. وقتی یک تصویر یا متن به مدل داده می‌شود، هر لایه مجموعه‌ای از ضرب و جمع‌ها را روی تعداد زیادی عدد انجام می‌دهد. برای مثال در یک لایهٔ تمام‌متصل، خروجی هر نورون از ضرب بردار ورودی در بردار وزن‌ها و افزودن بایاس به دست می‌آید. اگر مدل ده‌ها میلیون یا میلیاردها پارامتر داشته باشد، این عملیات در هر بار عبور داده به‌شدت سنگین می‌شود. خوشبختانه محاسبهٔ خروجی نورون‌های یک لایه معمولاً به یکدیگر وابسته نیست و می‌توان آن را هم‌زمان انجام داد.

در آموزش نیز همین منطق برقرار است. الگوریتم پس‌انتشار خطا نیاز دارد گرادیان هر وزن محاسبه شود و سپس وزن‌ها به‌روزرسانی شوند. بسیاری از این محاسبات برای نمونه‌های مختلف یک دستهٔ داده یا برای نورون‌های مختلف مستقل‌اند. GPU می‌تواند این استقلال را به موازی‌سازی عظیم تبدیل کند. به همین دلیل افزایش اندازهٔ دستهٔ داده یا بزرگ‌تر شدن مدل، تا زمانی که حافظه اجازه دهد، معمولاً بهره‌وری GPU را بهتر می‌کند.

نمونهٔ ساده‌ای در نظر بگیرید: آموزش یک مدل طبقه‌بندی تصویر روی مجموعه‌ای با صد هزار تصویر. اگر هر تصویر ۲۲۴ در ۲۲۴ پیکسل و سه کانال رنگی داشته باشد، هر تصویر بیش از ۱۵۰ هزار عدد ورودی دارد. یک شبکهٔ کانولوشنی متوسط، در هر تصویر میلیون‌ها عمل ضرب و جمع انجام می‌دهد. CPU باید این حجم را با تعداد محدودی هسته پردازش کند، اما GPU می‌تواند هزاران عمل مشابه را هم‌زمان جلو ببرد. در عمل، همین تفاوت باعث می‌شود زمان آموزش از چند روز به چند ساعت کاهش پیدا کند.

نکتهٔ مهم این است که موازی‌سازی زمانی بیشترین سود را دارد که محاسبات از نظر ساختاری قابل تقسیم باشند. در هوش مصنوعی مدرن، ماتریس‌ها و تانسورها دقیقاً همین ویژگی را دارند. به همین دلیل کتابخانه‌هایی مثل CUDA، cuBLAS، cuDNN و TensorRT به‌طور خاص برای اجرای بهینهٔ همین عملیات روی GPU ساخته شده‌اند. این اکوسیستم نرم‌افزاری به اندازهٔ خود سخت‌افزار اهمیت دارد؛ بسیاری از الگوریتم‌ها بدون بهینه‌سازی مناسب، حتی روی GPU قدرتمند هم از تمام توان آن استفاده نمی‌کنند.

نقش حافظه و پهنای باند در سرعت آموزش و استنتاج

در بسیاری از بارهای کاری هوش مصنوعی، گلوگاه اصلی نه توان محاسباتی خام، بلکه جابه‌جایی داده است. مدل‌های بزرگ پارامترهای زیادی دارند و در هر مرحله باید بخشی از این پارامترها، فعال‌سازی‌ها و گرادیان‌ها بین حافظه و واحد محاسباتی جابه‌جا شوند. GPUهای مدرن علاوه بر تعداد هستهٔ زیاد، پهنای باند حافظهٔ بسیار بالاتری نسبت به CPU دارند. حافظهٔ اختصاصی GPU یا VRAM با رابطی پهن به تراشه متصل است و می‌تواند حجم عظیمی از داده را در واحد زمان جابه‌جا کند.

برای مدل‌های زبانی بزرگ، همین موضوع تعیین‌کننده است. هنگام استنتاج، مدل باید وزن‌ها را بخواند و با ورودی ترکیب کند. اگر پهنای باند حافظه کم باشد، حتی پردازندهٔ سریع هم بیکار می‌ماند و منتظر داده می‌شود. به همین دلیل است که ظرفیت VRAM و پهنای باند آن، گاهی از تعداد هسته‌ها هم مهم‌تر می‌شود. مدلی که در حافظهٔ GPU جا نشود، ناچار است به حافظهٔ اصلی سیستم یا دیسک منتقل شود و سرعتش به‌شدت افت می‌کند.

در آموزش، مصرف حافظه حتی بحرانی‌تر است؛ زیرا علاوه بر وزن‌ها، باید فعال‌سازی‌های میانی، گرادیان‌ها و وضعیت بهینه‌سازها نیز نگهداری شوند. به همین دلیل کارت‌های با VRAM بیشتر برای آموزش مدل‌های بزرگ‌تر یا استفاده از دسته‌های دادهٔ بزرگ‌تر ضروری‌اند. CPU نیز حافظهٔ نهان و رم دارد، اما ساختار آن برای تأخیر کم و دسترسی نامنظم بهینه شده است، نه برای عبور مداوم حجم عظیمی از داده‌های عددی موازی. این تفاوت معماری باعث می‌شود GPU در بارهای کاری داده‌محور هوش مصنوعی مزیت جدی داشته باشد.

هزینه، زمان و بهره‌وری: مقایسه عملی CPU و GPU

فرض کنید یک تیم می‌خواهد یک مدل بینایی ماشین را روی چند صد هزار تصویر آموزش دهد. اگر از یک CPU سرور چندده‌هسته‌ای استفاده شود، آموزش ممکن است چند روز طول بکشد. با یک GPU مناسب، همین آموزش می‌تواند به چند ساعت کاهش یابد. این تفاوت فقط یک عدد نیست؛ یعنی تیم می‌تواند در همان بازهٔ زمانی ده‌ها آزمایش مختلف انجام دهد، ابرپارامترها را تنظیم کند و سریع‌تر به مدل قابل استفاده برسد. در پروژه‌های واقعی، ارزش زمان تیم اغلب از هزینهٔ سخت‌افزار بیشتر است.

مثال دیگری از استنتاج دسته‌ای را در نظر بگیرید. یک سرویس می‌خواهد روزانه یک میلیون تصویر را برچسب‌گذاری کند. اگر هر تصویر روی CPU نیم‌ثانیه زمان ببرد، پردازش روزانه به صدها هزار ثانیه ظرفیت محاسباتی نیاز دارد. با GPU و پردازش دسته‌ای، می‌توان ده‌ها یا صدها تصویر را هم‌زمان پردازش کرد و هزینهٔ هر تصویر را به‌طور محسوس کاهش داد. البته این عدد به مدل، اندازهٔ دسته، بهینه‌سازی و نوع GPU بستگی دارد، اما جهت کلی روشن است: GPU برای بارهای کاری حجیم و موازی، بازده اقتصادی بهتری دارد.

در محاسبهٔ هزینه نباید فقط قیمت خرید کارت گرافیک را دید. باید مصرف برق، نیاز به خنک‌سازی، فضای رک، هزینهٔ نیروی انسانی و زمان توسعه را هم حساب کرد. یک CPU ارزان که آموزش را ده برابر کندتر می‌کند، در عمل می‌تواند گران‌تر تمام شود. از سوی دیگر، خرید یک GPU بسیار گران برای پروژه‌ای که فقط روزی چند درخواست کوچک دارد، اتلاف سرمایه است. انتخاب درست به حجم بار کاری، نیاز به تأخیر کم، بودجه و امکان استفاده از فضای ابری بستگی دارد.

نکتهٔ مهم دیگر این است که GPU همیشه به‌طور خطی سرعت را بالا نمی‌برد. اگر مدل خیلی کوچک باشد یا اندازهٔ دسته یک باشد، سربارهٔ اجرا و انتقال داده می‌تواند بخش زیادی از مزیت را از بین ببرد. به همین دلیل بهینه‌سازی نرم‌افزاری، استفاده از دسته‌بندی مناسب، تبدیل مدل به فرمت‌های بهینه و انتخاب دقیق سخت‌افزار، به همان اندازهٔ خرید GPU مهم است. در بسیاری از پروژه‌ها ترکیب CPU برای پیش‌پردازش و GPU برای محاسبات سنگین، بهترین نتیجه را می‌دهد.

چه زمانی CPU هنوز انتخاب درستی است؟

این تصور که CPU برای هوش مصنوعی بی‌فایده است، نادرست است. CPU در نقش هماهنگ‌کنندهٔ اصلی سیستم، اجرای سرویس‌ها، مدیریت صف درخواست‌ها، پیش‌پردازش داده، اعتبارسنجی ورودی و اجرای منطق کسب‌وکار ضروری است. حتی وقتی GPU داریم، داده باید از دیسک خوانده شود، پاک‌سازی شود، به فرمت مناسب تبدیل شود و سپس به GPU منتقل شود. اگر این بخش‌ها بهینه نباشند، GPU قدرتمند هم بیکار می‌ماند.

برای مدل‌های کوچک، اجرای تک‌نمونه‌ای یا کاربردهای کم‌حجم، CPU می‌تواند کاملاً کافی باشد. مثلاً یک مدل رگرسیون کوچک، یک طبقه‌بند متن ساده یا یک مدل تشخیص ناهنجاری روی داده‌های جدولی، ممکن است روی CPU با تأخیر قابل قبول اجرا شود. در چنین مواردی اضافه کردن GPU پیچیدگی استقرار، مصرف برق و هزینه را بالا می‌برد بدون آنکه سود محسوسی بدهد. همچنین در دستگاه‌های لبه‌ای مثل سنسورهای کم‌مصرف یا تجهیزات صنعتی، ممکن است CPU یا شتاب‌دهنده‌های کوچک انتخاب منطقی‌تری باشند.

در برخی کاربردهای حساس به تأخیر، اجرای مدل کوچک روی CPU می‌تواند سریع‌تر از ارسال داده به GPU و برگرداندن نتیجه باشد. این موضوع به ویژه در سیستم‌های تعبیه‌شده و برنامه‌های بلادرنگ اهمیت دارد. بنابراین پرسش درست این نیست که CPU بهتر است یا GPU، بلکه این است که کدام بخش از زنجیرهٔ پردازش باید روی کدام سخت‌افزار اجرا شود. معماری بهینه معمولاً ترکیبی است: CPU برای کنترل و آماده‌سازی، GPU برای محاسبات سنگین و موازی.

مثال‌های کاربردی از دنیای واقعی

مثال اول: آموزش طبقه‌بند تصویر. فرض کنید یک استارتاپ می‌خواهد محصولات کشاورزی را از روی تصویر تشخیص دهد. داده‌ها شامل صد هزار تصویر از چند ده کلاس است. آموزش یک شبکهٔ کانولوشنی روی CPU ممکن است چند روز طول بکشد، در حالی که با GPU و دسته‌بندی مناسب می‌توان زمان را به چند ساعت رساند. این کاهش زمان به تیم اجازه می‌دهد معماری‌های مختلف را آزمایش کند و مدل دقیق‌تری بسازد.

مثال دوم: چت‌بات مبتنی بر مدل زبانی. یک مدل زبانی متوسط برای پاسخ‌دهی به مشتریان استفاده می‌شود. اگر هر پاسخ روی CPU چند ثانیه طول بکشد، تجربهٔ کاربری آزاردهنده می‌شود. با GPU، به‌ویژه وقتی درخواست‌ها دسته‌بندی می‌شوند، می‌توان تأخیر را کاهش داد و هم‌زمان چند مکالمه را پیش برد. در اینجا VRAM کافی برای نگه داشتن وزن‌های مدل اهمیت زیادی دارد.

مثال سوم: پردازش دسته‌ای اسناد. یک سازمان می‌خواهد میلیون‌ها صفحهٔ PDF را خلاصه یا دسته‌بندی کند. این بار کاری معمولاً به تأخیر لحظه‌ای حساس نیست، اما حجمش زیاد است. GPU با پردازش دسته‌ای می‌تواند هزینهٔ هر سند را کاهش دهد. ترکیب CPU برای استخراج متن و GPU برای مدل زبانی، نمونهٔ خوبی از معماری ترکیبی است.

مثال چهارم: بینایی ماشین در خط تولید. دوربین‌ها در خط تولید باید قطعات معیوب را تشخیص دهند. اگر مدل کوچک و بهینه باشد، شاید یک CPU صنعتی یا شتاب‌دهندهٔ لبه کافی باشد. اما اگر چند دوربین با نرخ فریم بالا داشته باشیم و مدل پیچیده‌تر باشد، GPU یا شتاب‌دهندهٔ اختصاصی لازم می‌شود. این مثال نشان می‌دهد که نیاز به تأخیر کم و تعداد جریان‌های هم‌زمان، انتخاب سخت‌افزار را تعیین می‌کند.

مثال پنجم: تنظیم دقیق مدل از پیش آموزش‌دیده. تیمی می‌خواهد یک مدل زبانی را برای حوزهٔ حقوقی تنظیم کند. حتی تنظیم دقیق یک مدل متوسط، بدون GPU بسیار زمان‌بر است. GPU نه‌تنها آموزش را سریع‌تر می‌کند، بلکه امکان استفاده از تکنیک‌هایی مثل آموزش با دقت پایین‌تر و دسته‌های بزرگ‌تر را فراهم می‌کند. البته باید مراقب مصرف حافظه بود، زیرا در تنظیم دقیق علاوه بر وزن‌ها، وضعیت بهینه‌ساز و گرادیان‌ها نیز حافظه مصرف می‌کنند.

راهنمای انتخاب GPU برای پروژه‌های هوش مصنوعی

اولین معیار، ظرفیت VRAM است. اگر مدل در حافظهٔ GPU جا نشود، مجبور به استفاده از حافظهٔ اصلی یا روش‌های پیچیدهٔ تقسیم مدل می‌شوید. برای مدل‌های کوچک و متوسط، کارت‌های با حافظهٔ متوسط ممکن است کافی باشند، اما برای مدل‌های زبانی بزرگ یا آموزش با دسته‌های بزرگ، حافظهٔ بیشتر اغلب تعیین‌کننده است. دومین معیار، پهنای باند حافظه است؛ به‌ویژه برای استنتاج مدل‌های بزرگ که خواندن وزن‌ها بخش زیادی از زمان را می‌گیرد.

معیار سوم، پشتیبانی نرم‌افزاری است. دنیای GPU فقط به مشخصات سخت‌افزاری خلاصه نمی‌شود. پشتیبانی از CUDA، کتابخانه‌های بهینه‌شده، فریم‌ورک‌های یادگیری عمیق و ابزارهای تبدیل مدل، تفاوت بزرگی ایجاد می‌کند. برخی گزینه‌های جایگزین نیز وجود دارند، اما باید بررسی کنید که مدل و فریم‌ورک شما روی آن‌ها به‌خوبی کار می‌کند یا نه. معیار چهارم، مصرف برق و خنک‌سازی است؛ GPUهای قدرتمند گرمای زیادی تولید می‌کنند و نیاز به منبع تغذیه و تهویهٔ مناسب دارند.

پرسش بعدی این است که GPU محلی بخرید یا از ابر استفاده کنید. اگر بار کاری شما پیوسته و سنگین است، خرید یا اجارهٔ بلندمدت ممکن است اقتصادی باشد. اگر بار کاری نامنظم، آزمایشی یا کوتاه‌مدت است، GPU ابری انعطاف بیشتری می‌دهد و نیازی به سرمایه‌گذاری اولیه ندارد. در آموزش مدل‌های بزرگ، اغلب ترکیبی از چند GPU یا استفادهٔ موقت از خوشه‌های ابری منطقی‌تر است. در استنتاج همیشه‌روشن، ممکن است بهینه‌سازی مدل و استفاده از سخت‌افزار اختصاصی هزینه را کاهش دهد.

پرسش‌های متداول

آیا CPU برای هوش مصنوعی کاملاً بی‌فایده است؟ خیر. CPU برای مدیریت سیستم، پیش‌پردازش داده، اجرای مدل‌های کوچک، سرویس‌های کم‌حجم و هماهنگی بین اجزا ضروری است. حتی در سیستم‌های مجهز به GPU، CPU نقش فرمانده را دارد. بی‌فایده بودن درست نیست؛ محدودیت اصلی CPU در محاسبات موازی سنگین است، نه در همهٔ وظایف.

چرا چند CPU قدرتمند جای یک GPU را نمی‌گیرد؟ چند CPU می‌توانند تعداد هسته‌ها را افزایش دهند، اما هر هسته برای اجرای دستورهای پیچیده و ترتیبی بهینه شده است. GPU هزاران هستهٔ ساده دارد که برای عملیات برداری و ماتریسی طراحی شده‌اند. علاوه بر این، پهنای باند حافظه و اکوسیستم نرم‌افزاری GPU برای یادگیری عمیق بسیار مناسب‌تر است. بنابراین جمع کردن CPUها معمولاً به اندازهٔ GPU بهره‌وری در بارهای کاری موازی ندارد.

آیا برای استنتاج هم حتماً به GPU نیاز داریم؟ نه همیشه. اگر مدل کوچک باشد، حجم درخواست‌ها کم باشد یا تأخیر اهمیت بالایی نداشته باشد، CPU می‌تواند کافی باشد. اما برای مدل‌های بزرگ، درخواست‌های هم‌زمان زیاد یا نیاز به پاسخ سریع، GPU معمولاً انتخاب بهتری است. در بسیاری از سرویس‌ها ترکیب CPU برای آماده‌سازی درخواست و GPU برای اجرای مدل به کار می‌رود.

چقدر VRAM نیاز دارم؟ پاسخ به اندازهٔ مدل، دقت اعداد، اندازهٔ دسته و روش بهینه‌سازی بستگی دارد. برای مدل‌های کوچک ممکن است چند گیگابایت کافی باشد، اما مدل‌های زبانی بزرگ می‌توانند ده‌ها گیگابایت یا بیشتر نیاز داشته باشند. در آموزش، مصرف حافظه به دلیل گرادیان‌ها و وضعیت بهینه‌ساز بیشتر است. بهترین راه، محاسبهٔ تقریبی بر اساس تعداد پارامترها و آزمایش با دستهٔ کوچک است.

GPU ابری بهتر است یا خرید GPU محلی؟ اگر استفادهٔ شما پیوسته، سنگین و بلندمدت است، خرید یا اجارهٔ اختصاصی می‌تواند اقتصادی باشد. اگر پروژه آزمایشی، فصلی یا با بار نامنظم است، ابر انعطاف بیشتری دارد و هزینهٔ اولیه را حذف می‌کند. همچنین در ابر می‌توانید مدل‌های مختلف GPU را امتحان کنید. تصمیم درست به مدت استفاده، حریم داده، بودجه و نیاز به کنترل کامل سخت‌افزار بستگی دارد.

آیا GPU همیشه سریع‌تر از CPU است؟ نه. برای مدل‌های بسیار کوچک، اندازهٔ دستهٔ یک، انتقال دادهٔ زیاد یا کدی که به‌خوبی موازی نشده است، GPU ممکن است مزیت چندانی نداشته باشد. سربارهٔ راه‌اندازی، انتقال داده بین CPU و GPU و بهینه‌نبودن کتابخانه‌ها می‌تواند بخشی از سرعت را از بین ببرد. GPU وقتی بیشترین مزیت را دارد که بار کاری موازی، حجیم و مناسب پردازش دسته‌ای باشد.

تفاوت GPU بازی و GPU دیتاسنتر چیست؟ GPUهای بازی معمولاً برای رندر گرافیک و قیمت مناسب‌تر طراحی شده‌اند و می‌توانند برای许多 کارهای یادگیری عمیق هم استفاده شوند. GPUهای دیتاسنتر معمولاً حافظهٔ بیشتر، پشتیبانی بهتر از دقت‌های پایین، قابلیت اطمینان بالاتر و امکاناتی مثل اتصال چندکارتی و مجازی‌سازی دارند. برای پروژه‌های جدی و تولیدی، پشتیبانی نرم‌افزاری و پایداری بلندمدت اهمیت زیادی دارد.

آیا Apple Silicon یا پردازنده‌های یکپارچه جایگزین GPU می‌شوند؟ تراشه‌های یکپارچه با حافظهٔ مشترک می‌توانند برای برخی بارهای کاری هوش مصنوعی، به‌ویژه روی لپ‌تاپ‌ها، بسیار کارآمد باشند. اما برای آموزش مدل‌های بزرگ یا کارهای تولیدی سنگین، GPUهای اختصاصی با حافظهٔ بالا و اکوسیستم بالغ معمولاً انتخاب اصلی‌اند. انتخاب به اندازهٔ مدل، بودجه، مصرف انرژی و ابزارهای نرم‌افزاری موجود بستگی دارد.

نتیجه‌گیری عملی

GPU برای هوش مصنوعی مهم‌تر از CPU است، زیرا بار کاری غالب در یادگیری عمیق از جنس محاسبات عددی موازی و پرحجم است و GPU دقیقاً برای همین نوع محاسبات ساخته شده است. تعداد هستهٔ زیاد، پهنای باند حافظهٔ بالا، پشتیبانی نرم‌افزاری گسترده و توان پردازشی مناسب برای ماتریس‌ها، GPU را به موتور اصلی آموزش و استنتاج مدل‌های مدرن تبدیل می‌کند. با این حال، این به معنای کنار گذاشتن CPU نیست. CPU همچنان برای مدیریت، پیش‌پردازش، اجرای مدل‌های کوچک و هماهنگی اجزا ضروری است و در برخی سناریوها انتخاب اقتصادی‌تری است.

برای تصمیم عملی، ابتدا حجم داده و مدل، نیاز به تأخیر، تعداد درخواست‌های هم‌زمان و بودجه را مشخص کنید. اگر آموزش مدل متوسط تا بزرگ، پردازش دسته‌ای حجیم یا استنتاج مدل زبانی دارید، GPU را جدی بگیرید و به ظرفیت VRAM، پهنای باند حافظه و پشتیبانی نرم‌افزاری توجه کنید. اگر مدل کوچک، بار کاری کم یا دستگاه لبه‌ای دارید، ممکن است CPU کافی باشد. در بسیاری از معماری‌های موفق، CPU و GPU کنار هم کار می‌کنند: CPU داده را آماده می‌کند و GPU محاسبات سنگین را انجام می‌دهد. انتخاب هوشمندانه، نه انتخاب بزرگ‌ترین سخت‌افزار، بلکه انتخاب متناسب‌ترین ترکیب برای نیاز واقعی پروژه است.