خلاصۀ مقاله: اگر تاکنون از API مدل‌های هوش مصنوعی مانند GPT، Claude، Gemini، Qwen، DeepSeek یا Llama استفاده کرده باشید، احتمالاً با واژۀ «توکن (Token)» مواجه شده‌اید. تقریباً تمام ارائه‌دهندگان API هزینه را بر اساس تعداد توکن‌های ورودی و خروجی محاسبه می‌کنند. در این مقاله به زبان ساده توضیح می‌دهیم توکن چیست، چگونه محاسبه می‌شود، چه تفاوتی با کلمه دارد، چه انواعی دارد و چگونه می‌توان تعداد توکن‌ها و در نتیجه هزینۀ API را کاهش داد.

توکن در API هوش مصنوعی چیست؟

یکی از اولین مفاهیمی که هنگام کار با API مدل‌های هوش مصنوعی با آن روبه‌رو می‌شوید، توکن (Token) است.

برخلاف تصور بسیاری از افراد، مدل‌های هوش مصنوعی متن را به شکل «کلمه» پردازش نمی‌کنند؛ بلکه متن را به واحدهای کوچک‌تری به نام توکن تقسیم می‌کنند. هر درخواستی که به مدل ارسال می‌کنید و هر پاسخی که از مدل دریافت می‌کنید، به تعداد مشخصی توکن تبدیل می‌شود.

به همین دلیل تقریباً تمام سرویس‌های هوش مصنوعی هزینه را بر اساس تعداد توکن‌های مصرف‌شده محاسبه می‌کنند، نه تعداد درخواست‌ها یا تعداد کلمات.

اگر می‌خواهید از API مدل‌های هوش مصنوعی به‌صورت حرفه‌ای استفاده کنید، درک مفهوم توکن کاملاً ضروری است.

توکن (Token) چیست؟

توکن کوچک‌ترین واحد متنی است که مدل هوش مصنوعی برای پردازش از آن استفاده می‌کند.

یک توکن ممکن است یکی از موارد زیر باشد:

• یک کلمه کامل
• بخشی از یک کلمه
• یک عدد
• یک علامت نگارشی
• فاصله
• حتی یک کاراکتر

بنابراین برخلاف تصور رایج:

هر کلمه لزوماً یک توکن نیست.

گاهی یک کلمه فارسی یا انگلیسی چند توکن تولید می‌کند و گاهی چند کلمه کوتاه تنها یک یا دو توکن هستند.

مدل‌های هوش مصنوعی چرا از Token استفاده می‌کنند؟

مدل‌های زبانی بزرگ (LLM) متن را مستقیماً درک نمی‌کنند.

ابتدا متن به توکن تبدیل می‌شود.

سپس هر توکن به یک بردار عددی تبدیل می‌شود و مدل روی همین داده‌های عددی عملیات انجام می‌دهد.

به همین دلیل تمام عملیات زیر بر اساس توکن انجام می‌شوند:

• خواندن متن
• درک سؤال
• تولید پاسخ
• محاسبۀ هزینه
• محدودیت Context Window
• محدودیت Rate Limit
• اندازه‌گیری مصرف API

تفاوت Token و کلمه چیست؟

این یکی از رایج‌ترین سؤالات کاربران است.

کلمه چیزی است که انسان می‌خواند.

اما توکن چیزی است که مدل هوش مصنوعی می‌خواند.

مثلاً جمله:

سلام، حال شما چطور است؟

ممکن است به چندین توکن مختلف تقسیم شود.

یا عبارت انگلیسی:

Artificial Intelligence

معمولاً بیش از دو توکن خواهد داشت.

بنابراین هیچ رابطۀ ثابتی میان تعداد کلمات و تعداد توکن‌ها وجود ندارد.

هر توکن چند کلمه است؟

یک قانون تقریبی که بسیاری از شرکت‌های ارائه‌دهندۀ API نیز از آن استفاده می‌کنند این است:

• هر توکن انگلیسی تقریباً معادل ۰٫۷۵ کلمه است.
• هر ۱۰۰ توکن تقریباً ۷۵ کلمه انگلیسی هستند.
• هر ۱۰۰۰ توکن تقریباً ۷۵۰ کلمه انگلیسی هستند.

اما در زبان فارسی این نسبت متفاوت است.

به دلیل ساختار کلمات فارسی، استفاده از نیم‌فاصله، پسوندها و نحوۀ توکن‌سازی، معمولاً تعداد توکن‌ها بیشتر از انگلیسی خواهد بود.

به همین دلیل هنگام توسعۀ نرم‌افزارهای فارسی بهتر است همیشه تعداد واقعی توکن‌ها اندازه‌گیری شود و به تخمین‌های انگلیسی اکتفا نکنید.

چه چیزهایی به توکن تبدیل می‌شوند؟

تقریباً تمام محتوایی که برای مدل ارسال می‌کنید به توکن تبدیل می‌شود.

برای مثال:

• متن سؤال
• پیام System
• پیام Developer
• تاریخچۀ گفتگو
• فایل‌های متنی
• خروجی ابزارها
• پاسخ مدل
• قالب JSON
• Function Calling
• Tool Calls

همۀ این موارد در محاسبۀ هزینه نقش دارند.

به همین دلیل هرچه درخواست شما بزرگ‌تر باشد، تعداد توکن بیشتری مصرف خواهد شد.

انواع Token در API هوش مصنوعی

در اغلب APIهای مدرن، توکن‌ها به چند دسته تقسیم می‌شوند.

۱. Input Token

Input Token همان توکن‌هایی هستند که شما برای مدل ارسال می‌کنید.

برای مثال:

• Prompt
• پیام کاربر
• پیام System
• تاریخچۀ گفتگو

همگی Input Token محسوب می‌شوند.

۲. Output Token

Output Token توکن‌هایی هستند که مدل در پاسخ تولید می‌کند.

هرچه پاسخ طولانی‌تر باشد، تعداد Output Token نیز بیشتر خواهد شد.

در بسیاری از مدل‌ها، قیمت Output Token از Input Token بیشتر است.

۳. Cached Token

برخی مدل‌های جدید از قابلیتی به نام Prompt Caching استفاده می‌کنند.

در این حالت اگر بخشی از Prompt قبلاً پردازش شده باشد، مدل دوباره آن را از ابتدا پردازش نمی‌کند.

در نتیجه:

• سرعت افزایش پیدا می‌کند.
• هزینه کاهش پیدا می‌کند.

به همین دلیل در بسیاری از مدل‌های جدید، Cached Token قیمت بسیار پایین‌تری نسبت به Input Token دارد.

۴. Reasoning Token

مدل‌های استدلالی جدید مانند خانواده‌های جدید مدل‌های Reasoning هنگام حل مسائل پیچیده، توکن‌هایی را برای فرایند استدلال داخلی مصرف می‌کنند.

این توکن‌ها معمولاً به کاربر نمایش داده نمی‌شوند، اما ممکن است در برخی مدل‌ها در آمار مصرف یا قیمت‌گذاری لحاظ شوند.

هزینه API چگونه بر اساس Token محاسبه می‌شود؟

تقریباً تمام ارائه‌دهندگان API مدل‌های هوش مصنوعی از یک فرمول ساده استفاده می‌کنند:

هزینه نهایی =(Input Token × قیمت ورودی)+(Output Token × قیمت خروجی)

اگر مدل از Cached Token یا Reasoning Token پشتیبانی کند، ممکن است این بخش‌ها نیز با تعرفۀ جداگانه محاسبه شوند.

به همین دلیل دو درخواست با تعداد یکسان کلمات، لزوماً هزینۀ یکسانی نخواهند داشت.

مثال واقعی

فرض کنید درخواست زیر را ارسال می‌کنید:

• ۱۵۰۰ Input Token
• ۸۰۰ Output Token

اگر قیمت مدل بر اساس هر یک میلیون توکن تعیین شده باشد، هزینه به‌صورت جداگانه برای بخش ورودی و خروجی محاسبه می‌شود و سپس با هم جمع می‌شود.

به همین دلیل هنگام انتخاب مدل، باید هم قیمت Input و هم قیمت Output را بررسی کنید.

چرا گاهی هزینه بیشتر از انتظار می‌شود؟

بسیاری از توسعه‌دهندگان تصور می‌کنند فقط متن سؤال هزینه دارد.

در حالی که معمولاً موارد زیر نیز به درخواست اضافه می‌شوند:

• پیام System
• دستورهای برنامه
• تاریخچۀ کامل گفتگو
• خروجی ابزارها
• اطلاعات RAG
• JSON Schema
• Function Calling

در نتیجه ممکن است تنها یک سؤال کوتاه، هزاران توکن مصرف کند.

ارتباط Token با Context Window چیست؟

Context Window حداکثر تعداد توکن‌هایی است که مدل می‌تواند به‌طور هم‌زمان پردازش کند.

این مقدار شامل هر دو بخش زیر است:

• توکن‌های ورودی
• توکن‌های خروجی

برای مثال اگر مدلی Context Window برابر با ۱۲۸ هزار توکن داشته باشد، مجموع تمام اطلاعات ورودی به‌همراه پاسخ تولیدشده باید در این محدودۀ مشخص قرار بگیرد.

هرچه Context Window بزرگ‌تر باشد، مدل می‌تواند اسناد طولانی‌تر یا تاریخچۀ بیشتری از گفتگو را در نظر بگیرد.

چگونه تعداد Token را کاهش دهیم؟

کاهش تعداد توکن‌ها یکی از مؤثرترین روش‌های کاهش هزینۀ API است.

چند راهکار کاربردی عبارت‌اند از:

• Promptهای کوتاه و دقیق بنویسید.
• تاریخچۀ غیرضروری گفتگو را حذف کنید.
• متن‌های طولانی را خلاصه کنید.
• فقط اطلاعات مرتبط را برای مدل ارسال کنید.
• از RAG به‌جای ارسال کل اسناد استفاده کنید.
• از Prompt Caching در مدل‌های پشتیبانی‌شده بهره ببرید.
• مقدار max_tokens را متناسب با نیاز تنظیم کنید.
• از قابلیت Auto Routing برای انتخاب مدل مناسب استفاده کنید.

آیا تصاویر و فایل‌ها هم توکن مصرف می‌کنند؟

بله، در بسیاری از مدل‌های چندوجهی (Multimodal)، تصاویر، فایل‌های PDF، صوت و سایر ورودی‌ها نیز به شکلی به واحدهای قابل پردازش تبدیل می‌شوند و در میزان مصرف یا قیمت‌گذاری اثر دارند.

با این حال، نحوۀ محاسبۀ آن بسته به مدل و ارائه‌دهندۀ API متفاوت است و همیشه صرفاً بر اساس توکن متنی نیست.

اشتباهات رایج درباره Token

بسیاری از کاربران این تصورهای نادرست را دارند:

• هر کلمه دقیقاً یک توکن است.
• فقط متن سؤال هزینه دارد.
• پاسخ مدل رایگان است.
• مدل‌های مختلف توکن را دقیقاً یکسان محاسبه می‌کنند.
• تعداد درخواست مهم‌تر از تعداد توکن است.

در عمل، هیچ‌یک از این موارد به‌طور کلی درست نیست و نحوۀ توکن‌سازی و قیمت‌گذاری می‌تواند بین مدل‌ها متفاوت باشد.

سوالات متداول

آیا هر کلمه یک Token است؟

خیر. یک کلمه ممکن است یک، دو یا چند توکن داشته باشد و حتی گاهی چند کلمه کوتاه در قالب تعداد کمی توکن پردازش شوند.

آیا پاسخ مدل هم هزینه دارد؟

بله. بیشتر ارائه‌دهندگان برای توکن‌های خروجی نیز هزینه دریافت می‌کنند و در برخی مدل‌ها، قیمت خروجی از ورودی بیشتر است.

آیا زبان فارسی توکن بیشتری مصرف می‌کند؟

در بسیاری از موارد بله. به دلیل ساختار زبان فارسی و نحوۀ توکن‌سازی، متن فارسی معمولاً نسبت به متن انگلیسی با حجم مشابه، تعداد توکن بیشتری تولید می‌کند.

چگونه تعداد Token را ببینم؟

بسیاری از APIها تعداد توکن‌های مصرف‌شده را در پاسخ API نمایش می‌دهند. همچنین ابزارهای شمارش توکن نیز برای برخی خانواده‌های مدل در دسترس هستند.

جمع‌بندی

توکن، واحد اصلی پردازش متن در مدل‌های هوش مصنوعی است و تقریباً تمام APIهای مدرن هزینه را بر اساس تعداد توکن‌های ورودی و خروجی محاسبه می‌کنند. آشنایی با مفهوم Token به شما کمک می‌کند هزینه‌های پروژه را بهتر مدیریت کنید، مدل مناسب‌تری انتخاب کنید و درخواست‌های بهینه‌تری برای API ارسال کنید.

اگر قصد دارید از چندین مدل هوش مصنوعی در یک پروژه استفاده کنید، استفاده از یک API یکپارچه می‌تواند مدیریت مصرف، هزینه و انتخاب مدل را ساده‌تر کند. درواره دسترسی به صدها مدل هوش مصنوعی را از طریق یک API سازگار با OpenAI فراهم می‌کند و امکاناتی مانند Auto Routing، Fallback و مدیریت متمرکز مصرف را در اختیار توسعه‌دهندگان قرار می‌دهد.