الرمز (Token)

ماذا يعني الرمز (Token)؟

لا تعالج نماذج الذكاء الاصطناعي مستندات كاملة دفعة واحدة. بل تقسّم النص إلى رموز، وهي قطع صغيرة - فقد تكون كلمة قصيرة رمزًا واحدًا، بينما تنقسم كلمة أطول إلى عدة رموز. يقرأ النموذج هذه الرموز ويكتبها بالتسلسل.

كقاعدة تقريبية، يعادل الرمز الواحد نحو ثلاثة أرباع كلمة في الإنجليزية، فتكون كل مئة كلمة تقريبًا 130 إلى 150 رمزًا. يُحتسب مدخلك ورد الذكاء الاصطناعي كلاهما بالرموز.

لماذا يهم الرمز (Token)؟

الرموز هي وحدة قياس استخدام الذكاء الاصطناعي وتسعيره، لذا يصبح هذا المفهوم مهمًا حالما تبني أدوات حقيقية. فهمه يساعدك على إدارة التكلفة والبقاء ضمن الحدود.