اکثر پوچھے گئے سوالات

ہر ماڈل کو Podium Score (0–100) ملتا ہے: 35% ارینا Elo، 30% بینچ مارک اوسط، 20% Artificial Analysis کا انٹیلیجنس انڈیکس اور 15% LLM Stats — پانچ آزاد لیڈر بورڈز سے معمول اور مرتب۔

ہم پانچوں ذرائع کو ہر ہفتے ہم آہنگ کرتے ہیں۔ بڑے ماڈل اجراء فوری اپ ڈیٹ کرتے ہیں۔ ہر صفحے پر آخری اپ ڈیٹ کی تاریخ دکھائی جاتی ہے۔

ہم پانچ عوامی لیڈر بورڈز مرتب کرتے ہیں: Arena.ai (ارینا Elo)، Artificial Analysis (انٹیلیجنس انڈیکس اور کارکردگی)، LLM Stats، Vellum اور LLMBase۔ قیمتیں فراہم کنندہ کی دستاویزات سے۔

Podium Score چار معمول کیے گئے اشاروں کا وزنی اوسط ہے: ارینا Elo (35%)، بینچ مارک اوسط (30%)، انٹیلیجنس انڈیکس (20%) اور LLM Stats (15%)۔ گمشدہ اشارے دیگر ذرائع میں دوبارہ تقسیم ہوتے ہیں۔ تفصیلات طریقہ کار کے صفحے پر۔

تمام ماڈلز ہر بینچ مارک پر جانچے نہیں جاتے — کچھ کو خصوصی صلاحیتوں کی ضرورت ہوتی ہے (جیسے MMMU کے لیے ویژن) یا نئے ماڈلز پر ابھی نہیں چلائے گئے۔ غیر دستیاب ڈیٹا کے لیے ہم "—" دکھاتے ہیں۔

ہاں! موازنہ صفحے پر جائیں، 4 تک ماڈلز منتخب کریں اور تمام میٹرکس کا تفصیلی موازنہ دیکھیں: بینچ مارک، قیمتیں، رفتار اور تاخیر۔

ارینا Elo انسانی ووٹوں پر مبنی ترجیحی درجہ بندی ہے: دو گمنام ماڈلز ایک ہی سوال کا جواب دیتے ہیں، لوگ ووٹ دیتے ہیں، اور ووٹس اعتماد کے وقفوں کے ساتھ Elo درجہ بندی اپ ڈیٹ کرتے ہیں۔ یہ ہماری درجہ بندی کا سب سے بڑا اشارہ ہے۔

ہم فی ملین ان پٹ اور آؤٹ پٹ ٹوکنز کی قیمت دکھاتے ہیں، براہ راست ہر فراہم کنندہ کے سرکاری API قیمتوں کے صفحے سے۔ قدر کا زمرہ دونوں قیمتوں کو جوڑتا ہے — جتنا کم اتنا بہتر۔

یقیناً۔ ہم پرائیویٹری اور اوپن ویٹ دونوں ٹریک کرتے ہیں: DeepSeek، Alibaba (Qwen)، Moonshot AI (Kimi)، Z.ai (GLM)، MiniMax، Baidu وغیرہ۔ اوپن ویٹ ماڈلز کا اپنا لیڈر بورڈ /leaderboard/open پر ہے۔

TTFT سوال بھیجنے سے جواب کا پہلا ٹوکن ملنے تک کا وقت ماپتا ہے۔ جتنا کم اتنا بہتر۔ انٹرایکٹو ایپلیکیشنز کے لیے یہ ایک اہم میٹرک ہے جہاں فوری ردعمل اہم ہے۔

لیڈر بورڈ ڈیٹا عوامی بینچ مارکس سے ہے۔ استعمال کی شرائط کے لیے ہر بینچ مارک کا لائسنس دیکھیں۔ مشین سے پڑھنے کے قابل خلاصہ /llms.txt پر دستیاب ہے۔

جب کوئی فراہم کنندہ ماڈل اپ ڈیٹ کرتا ہے، تبدیلی کی اہمیت کے لحاظ سے ہم موجودہ اندراج اپ ڈیٹ کرتے ہیں یا نیا بناتے ہیں۔ بند کیے گئے ماڈلز آخری معلوم نتیجہ رکھتے ہیں اور "پرانا" کا لیبل پاتے ہیں۔