🏆Live Benchmark & Ranking Matrix
Results Matrix
Community-driven benchmark ranking frontier and open-weights models on native Arabic fluency across practical domains.
Wanted for Mahak
Claude 3.7 Sonnet200K
60 models25 prompts1497 contributions120 votes
🗳️1480 cells awaiting votesHow ranking works: Wilson 95% lower bound, 5 votes to rank, 30 to calibrate, arena Elo. How scores are calculated
Prompt × Model | 🥇 #1 Claude 3.5 Sonnet (Anthropic) 200K ⚡2.23 pts/$($15/1M) Elo Unavailable CI unavailable — insufficient evidence — unqualified_for_live_requests | 🥈 #2 Gemini 1.5 Pro (Google) 2M ⚡6.7 pts/$($5/1M) Elo Unavailable CI unavailable — insufficient evidence — unqualified_for_live_requests | 🥉 #3 GPT-4o (OpenAI) 128K ⚡2.74 pts/$($10/1M) Elo Unavailable CI unavailable — insufficient evidence — unqualified_for_live_requests | #4 DeepSeek V3 Open164K ⚡14.79 pts/$($0.89/1M) Elo Unavailable CI unavailable — insufficient evidence — unqualified_for_live_requests | #5 Qwen 2.5 72B (Alibaba) Open131K ⚡7.51 pts/$($0.4/1M) Elo Unavailable CI unavailable — insufficient evidence — unqualified_for_live_requests | #6 Claude Haiku 4 5 200K Elo Unavailable | #7 Claude Opus 4 8 Low Elo Unavailable | #8 Claude Sonnet 4 200K Elo Unavailable | #9 Claude Sonnet 4 5 200K Elo Unavailable | #10 Deepseek V3 2 Open131K Elo Unavailable | #11 Deepseek V4 1 Flash Open1.0M Elo Unavailable | #12 Deepseek V4 1 Flash High Elo Unavailable | #13 Deepseek V4 1 Flash Low Elo Unavailable | #14 Deepseek V4 1 Flash Max Elo Unavailable | #15 Deepseek V4 Flash Open1M Elo Unavailable | #16 Deepseek V4 Flash High Elo Unavailable | #17 Devin Swe 1 7 Max Elo Unavailable | #18 Gemini 3 5 Flash Lite 1.0M Elo Unavailable | #19 Gemini 3 8 Flash 1.0M Elo Unavailable | #20 Gemini 3 8 Flash High Elo Unavailable | #21 Gemini 3 8 Flash Low Elo Unavailable | #22 Gemini 3 8 Flash Medium Elo Unavailable | #23 Gemini Flash 3 1 Lite High Elo Unavailable | #24 Gemini Flash 3 1 Lite Low Elo Unavailable | #25 Gemini Flash 3 1 Lite Medium Elo Unavailable | #26 Glm 5 Open203K Elo 1184 | #27 Glm 5 3 Flash Open1.0M Elo Unavailable | #28 Grok 4 6 Low Elo 1216 | #29 Hy3 Open262K Elo Unavailable | #30 Hy4 Preview Open1.0M Elo Unavailable | #31 Inkling Small Open524K Elo Unavailable | #32 Laguna S 2 1 Open1.0M Elo Unavailable | #33 Ling 3 0 Flash Sante 256K Elo Unavailable | #34 Longcat 2 0 1M Elo Unavailable | #35 Mimo V2 5 Open1M Elo Unavailable | #36 Mimo V2 5 Pro Open1.0M Elo Unavailable | #37 Minimax M2 1 Open205K Elo Unavailable | #38 Minimax M2 5 Open205K Elo Unavailable | #39 Minimax M3 Open524K Elo Unavailable | #40 Minimax M3 High Elo Unavailable | #41 Minimax M3 Low Elo Unavailable | #42 Minimax M3 Medium Elo Unavailable | #43 Muse Spark Elo 1218.3 | #44 Nemotron 3 Ultra Open131K Elo Unavailable | #45 Nemotron 3 Ultra 550b A55b Open262K Elo Unavailable | #46 Omen Alpha 500K Elo 1181.7 | #47 Penguin Max Elo Unavailable | #48 Qwen 3 7 Flash 1M Elo Unavailable | #49 Qwen 3 8 27b Open1M Elo Unavailable | #50 Qwen 3 8 Flash 1M Elo Unavailable | #51 Qwen 3 8 Flash Low Elo Unavailable | #52 Qwen 3 8 Flash Medium Elo Unavailable | #53 Qwen 3 8 Flash Next Open262K Elo Unavailable | #54 Qwen 3 8 Flash Xhigh Elo Unavailable | #55 Qwen 3 8 Max 1M Elo Unavailable | #56 Qwen3 Coder Next Open262K Elo Unavailable | #57 Step 3 5 Flash Open262K Elo Unavailable | #58 Step 3 7 Flash Open262K Elo Unavailable | #59 Swe 2 Low Elo Unavailable | #60 Swe 2 Medium Elo Unavailable |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
نزاع بيع تجاري عبر تطبيق واتساب Legal Contracts | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
عقد تطوير برمجيات وفق النظام السعودي Legal Contracts | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
اتفاقية عدم إفصاح أحادية لشركة ناشئة Legal Contracts | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
رد تعاقدي على توسيع نطاق العمل Legal Contracts | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
إشعار إنهاء عقد إيجار تجاري Legal Contracts | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
قصيدة عمودية في الذكاء الاصطناعي Creative Writing | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
افتتاحية رواية تاريخية في بغداد Creative Writing | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
حوار بلاغي رمزي بين الماء والصحراء Creative Writing | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
مقطوعة شعرية نبطية في الكرم Creative Writing | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
قصة أطفال رمزية حول الأمان الرقمي Creative Writing | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
نزاع طلب سوبر ماركت أونلاين Customer Support | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
خطأ طباعة كروت أفراح Customer Support | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
تأخر شحنة عبر الحدود Customer Support | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
طلب استرجاع اشتراك SaaS Customer Support | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
دعم تقني لكبير سن Customer Support | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
خطاب رسمي لرفع زيادة سعر المورد Business Communication | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
مقترح شراكة استراتيجية Business Communication | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
ملخص اجتماع مجلس الإدارة Business Communication | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
اعتذار عن انقطاع الخدمة السحابية Business Communication | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
إعادة التفاوض مع مورد Business Communication | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
استخراج JSON نقي Instruction Following | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
توليد إعداد YAML Instruction Following | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
تلخيص في ثلاث جمل بالضبط Instruction Following | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
إخراج CSV جدولي Instruction Following | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
شرح التمثيل الضوئي بحروف محظورة Instruction Following |
