🏆Live Benchmark & Ranking Matrix
Results Matrix
Community-driven benchmark ranking frontier and open-weights models on native Arabic fluency across practical domains.
Wanted for Mahak
Claude 3.7 Sonnet200K
57 models25 prompts1423 contributions120 votes
🗳️1405 cells awaiting votesHow ranking works: Wilson 95% lower bound, 5 votes to rank, 30 to calibrate, arena Elo. How scores are calculated
Prompt × Model | 🥇 #1 Claude 3.5 Sonnet (Anthropic) 200K ⚡2.23 pts/$($15/1M) Elo Unavailable CI unavailable — insufficient evidence — unqualified_for_live_requests | 🥈 #2 Gemini 1.5 Pro (Google) 2M ⚡6.7 pts/$($5/1M) Elo Unavailable CI unavailable — insufficient evidence — unqualified_for_live_requests | 🥉 #3 GPT-4o (OpenAI) 128K ⚡2.74 pts/$($10/1M) Elo Unavailable CI unavailable — insufficient evidence — unqualified_for_live_requests | #4 DeepSeek V3 Open164K ⚡14.79 pts/$($0.89/1M) Elo Unavailable CI unavailable — insufficient evidence — unqualified_for_live_requests | #5 Qwen 2.5 72B (Alibaba) Open131K ⚡7.51 pts/$($0.4/1M) Elo Unavailable CI unavailable — insufficient evidence — unqualified_for_live_requests | #6 Claude Haiku 4 5 200K Elo Unavailable | #7 Claude Opus 4 8 Low Elo Unavailable | #8 Claude Sonnet 4 200K Elo Unavailable | #9 Claude Sonnet 4 5 200K Elo Unavailable | #10 Deepseek V3 2 Open131K Elo Unavailable | #11 Deepseek V4 1 Flash Open1.0M Elo Unavailable | #12 Deepseek V4 1 Flash High Elo Unavailable | #13 Deepseek V4 1 Flash Low Elo Unavailable | #14 Deepseek V4 1 Flash Max Elo Unavailable | #15 Devin Swe 1 7 Max Elo Unavailable | #16 Gemini 3 5 Flash Lite 1.0M Elo Unavailable | #17 Gemini 3 8 Flash 1.0M Elo Unavailable | #18 Gemini 3 8 Flash High Elo Unavailable | #19 Gemini 3 8 Flash Low Elo Unavailable | #20 Gemini 3 8 Flash Medium Elo Unavailable | #21 Gemini Flash 3 1 Lite High Elo Unavailable | #22 Gemini Flash 3 1 Lite Low Elo Unavailable | #23 Gemini Flash 3 1 Lite Medium Elo Unavailable | #24 Glm 5 Open203K Elo 1184 | #25 Glm 5 3 Flash Open1.0M Elo Unavailable | #26 Grok 4 6 Low Elo 1216 | #27 Hy3 Open262K Elo Unavailable | #28 Hy4 Preview Open1.0M Elo Unavailable | #29 Inkling Small Open524K Elo Unavailable | #30 Laguna S 2 1 Open1.0M Elo Unavailable | #31 Ling 3 0 Flash Sante 256K Elo Unavailable | #32 Longcat 2 0 1M Elo Unavailable | #33 Mimo V2 5 Open1M Elo Unavailable | #34 Mimo V2 5 Pro Open1.0M Elo Unavailable | #35 Minimax M2 1 Open205K Elo Unavailable | #36 Minimax M2 5 Open205K Elo Unavailable | #37 Minimax M3 Open524K Elo Unavailable | #38 Minimax M3 Low Elo Unavailable | #39 Minimax M3 Medium Elo Unavailable | #40 Muse Spark Elo 1218.3 | #41 Nemotron 3 Ultra Open131K Elo Unavailable | #42 Nemotron 3 Ultra 550b A55b Open262K Elo Unavailable | #43 Omen Alpha 500K Elo 1181.7 | #44 Penguin Max Elo Unavailable | #45 Qwen 3 7 Flash 1M Elo Unavailable | #46 Qwen 3 8 27b Open1M Elo Unavailable | #47 Qwen 3 8 Flash 1M Elo Unavailable | #48 Qwen 3 8 Flash Low Elo Unavailable | #49 Qwen 3 8 Flash Medium Elo Unavailable | #50 Qwen 3 8 Flash Next Open262K Elo Unavailable | #51 Qwen 3 8 Flash Xhigh Elo Unavailable | #52 Qwen 3 8 Max 1M Elo Unavailable | #53 Qwen3 Coder Next Open262K Elo Unavailable | #54 Step 3 5 Flash Open262K Elo Unavailable | #55 Step 3 7 Flash Open262K Elo Unavailable | #56 Swe 2 Low Elo Unavailable | #57 Swe 2 Medium Elo Unavailable |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
نزاع بيع تجاري عبر تطبيق واتساب Legal Contracts | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||
عقد تطوير برمجيات وفق النظام السعودي Legal Contracts | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||
اتفاقية عدم إفصاح أحادية لشركة ناشئة Legal Contracts | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||
رد تعاقدي على توسيع نطاق العمل Legal Contracts | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||
إشعار إنهاء عقد إيجار تجاري Legal Contracts | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||
قصيدة عمودية في الذكاء الاصطناعي Creative Writing | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||
افتتاحية رواية تاريخية في بغداد Creative Writing | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||
حوار بلاغي رمزي بين الماء والصحراء Creative Writing | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||
مقطوعة شعرية نبطية في الكرم Creative Writing | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||
قصة أطفال رمزية حول الأمان الرقمي Creative Writing | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||
نزاع طلب سوبر ماركت أونلاين Customer Support | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||
خطأ طباعة كروت أفراح Customer Support | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||
تأخر شحنة عبر الحدود Customer Support | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||
طلب استرجاع اشتراك SaaS Customer Support | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||
دعم تقني لكبير سن Customer Support | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||
خطاب رسمي لرفع زيادة سعر المورد Business Communication | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||
مقترح شراكة استراتيجية Business Communication | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||
ملخص اجتماع مجلس الإدارة Business Communication | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||
اعتذار عن انقطاع الخدمة السحابية Business Communication | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||
إعادة التفاوض مع مورد Business Communication | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||
استخراج JSON نقي Instruction Following | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||
توليد إعداد YAML Instruction Following | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||
تلخيص في ثلاث جمل بالضبط Instruction Following | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||
إخراج CSV جدولي Instruction Following | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||
شرح التمثيل الضوئي بحروف محظورة Instruction Following |
