Multilingual LLM Bench

In Chicago, the City's Winter Overnight Parking Ban on 107 miles of arterial streets is enforced every night from December 1 to April 1, whether or not it snows. Between which hours of the night is parking banned on those streets? Answer in 24-hour time as HH:MM-HH:MM, with nothing else.

Chicago bans overnight parking on 107 miles of main streets every winter night from 1 December to 1 April. Between which hours? Answer: 03:00-07:00. 16 of 17 models got it right.

¿Qué locución verbal coloquial, recogida en el Diccionario de la lengua española, significa ‘hacer que una sola persona pague lo que ha perdido junto con otro u otros’, por ejemplo cuando varios compañeros pierden una partida y la cuenta entera recae sobre uno? Responde solo con la locución en infinitivo, sin explicación.

Which colloquial phrase in the Real Academia dictionary means making one person pay for what a whole group lost? Answer: cargar las cabras. 1 of 17 models got it right.

Em português europeu culto, num registo literário, use o verbo «contrafazer» (falsificar, imitar fraudulentamente). Complete a frase com a forma do condicional na 2.ª pessoa do plural (vós), substituindo «as assinaturas» pelo pronome átono correspondente colocado em mesóclise, com a grafia do Acordo Ortográfico de 1990: «Se vos pedissem as assinaturas do rei, ___ sem hesitar?» Responda apenas com a forma verbal, sem qualquer explicação.

Put the rare verb contrafazer (to forge) in the European Portuguese conditional, second person plural, with the object pronoun placed inside the verb. Answer: contrafá-las-íeis. 12 of 17 models got it right.

Dans le canton de Genève (Suisse), la loi cantonale sur les jours fériés déclare férié l'anniversaire de la restauration de la République. À quelle date de l'année tombe ce jour férié ? Répondez uniquement par le jour et le mois, sans explication.

The canton of Geneva keeps a public holiday for the restoration of the Republic. On what date does it fall? Answer: 31 décembre. 17 of 17 models got it right.

Welches deutsche Sprichwort (ein vollständiger Satz) besagt: Wer viel über etwas redet oder es großspurig ankündigt, muss dann auch konkrete Taten folgen lassen? Gemeint ist nicht die Wendung „den Worten Taten folgen lassen“. Antworten Sie nur mit dem Sprichwort im Wortlaut, ohne Erklärung.

Which German proverb says that whoever talks big has to deliver? Answer: Wer gackert, muss auch ein Ei legen. 2 of 17 models got it right.

Nell'italiano antico e letterario esiste il verbo impersonale «calere», che significa «importare, stare a cuore». Riscrivi la frase «Non credo che a lui importi di questa faccenda» usando il verbo «calere» al congiuntivo presente al posto di «importare», e sostituendo sia «a lui» sia «di questa faccenda» con i pronomi atoni corrispondenti. Scrivi soltanto le parole che vengono dopo «Non credo che», senza spiegazioni.

Rewrite "I don't think this matters to him" with the archaic impersonal verb calere in the present subjunctive and both objects as pronouns. Answer: gliene caglia. 13 of 17 models got it right.

Op het belfort (de Halletoren) aan de Grote Markt van Kortrijk slaan sinds 1961 twee vergulde figuren het uur. Onder welke namen staat dat paar in Kortrijk bekend? Antwoord met alleen de twee namen, verbonden door 'en', zonder uitleg.

Since 1961 two gilded figures have struck the hours on the belfry of Kortrijk's market square. What are they called locally? Answer: Manten en Kalle. 15 of 17 models got it right.

Jakie polskie przysłowie mówi żartobliwie, że niezapowiedziane, niespodziewane odwiedziny sprawiają gospodarzom ogromny kłopot? Podaj je w brzmieniu hasła z Wielkiego słownika języka polskiego PAN (WSJP), bez wyjaśnień.

Which Polish proverb jokes that an unannounced visit is a disaster for the hosts? Give the wording in the WSJP dictionary. Answer: Gość nie w porę gorszy od Tatarzyna. 8 of 17 models got it right.

Aşağıda Osmanlı Türkçesiyle, Arap harfleriyle yazılmış dört terim var. Her birini Türk Dil Kurumunun Güncel Türkçe Sözlük'ünde madde başı olarak geçtiği biçimde, bugünkü Latin harfli Türkçe yazımla yazın. Düzeltme işareti (şapka) ile bitişik ya da ayrı yazım tam olarak sözlükteki gibi olmalıdır. 1. كاتب عدل 2. اركان حرب 3. مدّعئ عمومى 4. وقايعنامه Yalnızca dört terimi aynı sırayla, aralarına virgül koyarak yazın; açıklama eklemeyin.

Write four Ottoman terms, given in Arabic script, in modern Turkish spelling exactly as the Turkish Language Association dictionary lists them. Answer: kâtibiadil, erkânıharp, müddeiumumi, vakayiname. 5 of 17 models got it right.

Ежегодный крестный ход с иконой «Знамение» Курской Коренной из курского Знаменского монастыря в Коренную пустынь (к нему исстари приурочивали и открытие Коренской ярмарки) совершается в пятницу, счёт которой ведут от Пасхи. Какая это по счёту пятница после Пасхи? Ответьте одним числом, без пояснений.

The yearly procession with the Kursk Root icon from Kursk to the Korennaya Pustyn monastery is held on a Friday counted from Easter. Which Friday after Easter? Answer: 9. 16 of 17 models got it right.

Яким жартівливим усталеним порівнянням кажуть про людину, що дуже уважно, пильно приглядається до чого-небудь? Напишіть лише сам порівняльний зворот, що починається словом «як», без дієслова і без пояснень.

Which joking Ukrainian comparison describes someone peering at something very intently? Answer: як сорока в кістку. 3 of 17 models got it right.

افترِض أنّ حُجّةً شرعيّة حُرِّرت في القاهرة بتاريخ 23 رجب 1219 هـ، محسوبًا بالتقويم الهجري الجدولي (الحسابي) على القواعد الآتية: أوّل المحرّم من سنة 1 هـ يوافق يوم الجمعة 16 يوليو 622م بالتقويم اليولياني، والأشهر الفردية (المحرّم وربيع الأول وجمادى الأولى ورجب ورمضان وذو القعدة) ثلاثون يومًا، والأشهر الزوجية تسعة وعشرون يومًا، ويُزاد يومٌ على ذي الحجة في السنوات الكبيسة، وهي السنوات التي ترتيبها 2 و5 و7 و10 و13 و16 و18 و21 و24 و26 و29 في كل دورة من ثلاثين سنة. ونُصّ في الحجة على أجلٍ يحلّ بعد مئة يوم تمامًا من تاريخ تحريرها (أي تاريخ التحرير مضافًا إليه 100 يوم). في أيّ يوم من أيام الأسبوع، وفي أيّ تاريخ ميلادي بالتقويم الغريغوري، يحلّ هذا الأجل؟ أجب بسطر واحد: اسم اليوم ثم التاريخ بالأرقام على هيئة سنة-شهر-يوم، مثل: الاثنين 1900-01-01، دون أي شرح.

A Cairo deed is dated 23 Rajab 1219 AH on the tabular Islamic calendar, whose rules are given. A term falls due 100 days later. Give its weekday and Gregorian date. Answer: الثلاثاء 1805-02-05. 11 of 17 models got it right.

در شهر کوهپایه‌ای مُجِن در شهرستان شاهرود (استان سمنان)، زنان در روزهای پایانی اسفند با خاک سرخ و سفیدی که از ارتفاعات پیرامون شهر می‌آورند، دیوارهای خانه‌های خشتی را از نو اندود می‌کنند و این‌گونه به پیشواز بهار می‌روند. مردم مجن در گویش محلی این رسم را چه می‌نامند؟ فقط نام محلی این رسم را بنویسید، بدون توضیح.

In the hill town of Mojen near Shahrud, women replaster their mud-brick walls with red and white earth before spring. What do locals call the custom? Answer: گل هاکنی. 1 of 17 models got it right.

हिंदी शब्दसागर (नागरी प्रचारिणी सभा) में दर्ज उस मुहावरे को लिखिए जो ऐसे व्यक्ति के लिए कहा जाता है जो किसी अप्रिय या खटकेवाली बात को दिन-रात देखते-सुनते उसका इतना आदी हो गया हो कि अब किसी आहट या खटके से न चौंकता है, न घबराता है। केवल मुहावरा लिखिए, कोई व्याख्या नहीं।

Which idiom in the Hindi Shabdsagar describes someone so used to a jarring noise that it no longer startles them? Answer: ठठेरे की बिल्ली. 0 of 17 models got it right.

Tuliskan frasa "kebudayaan kebangsaan untuk rakyat yang makmur" dalam Ejaan van Ophuijsen (ejaan resmi bahasa Melayu di Hindia Belanda tahun 1901 sampai 1947), lengkap dengan tanda diakritik yang dipakai ejaan itu. Jawab hanya dengan frasa hasil alih ejaannya dalam huruf kecil, tanpa penjelasan.

Write "national culture for a prosperous people" in the van Ophuijsen spelling used from 1901 to 1947, diacritics included. Answer: keboedajaän kebangsaän oentoek ra'jat jang ma'moer. 8 of 17 models got it right.

群馬県の郷土かるた「上毛かるた」で、2024年（令和6年）4月以降に出荷されるかるたに入っている「ち」の読み札の文言を答えてください。読み札の文言だけを書き、説明は不要です。

In Gunma's local card game Jōmō Karuta, what does the "chi" card say on sets shipped from April 2024? Answer: 力あわせる百九十万. 4 of 17 models got it right.

다음 뜻풀이에 해당하는 속담을 표준국어대사전에 실린 형태 그대로 쓰시오. 뜻: 모두가 경황없이 바쁘고 어수선한 때에, 그 일과는 전혀 상관없는 엉뚱한 일을 해 달라고 남에게 조르는 경우를 비유적으로 이르는 말. 설명 없이 속담만 답하시오.

Which proverb in the Standard Korean Language Dictionary describes pestering someone for an unrelated favour while everyone is frantic? Answer: 상여 나갈 때 귀청 내 달란다. 0 of 17 models got it right.

หนังสือราชการสยามฉบับหนึ่งลงวันที่ว่า "วันที่ ๑๕ กุมภาพันธ์ รัตนโกสินทรศก ๑๑๗" โดยนับวัน เดือน ปี ตามแบบที่ราชการสยามใช้อยู่ในเวลานั้น วันดังกล่าวตรงกับวันอะไรในสัปดาห์ และปีจุลศักราชที่ตรงกับวันนั้นเรียกว่าศกอะไร (ชื่อศกตามเลขท้ายปีจุลศักราช) ตอบในรูปแบบ "วัน... ...ศก" เช่น "วันจันทร์ เอกศก" เท่านั้น ไม่ต้องอธิบาย

A Siamese government letter is dated 15 February, Rattanakosin Era 117, counted the way Siam did then. Which weekday was it, and what was that Chula Sakarat year called? Answer: วันพุธ สัมฤทธิศก. 10 of 17 models got it right.

Lễ hội Trò Trám, tổ chức ngày 11 và 12 tháng Giêng âm lịch tại xã Phùng Nguyên, tỉnh Phú Thọ, còn được người dân gọi bằng một tên khác. Tên gọi khác đó là gì? Chỉ trả lời tên gọi, không giải thích.

The Trò Trám festival, held on the 11th and 12th of the first lunar month in Phùng Nguyên, Phú Thọ, has another popular name. What is it? Answer: Linh tinh tình phộc. 10 of 17 models got it right.

有一个四字成语，语本东汉应劭《风俗通义》的逸文，用来比喻企图同时占有两方面的好处、贪得无厌。请写出这个成语，只回答成语本身，不要解释。

Which four-character idiom, from a lost passage of Ying Shao's Fengsu Tongyi, describes greedily wanting both benefits at once? Answer: 东食西宿. 11 of 17 models got it right.

下面這句話混用了異體字。請依教育部《異體字字典》，把句中每一個異體字都改成它所屬的正字（臺灣的標準字體），其餘文字與標點一律不變。句子：「衆人圍在竈邊敍舊，唇上還沾着麪屑。」請只回答改好的整句，不要解釋。

Replace every variant character in a sentence with its standard Taiwanese form, following the Ministry of Education's variants dictionary. Answer: 眾人圍在灶邊敘舊，脣上還沾著麵屑。. 7 of 17 models got it right.

Obiceiul agrar de primăvară «Tânjaua de pe Mara», la care este sărbătorit cel mai harnic gospodar, primul ieșit la arat, se ține în fiecare an într-un sat din județul Maramureș. Cum se numește satul? Răspundeți doar cu numele satului, fără explicații.

The spring custom "Tânjaua de pe Mara", honouring the first farmer out ploughing, is held every year in a Maramureș village. Which one? Answer: Hoteni. 12 of 17 models got it right.

Apakah peribahasa Melayu yang bermaksud "mencari keuntungan dalam lingkungan keluarga atau kawan sendiri"? Tulis peribahasa itu sahaja, tanpa penjelasan.

Which Malay proverb means seeking profit from your own family or friends? Answer: Memancing dalam belanga. 0 of 17 models got it right.

বাংলাদেশে বাংলা একাডেমির সংশোধিত বাংলা বর্ষপঞ্জি (যে সংশোধন ১৪২৬ বঙ্গাব্দের আশ্বিন মাস থেকে কার্যকর) অনুযায়ী ৬ মার্চ ২০২৮ খ্রিষ্টাব্দ কোন বাংলা তারিখ, এবং সেদিন কী বার? তারিখ অঙ্কে লিখুন, এই ছাঁদে: তারিখ মাস বঙ্গাব্দ, বার। শুধু উত্তরটি লিখুন, কোনো ব্যাখ্যা দেবেন না।

Under the Bangla Academy's revised calendar used in Bangladesh, which Bengali date is 6 March 2028, and which weekday? Answer: ২২ ফাল্গুন ১৪৩৪, সোমবার. 11 of 17 models got it right.

جنوبی پنجاب اور سرائیکی وسیب میں لوگ ہر سال ایک مقررہ تاریخ کو سرائیکی ثقافتی دن (جسے سرائیکی اجرک ڈے بھی کہتے ہیں) مناتے ہیں اور نیلی سرائیکی اجرک پہنتے ہیں۔ یہ دن ہر سال کس تاریخ کو منایا جاتا ہے؟ جواب میں صرف تاریخ اور مہینے کا نام لکھیے، مثلاً "12 جنوری"، کوئی وضاحت نہیں۔

On which date each year do people in South Punjab mark Saraiki Culture Day and wear the blue Saraiki ajrak? Answer: 6 مارچ. 13 of 17 models got it right.

איזה ניב, שמקורו בתלמוד הבבלי ושרווח בספרות העברית החדשה (למשל אצל ביאליק), נאמר על שטר, תעודה או מסמך שאין בהם שום ערך, כמו שטרי חוב של מי שפשט את הרגל? כתבו את הניב בצורת שם הפועל שבה הוא מובא במילון, ללא ניקוד וללא הסבר.

Which Talmudic idiom, used by Bialik, describes a worthless document such as a bankrupt's IOUs? Answer: לצור על פי צלוחית. 5 of 17 models got it right.

I det äldre svenska skriftspråket (till exempel i Bibel 1917 och fram till mitten av 1900-talet) hade de starka verben särskilda pluralformer i preteritum indikativ och en egen preteritum konjunktiv. Sätt in de tre verben i meningen nedan i de starka former som det äldre skriftspråket krävde: det första och det andra i preteritum indikativ plural, det tredje i preteritum konjunktiv. "Medan gesällerna ___ (gjuta) den nya kyrkklockan och lärpojkarna ___ (kvida) av trötthet, önskade mästaren att natten ___ (skrida) fortare." Svara med endast de tre verbformerna i ordning, åtskilda av kommatecken, utan förklaring.

Fill in three strong verbs in the older written Swedish of the 1917 Bible: two past plurals and one past subjunctive. Answer: göto, kvedo, skrede. 7 of 17 models got it right.

Språkrådet har en offisiell liste over innbyggjarnamn i Norge. Hva kalles en person fra landskapet Solør (Grue, Åsnes og Våler i Innlandet) ifølge denne lista? Svar bare med ordet i ubestemt form entall, uten forklaring.

What is someone from the Solør district called, according to the Language Council of Norway's list of demonyms? Answer: solung. 8 of 17 models got it right.

Hvilket dansk ordsprog bruger man om, at også den, der arbejder langsomt eller har ringe evner og midler, til sidst når sit mål? Svar kun med ordsproget, uden forklaring.

Which Danish proverb says that even the slow and poorly equipped get there in the end? Answer: den der ager med stude, kommer også frem. 1 of 17 models got it right.

Slovo hrabě mělo ve starší češtině podle Slovníku spisovného jazyka českého (SSJČ) kromě dnešního rodu ještě jiný, zastaralý rod (dokládá ho např. u Klicpery). Přepište větu „Ten starý hrabě byl už dlouho nemocen.“ tak, aby všechna slova, která se s podmětem shodují, odpovídala tomuto zastaralému rodu. Jmenný (krátký) tvar přídavného jména ponechte jmenný a pořadí slov neměňte. Odpovězte pouze přepsanou větou, bez vysvětlení.

Older Czech treated hrabě (count) as neuter. Rewrite "The old count had long been ill" so every agreeing word takes that old gender. Answer: To staré hrabě bylo už dlouho nemocno.. 10 of 17 models got it right.