Решение олимпиадных задач с проверкой
Решает задачи IMO, Putnam, USAMO и AIME и проверяет доказательства состязательно, а при сомнениях честно отказывается.
- Что делает
- Решает задачи IMO, Putnam, USAMO и AIME и проверяет доказательства состязательно, а при сомнениях честно отказывается.
- Когда брать
- Когда нужно решить олимпиадную задачу, доказать неравенство, проверить чужое доказательство или найти контрпример.
- Когда не брать
- Для обычных школьных задач и вычислений: такая многоступенчатая проверка для них избыточна.
- Пример запроса
- Реши эту задачу IMO и проверь доказательство на пробелы, а если не уверен в решении, так и скажи.
- Работает лучше с
- LaTeX (pdflatex) для PDF
Входит в плагин math-olympiad. В Cowork и Claude Code можно поставить плагин целиком.
Как включить
- Скачайте архив и распакуйте его.
- Положите папку
math-olympiadв~/.claude/skills/. - Откройте Claude Code и опишите задачу своими словами: Claude подхватит скилл по описанию.
Текст
---
name: math-olympiad
description:
"Решает задачи математических соревнований (IMO, Putnam, USAMO, AIME) со
состязательной проверкой, которая ловит ошибки, ускользающие от самопроверки.
Включается, когда просят «реши эту задачу IMO», «докажи это олимпиадное
неравенство», «проверь это доказательство с соревнования», «найди
контрпример», «верно ли это доказательство», а также для любой задачи со
словами «IMO», «Putnam», «USAMO», «олимпиада» или «математика соревнований».
Работает на чистых рассуждениях (без инструментов), а затем проверяющий со
свежим контекстом атакует доказательство по конкретным шаблонам ошибок, а не
общим «проверь логику». Выдаёт калиброванную уверенность: скажет «уверенного
решения нет», а не станет блефовать. Если доступен LaTeX, после успешной
проверки собирает чистый PDF."
version: 0.1.0
---
Решатель олимпиадных задач по математике
Пять вещей, которые меняют результат
- Убирай рассуждения до проверки. Проверяющий, который видит ход мыслей, склоняется к согласию. Свежий контекст, только очищенное доказательство.
- «Это доказывает гипотезу Римана (RH)?» Если частный случай твоей теоремы для ζ — известная нерешённая проблема, в доказательстве есть пробел. Самый надёжный тревожный сигнал.
- Короткое доказательство → выдели общую лемму. Попробуй контрпримеры 2×2. Если общий вид неверен, найди, что особенного именно в ЭТОМ случае.
- Один и тот же пробел дважды → отступи на шаг. Разбор случаев может заслонять единое рассуждение. Три строки иногда делают то, что не смогли двенадцать страниц.
- Говори «уверенного решения нет». Неверный ответ с уверенностью хуже, чем честный отказ.
Политика инструментов: в режиме с жёстким бюджетом решающие и проверяющие используют ТОЛЬКО РАССУЖДЕНИЯ. Математика соревнований — это рассуждения. Вычисления нужны для глубокого режима (§6c), да и там они ограничены: рекуррентность с двойной экспонентой нельзя вычислять дальше n~30, работай вместо этого по модулю 2^m.
Когда какой подход использовать
| Задача | Подход | Проверка |
|---|---|---|
| Числовой ответ AIME | Лучший из N → голосование большинством | Только проверка ответа |
| Олимпиадное доказательство (IMO/Putnam/USAMO) | Полный рабочий процесс ниже | 5 проходов, состязательная |
| «Верно ли это доказательство?» | Сразу к проверке (шаг 4) | Состязательная + поиск лазеек в условии |
| Целый набор задач (например, все 6 с соревнования) | По очереди: один полный рабочий процесс на задачу, собери результаты, скомпилируй один PDF | Состязательная для каждой задачи |
Пакет в одном Workflow: задай opts.label в каждом вызове agent() так, чтобы он включал номер задачи (например, label: "P3:solver:2"). Без меток 36 результатов вернутся без привязки к задачам. Запускай задачи параллельно: важна метка, а не порядок.
Для целого набора задач
Запусти по одному рабочему процессу решения на задачу (один и тот же промт ДОСЛОВНО, разные условия). Запускай их параллельно. Когда все вернутся, запусти состязательную проверку по каждой задаче. Задачи, прошедшие проверку, попадают в PDF с доказательством; задачи, от которых агент отказался, получают «Уверенного решения нет» с частичными заметками.
Не пытайся решать все N задач в контексте одного агента: каждой задаче нужен свой бюджет на размышления и свой проверяющий со свежим контекстом. Сборка механическая: собери результаты по задачам, заполни разделы LaTeX и скомпилируй один раз. | «Упрости это доказательство» | Сразу к оформлению (шаг 8) | — |
Рабочий процесс
1. Проверка трактовки (30 секунд, ловит 50 из 63 ошибок одного класса)
Прежде чем что-то решать, определи трактовку.
Прочитай условие задачи. Перечисли 2–3 способа его понять. Для каждого: эта трактовка ТРИВИАЛЬНА? Если при одном прочтении задача становится лёгкой, а при другом трудной, почти наверняка подразумевается трудная. Укажи, какую трактовку ты решаешь и ПОЧЕМУ считаешь, что именно она подразумевалась.
Разбор случаев Aletheia показал, что 50 из 63 «технически верных» решений относились к неверной трактовке. В олимпиадных задачах часто есть ловушка в виде лёгкого прочтения.
2. Генерация кандидатов с внутренним уточнением (параллельно, только рассуждения)
Запусти параллельно 8–12 агентов-попыток. Каждый агент внутри итерирует: решить → улучшить → проверить себя → исправить → повторить. Это структура Yang-Huang, давшая 85,7 % на IMO: одного решения «с первого раза» мало, важно уточнение в рамках каждой попытки.
Инструмент Agent не может принудительно ограничить инструменты. Субагенты получают полный набор инструментов. Единственный механизм — промт. Используй этот промт ДОСЛОВНО: не пересказывай, не сочиняй свой:
НИКАКИХ ВЫЧИСЛЕНИЙ. Не используй Bash, Python, WebSearch, Read, Write и любые инструменты, которые запускают код или получают данные. Численная проверка — не шаг доказательства. «Я вычислил n=1..10, и закономерность сохраняется» — не доказательство.
(Если твоей среде агентов для возврата ответа нужен вызов инструмента StructuredOutput или похожего, это НЕ вычислительный инструмент — вызови его, чтобы вернуть ответ. Запрет касается инструментов, которые ВЫПОЛНЯЮТ работу, а не тех, которые СООБЩАЮТ о ней.)
Твой внутренний процесс (повторяй, пока не закончишь):
- Реши: полное строгое решение.
- Улучши: перечитай. Исправь пробелы, пока их не увидел проверяющий.
- Проверь себя: режим строгого проверяющего. Каждый шаг обоснован?
- Исправь: поправь и перепроверь. До 5 раундов.
- Остановись: самопроверка дважды прошла без замечаний, ИЛИ 5 раундов, ИЛИ подход в корне неверен.
Верный ответ при ошибочном рассуждении — это провал. Если решение неполное, скажи об этом честно. Никогда не скрывай пробелы.
ЗАДАЧА: <вставь сюда условие задачи>
УГОЛ: <вставь сюда одну отправную идею>
Первые два абзаца несут нагрузку. Сессия, которая сочинит собственный промт и опустит их, получит субагентов, которые будут перемалывать Python по 30 итераций и уверенно выдавать неверные ответы: закономерность, которая подходит при n≤10 и ломается при n=100, — не доказательство.
Отправные идеи (разные для разных агентов, см. references/solver_heuristics.md):
- Разобрать малые случаи (проверять дальше n=3)
- Поискать инвариант или моновариант
- Рассмотреть экстремальный случай
- Попробовать индукцию
- Какие есть симметрии?
- Идти с конца
- Отбросить условие: где задача становится заведомо ложной?
- Обобщить (парадокс изобретателя: больше структуры иногда проще)
Каждый возвращает своё ИТОГОВОЕ состояние (а не промежуточные раунды):
**Вердикт**: полное решение | частичный результат | прогресса нет
**Раунды**: [сколько циклов проверка→исправление]
**Метод**: [ключевая идея, один абзац]
**Подробное решение**: [полное пошаговое решение, каждый шаг обоснован]
**Ответ**: [если применимо]
**Заметки самопроверки**: [что поймал и исправил; оставшиеся сомнения]
Политика повторов: если агент упал или не уложился во время, повтори один раз. Временные сбои случаются.
3. Очистка решения (изоляция контекста — рычаг №1)
След рассуждений склоняет проверяющего к согласию: длинная цепочка мыслей выглядит как подтверждение, даже если вывод неверен. Перед любой проверкой убери:
- Всё содержимое блоков рассуждений
- Всю прозу вида «Попробую...» / «Нет, подожди...» / «Хм»
- Все неудачные заходы и откаты
Остаются только условие задачи и чистое итоговое рассуждение.
Возьми из вывода каждого решающего только разделы Метод, Доказательство и Ответ. Проверяющий никогда не видит, как решающий к этому пришёл.
4. Состязательная проверка (свежий контекст, вооружённая шаблонами)
Для каждого очищенного решения запусти свежего проверяющего агента. Свежий контекст: он видит только (условие задачи + очищенное решение). Никаких инструментов.
Задача проверяющего — АТАКОВАТЬ, а не ставить оценку. Промты загрузи из references/adversarial_prompts.md. Ключевые шаблоны, которые он прогоняет:
| Шаблон | Проверка |
|---|---|
| #4 | Специализируется ли эта теорема до известного объекта (ζ, квадратичный закон взаимности и т. п.) и доказывает ли про него что-то открытое? → пробел |
| #18 | Подставь собственные промежуточные тождества доказательства в любой «оставшийся пробел». Получается исходное утверждение? → тавтология |
| #40 | Есть ли шаг-«лемма в одну строку»? Выдели ОБЩИЙ вид. Найди контрпример 2×2. Если общий вид неверен, найди, какая особая структура спасает ЭТОТ случай |
| #5 | Для каждой применённой теоремы: перепроверь условия С НУЛЯ. «Непрерывна на [0,1]» ≠ «непрерывна на ℝ» |
| #6 | Есть ли бесконечная сумма, «ограниченная» через регуляризованное значение? Проверь границу: если там полюс, сумма расходится |
Полный список шаблонов: references/verifier_patterns.md
Проверяющий возвращает:
**Вердикт**: ВЕРНО | НАЙДЕН ПРОБЕЛ | НЕЯСНО
**Если НАЙДЕН ПРОБЕЛ**:
- Место: [процитируй проблемный шаг]
- Шаблон: [какая проверка сработала, или «другое»]
- Почему это ломается: [конкретно]
- Можно исправить?: [да, с помощью X / нет, принципиально]
5. Ранжирование и проверка голосованием (асимметрия + ранний выход)
Ранжируй решения по (вердикт, уверенность проверяющего). Возьми лучшее. Запусти до 5 свежих проверяющих агентов.
Асимметричные пороги: 4 «ВЕРНО», чтобы подтвердить, 2 «НАЙДЕН ПРОБЕЛ», чтобы опровергнуть. Почему асимметрично: один ненадёжный проверяющий не должен губить верное доказательство, а два независимых несогласия — уже настоящий сигнал.
Ранний выход по принципу Дирихле: прекращай запускать проверяющих, как только исход решён.
- 2 говорят «НАЙДЕН ПРОБЕЛ» → опровергнуто, стоп (сэкономь оставшиеся 3 вызова)
- 4 говорят «ВЕРНО» → подтверждено, стоп (сэкономь 5-й)
- После 3 проверяющих: если 2 «ВЕРНО» + 1 «ПРОБЕЛ», запусти ещё 2 (исход не решён). Если 3 «ВЕРНО» + 0 «ПРОБЕЛ», запусти ещё 1 (всё ещё может выйти 4–1).
Двойная изоляция контекста: каждый проверяющий не видит (а) следа рассуждений решающего — он уже убран на шаге 3, — И (б) вердиктов других проверяющих. Каждый считает себя первым. Никакого социального доказательства вроде «3 агента уже подтвердили».
Решающий не может проверять собственное решение. Другой агент, свежий контекст.
5b. Когда один случай не закрывается — отступи, а не перемалывай
Если доказательство распадается на случаи и один доказывается легко, а другой сопротивляется: прежде чем перемалывать трудный случай, спроси себя, есть ли путь, при котором разбиение исчезает.
Приём, который выручает: гипотеза трудного случая часто влечёт что-то сильное о *промежуточном объекте*, на который ты не смотрел. Используй это следствие напрямую вместо исходной цепочки.
Конкретная форма: доказываем f(n) ≤ cn для функции f с ограничениями, с разбиением по простому p, делящему f(n). Одна ветвь закрывается рассуждениями об индексе в (ℤ/p^e)\*. Другая сопротивляется: та же групповая структура, но арифметика не даёт противоречия. Решение: гипотеза «p | f(n)», подставленная обратно в определяющее уравнение, даёт f(p) = p. Получив это, аргумент Ферма+Дирихле убивает обе ветви за три строки. Разбиение было объездом: оно шло по переменной, которая при этой гипотезе принимает известное значение.
Проверь, когда застрял на случае B:
- Что гипотеза случая B даёт для f в *других* точках?
- Нет ли другой пары (a,b), которую можно подставить в определяющее уравнение?
- Не доказываешь ли ты слишком многое? (Более чистому противоречию нужно меньше аппарата.)
Это же выигрыш на проходе оформления: доказательство без разбиения и короче, и общее.
6. Доработка (если нужно)
Если проверка нашла пробел: запусти агента-доработчика. Он получает (очищенное решение + отчёт проверяющего о пробеле). По-прежнему БЕЗ доступа к исходным рассуждениям: доработчик исходит из пробела, а не перечитывает, как ты к нему пришёл.
Проверяющий нашёл в доказательстве такую проблему:
[отчёт о пробеле]
Исправь доказательство. Если пробел принципиальный (подход не работает), скажи об этом и верни **Вердикт: уверенного решения нет** с тем частичным прогрессом, который остался.
Любой шаг, который не удаётся закрыть полностью, пометь прямо в тексте: [GAP: конкретное описание того, что осталось]. Пробелы — в тексте доказательства, а не в отдельном списке: их можно найти поиском, и следующий доработчик точно знает, куда смотреть.
До 3 циклов доработки. Затем повтори голосование по доработанному доказательству.
Если сработал шаблон #40 (доказательство в одну строку слишком чистое), доработчик получает усиленное задание — шаблон «Состязательное задание» из references/adversarial_prompts.md, §7. Он вынуждает к бинарному выбору: «общая лемма очевидно ложна (вот контрпример 2×2), поэтому либо найди, что особенного в ЭТОМ случае, либо найди, где доказательство ломается». Ответить «выглядит нормально» нельзя.
6c. Глубокий режим (когда режим с жёстким бюджетом отказывается)
Стандартный рабочий процесс рассчитан на жёсткий бюджет: 8 решающих, ~15 минут, чистые рассуждения. Когда он отказывается, задаче может быть нужно больше времени, а не больше возможностей.
Глубокий режим — это один сфокусированный агент, у которого:
- Неограниченное время — нет давления по часам
- Допускаются целевые вычисления — проверки модульной арифметики, перебор малых случаев, символьная проверка тождеств. НЕ исследовательский перебор и не неограниченная рекурсия.
- Причина отказа как отправная точка — если проверяющие нашли конкретный пробел, начни с него. Если решающие так и не заявили о полном решении, начни с того, что они частично доказали.
Классический случай: сфокусированный агент получает доказанное к этому моменту и фразу «один случай леммы 5 остаётся открытым» — и находит рассуждение в три строки, которое скрывало разбиение на случаи. Часто это занимает меньше 10 минут и почти без вычислений. Глубокий режим — это устойчивое внимание к задаче, а не заваливание её вычислениями.
Чем глубокий режим НЕ является: открытое исследование, поиск литературы, поиск готовых решений, многодневное расследование. Это другой рабочий процесс (math-research). Глубокий режим — по-прежнему «реши ЭТУ задачу сам», только без часов.
НИКАКОГО ВЕБА. НИКАКОГО ПОИСКА ГОТОВОГО. В глубоком режиме можно использовать Bash/Python для ограниченных вычислений, но НИКОГДА не WebFetch, WebSearch и никакой доступ к сети. Найти решение на AoPS или в блоге — это не решить задачу, а сжульничать на олимпиаде, и это ничего не говорит нам о реальных возможностях скилла. Поставь это В НАЧАЛО промта глубокого режима:
НИКАКОГО ДОСТУПА В ИНТЕРНЕТ. Не используй WebFetch, WebSearch и любые инструменты, которые обращаются к интернету. Не ищи эту задачу, её решение или похожие задачи. Ты решаешь её сам: разрешены только локальные вычисления (Bash/Python для арифметики по модулю k, перебора малых случаев n≤10, символьной проверки тождеств). Если ты вызовешь веб-инструмент, доказательство аннулируется.
Границы вычислений в глубоком режиме (урок бага №8): у задачи A6 b\_{n+1}=2b_n²+b_n+1 двойная экспонента; у b_99 около 10^{2^98} цифр. Никогда не вычисляй такие объекты точно: работай в ℤ/2^m, или отслеживай только v_p(·), или доказывай рекуррентность по модулю нужной величины. Если вычисление идёт дольше 60 секунд, оно, скорее всего, неограниченное. Останови его и работай символьно.
Шаг 6d (обязательный): после любого ОТКАЗА на этапе проверки автоматически запусти одного агента глубокого режима, прежде чем записывать отказ в результат. Дай ему:
- Условие задачи
- Лучшее частичное доказательство от решающих с жёстким бюджетом
- Описания пробелов от проверяющих (что именно не закрылось)
- Указание: «НИКАКОГО ДОСТУПА В ИНТЕРНЕТ — не ищи эту задачу и её решение. Допускаются ограниченные локальные вычисления (по модулю 2^k, малые случаи n≤10, символьная проверка тождеств только через Bash/Python). Предел вычисления — 60 секунд. Если перебор при n≤10 выявляет закономерность, которую упустили решающие с жёстким бюджетом, эта закономерность И ЕСТЬ структура доказательства.»
Глубокий агент может найти конструкцию, которую решающие на чистых рассуждениях не увидели. Если и он отказывается, ТОГДА записывай отказ. Не пропускай этот шаг: задачи с ответами вида √n или log n часто невидимы для чистых рассуждений, потому что оптимальная структура асимметрична.
Самоограничение оркестратора: сам оркестратор не должен искать задачу в вебе, чтобы «помочь» глубокому агенту. Если соблазн открыть ветку на AoPS «просто сверить ответ» — не делай этого: это загрязняет результат скилла и искажает его реальные возможности.
7. Калиброванный отказ
Если все 3 цикла доработки провалились: остановись и признай это.
**Вердикт**: уверенного решения нет
**Что пробовали**: [подходы]
**Что БЫЛО доказано**: [любая лемма или частичный результат, прошедшие проверку]
**Где ломается**: [неисправленный пробел]
НЕ угадывай. Неверный уверенный ответ хуже честного «не смог решить». Значимая метрика — УСЛОВНАЯ точность: когда ты говоришь «решено», прав ли ты?
8. Проход оформления (после того как верность установлена)
ПРОВЕРЕННО-ВЕРНОЕ доказательство часто не КРАСИВОЕ доказательство. Порядок, в котором ты до него дошёл, редко бывает лучшим порядком для изложения. Запусти свежего агента оформления с проверенным доказательством.
Загрузи references/presentation_prompts.md. Агент спрашивает:
- Как проще всего это сказать?
- Какие леммы стоит встроить в текст, а какие заслуживают отдельного места?
- Нет ли ИЗБЫТОЧНОГО? (строить двойную экспоненту, когда хватает линейной)
- Теперь, когда ответ известен, нет ли доказательства в 3 строки, видного задним числом?
Результат: доказательство в формате LaTeX. Если доступен pdflatex (scripts/check_latex.sh возвращает 0), дополнительно собери PDF через scripts/compile_pdf.sh.
Настройки по умолчанию для разных моделей
Подробности — в references/model_tier_defaults.md. Кратко:
| Модель | Решающих | Проходов проверки | Отказ после | Оформление |
|---|---|---|---|---|
| Haiku | 8 | 3 | 2 неудачных доработок | пропустить |
| Sonnet | 4 | 5 | 3 неудачных доработок | да |
| Opus | 3 | 5 + полный обход шаблонов | 4 неудачных доработок | 2 черновика, выбрать чище |
Более слабые модели: больше параллельных попыток, более быстрый отказ. Более сильные модели: более глубокая проверка, больше усилий на оформление.
Для задач с числовым ответом (в стиле AIME)
Пропусти аппарат доказательств. Запусти 5–7 решающих с разными подходами, возьми числовой ответ по большинству голосов. Если большинства нет: проверь двух лучших кандидатов подстановкой.
Ключевые справочные материалы
references/verifier_patterns.md— 12 состязательных проверокreferences/adversarial_prompts.md— готовые промты для проверяющихreferences/presentation_prompts.md— промты для «наведения красоты» + шаблон LaTeXreferences/model_tier_defaults.md— настройки для каждой модели
Чем это отличается от обычного «проверь и доработай»
- Двойная изоляция контекста: проверяющий не видит (а) следа рассуждений решающего, который склоняет к согласию, и (б) вердиктов других проверяющих, потому что социальное доказательство тоже склоняет к согласию. Каждый проверяющий считает себя первым.
- Атаки по конкретным шаблонам: не «это верно?», а «нет ли тут ошибки №40? ошибки №4?» Конкретика лучше общих слов. Таксономия опровержений из 7 категорий даёт проверяющему чек-лист.
- Асимметричное голосование + ранний выход по принципу Дирихле: 4 для подтверждения, 2 для опровержения. Один ненадёжный проверяющий не губит верное доказательство, а два несогласных губят. Прекращай запускать проверяющих, как только исход решён: на очевидных случаях это экономит около 30 % затрат на проверку.
- Сначала проверка на игру с условием: явно спрашивает «это подразумеваемая трактовка?» до решения. Это ошибка №1 в предыдущих работах (50 из 63 «верных» ответов решали не то прочтение).
- Калиброванный отказ: скажет «уверенного решения нет» с частичными результатами. Оптимизирует условную точность, а не охват.
- Проход оформления: верность и изящество — отдельные шаги. Агент оформления получает ПРОВЕРЕННОЕ доказательство и находит самый чистый способ его изложить.
Перевод: iiuniversitet. Оригинал: https://github.com/anthropics/claude-plugins-official/tree/main/plugins/math-olympiad/skills/math-olympiad, лицензия Apache-2.0. Изменения: перевод на русский язык.
Оригинал на английском
---
name: math-olympiad
description:
"Solve competition math problems (IMO, Putnam, USAMO, AIME) with adversarial
verification that catches the errors self-verification misses. Activates when
asked to 'solve this IMO problem', 'prove this olympiad inequality', 'verify
this competition proof', 'find a counterexample', 'is this proof correct', or
for any problem with 'IMO', 'Putnam', 'USAMO', 'olympiad', or 'competition
math' in it. Uses pure reasoning (no tools) — then a fresh-context adversarial
verifier attacks the proof using specific failure patterns, not generic 'check
logic'. Outputs calibrated confidence — will say 'no confident solution'
rather than bluff. If LaTeX is available, produces a clean PDF after
verification passes."
version: 0.1.0
---
# Math Olympiad Solver
## The five things that change outcomes
1. **Strip thinking before verifying** — a verifier that sees the reasoning is
biased toward agreement. Fresh context, cleaned proof only.
2. **"Does this prove RH?"** — if your theorem's specialization to ζ is a famous
open problem, you have a gap. Most reliable red flag.
3. **Short proof → extract the general lemma** — try 2×2 counterexamples. If
general form is false, find what's special about THIS instance.
4. **Same gap twice → step back** — the case split may be obscuring a unified
argument. Three lines sometimes does what twelve pages couldn't.
5. **Say "no confident solution"** — wrong-and-confident is worse than honest
abstain.
---
**Tool policy**: Solvers and verifiers use THINKING ONLY in the tight-budget
workflow. Competition math is reasoning. Computation is for deep mode (§6c), and
even then bounded — a recurrence that's doubly-exponential can't be computed
past n~30, work mod 2^m instead.
---
## When to use which approach
| Problem | Approach | Verification |
| ---------------------------------------------------- | ------------------------------------------------------------------------------ | ------------------------- |
| AIME numeric answer | Best-of-N → majority vote | Answer check only |
| Olympiad proof (IMO/Putnam/USAMO) | Full workflow below | 5-pass adversarial |
| "Is this proof correct?" | Skip to verification (step 4) | Adversarial + spec-gaming |
| **Full problem set** (e.g. all 6 from a competition) | Sequential: one full workflow per problem, collect results, compile single PDF | Per-problem adversarial |
**Batch in one Workflow**: Set `opts.label` on every `agent()` call to include
the problem ID (e.g., `label: "P3:solver:2"`). Without labels, 36 results come
back with no problem association. Run problems in parallel — the label is what
matters, not ordering.
### For a full problem set
Launch one solver workflow per problem (same VERBATIM prompt, different
statement). Run them in parallel. When all return, run adversarial verification
per problem. Problems that pass get their proof in the PDF; problems that
abstain get "No confident solution" with partial notes.
Don't try to solve all N problems in one agent's context — each problem needs
its own thinking budget and its own fresh-context verifier. The composition is
mechanical: collect the per-problem outputs, fill in LaTeX sections, compile
once. | "Simplify this proof" | Skip to presentation (step 8) | — |
---
## The Workflow
### 1. Interpretation check (30 seconds, catches 50/63 of one class of errors)
Before solving anything, identify the interpretation.
> Read the problem statement. List 2-3 ways it could be interpreted. For each:
> is this reading TRIVIAL? If one reading makes the problem easy and another
> makes it hard, the hard one is almost certainly intended. State which
> interpretation you're solving and WHY you believe it's the intended one.
The Aletheia case study found 50 of 63 "technically correct" solutions were for
the wrong interpretation. Olympiad problems often have a trap easy reading.
### 2. Generate candidates with internal refinement (parallel, thinking only)
Launch 8-12 attempt agents in parallel. **Each agent internally iterates** —
solve → self-improve → self-verify → correct → repeat. This is the Yang-Huang
structure that achieves 85.7% on IMO: one-shot solving isn't enough; per-attempt
refinement matters.
**The Agent tool cannot enforce tool restriction.** Subagents get the full tool
set. The only mechanism is the prompt. Use this prompt VERBATIM — do not
summarize, do not synthesize your own:
```
NO COMPUTATION. Do not use Bash, Python, WebSearch, Read, Write, or any tool that runs code or fetches data. Numerical verification is not a proof step. "I computed n=1..10 and the pattern holds" is not a proof.
(If your agent harness requires a StructuredOutput or similar return-mechanism tool call, that is NOT a computation tool — call it to return your answer. The restriction is on tools that DO work, not tools that REPORT work.)
Your internal process (iterate until done):
- Solve: Complete rigorous solution.
- Self-improve: Reread. Fix gaps before a grader sees it.
- Self-verify: Strict grader mode. Every step justified?
- Correct: Fix and re-verify. Up to 5 rounds.
- Stop: Self-verify passes twice clean, OR 5 rounds, OR approach fundamentally wrong.
A correct answer from flawed reasoning is a failure. If incomplete, say so honestly. Never hide gaps.
PROBLEM: <insert the problem statement here>
ANGLE: <insert one starting angle here>
```
The first two paragraphs are load-bearing. A session that writes its own prompt
and omits them will produce subagents that grind Python for 30 iterations and
confidently get wrong answers — a pattern that fits n≤10 but fails at n=100 is
not a proof.
Starting angles (vary across agents — see `references/solver_heuristics.md`):
- Work out small cases (test past n=3)
- Look for an invariant or monovariant
- Consider the extremal case
- Try induction
- What symmetries?
- Work backwards
- Drop a condition — where does it become trivially false?
- Generalize (inventor's paradox — more structure is sometimes easier)
Each returns its FINAL state (not intermediate rounds):
```
**Verdict**: complete solution | partial result | no progress
**Rounds**: [how many verify→correct cycles]
**Method**: [key idea, one paragraph]
**Detailed Solution**: [full step-by-step, every step justified]
**Answer**: [if applicable]
**Self-verification notes**: [what you caught and fixed; remaining concerns]
```
**Retry policy**: If an agent fails or times out, retry once. Transient failures
happen.
### 3. Clean the solution (context isolation — the #1 lever)
The thinking trace biases the verifier toward agreement — a long chain of
reasoning reads as supporting evidence even when the conclusion is wrong. Before
any verification, strip:
- All thinking-block content
- All "Let me try..." / "Actually wait..." / "Hmm" prose
- All false starts and backtracking
What remains: problem statement + clean final argument only.
Extract only the **Method** + **Proof** + **Answer** sections from each solver's
output. The verifier never sees how the solver got there.
### 4. Adversarial verify (fresh context, pattern-armed)
For each cleaned solution, launch a fresh verifier agent. **Fresh context**: it
sees only (problem statement + cleaned solution). **No tools.**
The verifier's job is to ATTACK, not grade. Load
`references/adversarial_prompts.md` for the prompts. The key patterns it runs:
| Pattern | The check |
| ------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------ |
| **#4** | Does this theorem specialize to a famous object (ζ, quadratic reciprocity, etc.) and prove something open about it? → gap |
| **#18** | Substitute the proof's own intermediate identities into any "remaining gap." Recover the original claim? → tautological |
| **#40** | Is any step a "one-line lemma"? Extract the GENERAL form. Find a 2×2 counterexample. If the general form is false, find what special structure saves THIS instance |
| **#5** | For each invoked theorem: re-check hypotheses FROM SCRATCH. "Continuous on [0,1]" ≠ "continuous on ℝ" |
| **#6** | Any infinite sum "bounded" via a regularized value? Check the boundary — if there's a pole there, the sum diverges |
Full pattern list: `references/verifier_patterns.md`
Verifier returns:
```
**Verdict**: HOLDS | HOLE FOUND | UNCLEAR
**If HOLE FOUND**:
- Location: [quote the problematic step]
- Pattern: [which check fired, or "other"]
- Why it breaks: [specific]
- Fixable?: [yes with X / no, fundamental]
```
### 5. Rank and vote-verify (asymmetric + early exit)
Rank solutions by (verdict, verifier confidence). Take the top one. Run up to 5
fresh verifier agents.
**Asymmetric thresholds**: 4 HOLDS to confirm, 2 HOLE FOUND to refute. Why
asymmetric: one flaky verifier shouldn't kill a correct proof; but two
independent dissents is a real signal.
**Pigeonhole early exit**: stop launching verifiers once the outcome is decided.
- 2 say HOLE FOUND → refuted, stop (save the remaining 3 calls)
- 4 say HOLDS → confirmed, stop (save the 5th)
- After 3 verifiers: if 2 HOLDS + 1 HOLE, launch 2 more (outcome undecided). If
3 HOLDS + 0 HOLE, launch 1 more (could still hit 4-1).
**Dual context-isolation**: each verifier is blind to (a) the solver's thinking
trace — already stripped in step 3 — AND (b) other verifiers' verdicts. Each
verifier thinks it's the first. No "3 agents already confirmed this" social
proof.
**A solver cannot verify its own solution.** Different agent, fresh context.
### 5b. When one case won't close — step back before grinding
If a proof splits into cases and one case proves easily but the other resists:
**before grinding through the hard case, ask whether there's a route that makes
the split disappear.**
The pattern that saves you: the hard case's very hypothesis often implies
something strong about an _intermediate object_ you haven't looked at. Use that
implication directly instead of the original chain.
Concrete shape: proving f(n) ≤ cn for a constrained function f, with a case
split on a prime p dividing f(n). One branch closes by index arguments in
(ℤ/p^e)\*. The other branch resists — same group structure, but the arithmetic
doesn't contradict. The fix: the hypothesis "p | f(n)" plugged back into the
governing equation implies **f(p) = p itself**. Once you have that, a
Fermat+Dirichlet argument kills both branches in three lines. The case split was
a detour — it was splitting on a variable that, under the hypothesis, takes a
known value.
Check when stuck on case B:
- What does case B's hypothesis imply about f at _other_ inputs?
- Is there a different pair (a,b) to plug into the governing equation?
- Are you proving too much? (A cleaner contradiction needs less machinery.)
This is also a presentation-pass win: the split-free proof is shorter AND more
general.
### 6. Revise (if needed)
If verification finds a hole: launch a reviser agent. It gets (cleaned
solution + verifier's hole report). STILL no access to the original thinking —
the reviser works from the hole, not by rereading how you got there.
```
A verifier found this issue in the proof:
[hole report]
Fix the proof. If the hole is fundamental (the approach doesn't work), say so and return **Verdict: no confident solution** with what partial progress remains.
For any step you cannot fully close, mark it inline: [GAP: specific description of what remains]. Gaps in the proof text, not in a separate list — they're greppable and the next reviser knows exactly where to look.
```
Up to 3 revise cycles. Then re-run the vote on the revised proof.
**If pattern #40 fired** (one-line-proof-too-clean), the reviser gets a stronger
brief — the Adversarial Brief template from `references/adversarial_prompts.md`
§7. It forces a binary: "the general lemma is obviously false (here's a 2×2
counterexample) — so either find what's special about THIS case, or find where
the proof breaks." Can't return "looks fine."
### 6c. Deep mode (when tight-budget abstains)
The standard workflow is tight-budget: 8 solvers, ~15 min, pure reasoning. When
it abstains, the problem may need more time, not more capability.
**Deep mode** is a single focused agent with:
- **Unlimited time** — no wall-clock pressure
- **Targeted computation allowed** — modular arithmetic checks, small-case
enumeration, symbolic verification of identities. NOT exploratory brute force
or unbounded recursion.
- **The abstention reason as starting point** — if verifiers found a specific
gap, start there. If solvers never claimed complete, start from what they
partially proved.
The archetype: a focused agent that gets the proven-so-far state plus "one case
of Lemma 5 is open" — and finds a 3-line argument the case split was obscuring.
Often under 10 minutes with almost no computation. Deep mode is about giving the
problem sustained attention, not throwing compute at it.
**What deep mode is NOT**: open-ended exploration, literature search, looking up
solutions, multi-day investigation. That's a different workflow
(`math-research`). Deep mode is still "solve THIS problem yourself" — just
without the clock.
**NO WEB. NO LOOKUP.** Deep mode may use Bash/Python for bounded computation,
but NEVER WebFetch, WebSearch, or any network access. Finding the solution on
AoPS or a blog is not solving the problem — it's cheating on an olympiad, and it
teaches us nothing about the skill's actual capability. Put this at the TOP of
the deep-mode prompt:
```
NO WEB ACCESS. Do not use WebFetch, WebSearch, or any tool that touches the internet. Do not look up this problem, its solution, or related problems. You are solving this yourself — the only allowed computation is local (Bash/Python for mod-k arithmetic, small-case enumeration n≤10, symbolic identity checks). If you invoke a web tool, the proof is void.
```
**Computation bounds in deep mode** (bug #8 lesson): A6's b\_{n+1}=2b_n²+b_n+1
is doubly-exponential; b_99 has ~10^{2^98} digits. Never compute such objects
exactly — work in ℤ/2^m, or track only v_p(·), or prove the recursion mod the
quantity you care about. If a computation is running longer than 60 seconds,
it's probably unbounded. Kill it and work symbolically.
**Step 6d (not optional)**: After any ABSTAIN at the verify stage, automatically
launch one deep-mode agent before writing the abstention into the output. Give
it:
- The problem statement
- The best partial proof from tight-budget solvers
- The verifier gap descriptions (what specifically didn't close)
- The instruction: "NO WEB ACCESS — do not look up this problem or its solution.
Bounded local computation allowed (mod 2^k, small cases n≤10, symbolic
identity checks via Bash/Python only). 60-second computation limit. If n≤10
brute force reveals a pattern the tight-budget solvers missed, that pattern IS
the proof structure."
The deep agent may find the construction the pure-reasoning solvers couldn't
see. If it also abstains, THEN write the abstention. Do not skip this step —
problems with √n or log n answers are often invisible to pure reasoning because
the optimal structure is the asymmetric one.
**Orchestrator self-restraint**: The orchestrator itself must not web-search the
problem "to help" the deep agent. If you're tempted to Fetch an AoPS thread
"just to check the answer," don't — that contaminates the skill's output and
misrepresents its capability.
### 7. Calibrated abstention
If 3 revise cycles all fail: **stop and admit it.**
```
**Verdict**: no confident solution
**What was tried**: [approaches]
**What WAS proven**: [any lemma or partial result that survived verification]
**Where it breaks**: [the unfixed hole]
```
Do NOT guess. A wrong confident answer is worse than an honest "couldn't solve
it." The metric that matters is CONDITIONAL accuracy — when you say "solved,"
are you right?
### 8. Presentation pass (after correctness is established)
A VERIFIED-CORRECT proof is often not a BEAUTIFUL proof. The order you
discovered it is rarely the best order to present it. Launch a fresh
presentation agent with the verified proof.
Load `references/presentation_prompts.md`. The agent asks:
- What's the simplest way to say this?
- Which lemmas should be inlined? Which deserve to stand alone?
- Is anything OVERKILL? (constructing a double exponential when linear suffices)
- Now that we know the answer, is there a 3-line hindsight proof?
Output: LaTeX-formatted proof. If `pdflatex` is available
(`scripts/check_latex.sh` returns 0), also compile to PDF via
`scripts/compile_pdf.sh`.
---
## Model tier defaults
Read `references/model_tier_defaults.md` for full details. Summary:
| Model | Solvers | Verify passes | Abstain after | Presentation |
| ------ | ------- | ---------------------- | -------------- | ---------------------- |
| Haiku | 8 | 3 | 2 revise fails | skip |
| Sonnet | 4 | 5 | 3 revise fails | yes |
| Opus | 3 | 5 + full pattern sweep | 4 revise fails | 2 drafts, pick cleaner |
Weaker models: more parallel attempts, faster abstention. Stronger models:
deeper verification, more presentation effort.
---
## For numeric-answer problems (AIME-style)
Skip the proof machinery. Run 5-7 solvers with varied approaches, take majority
vote on the numeric answer. If no majority: verify the top 2 candidates by
substitution.
---
## Key references
- `references/verifier_patterns.md` — the 12 adversarial checks
- `references/adversarial_prompts.md` — ready-to-use verifier prompts
- `references/presentation_prompts.md` — beautification prompts + LaTeX template
- `references/model_tier_defaults.md` — per-model configuration
---
## What makes this different from generic verify-and-refine
1. **Dual context isolation**: verifier is blind to (a) the solver's thinking
trace — which biases toward agreement — and (b) other verifiers' verdicts —
social proof also biases. Each verifier thinks it's first.
2. **Pattern-specific attacks**: not "is this correct?" but "does this make the
#40 mistake? the #4 mistake?" Specific beats generic. The 7-category
refutation taxonomy gives the verifier a checklist.
3. **Asymmetric vote + pigeonhole exit**: 4-to-confirm, 2-to-refute. One flaky
verifier doesn't kill a correct proof; two dissents does. Stop launching
verifiers once the outcome is decided — saves ~30% of verification cost on
clear cases.
4. **Specification-gaming check first**: explicitly asks "is this the intended
interpretation?" before solving. The #1 failure mode in prior work (50/63
"correct" answers solved the wrong reading).
5. **Calibrated abstention**: will say "no confident solution" with partial
results. Optimizes conditional accuracy, not coverage.
6. **Presentation pass**: correctness and elegance are separate steps. The
presentation agent gets the VERIFIED proof and finds the cleanest way to say
it.
Источник: anthropics/claude-plugins-official / math-olympiad / math-olympiad ↗. Ссылка проверена 2026-10-10.