Точность в нашем замере
Замер 23–24 октября 2026 года, данные на 24.10.2026 12:37 МСК. ИИ-наставник «Ранга» решил вслепую 2500 заданий с кратким ответом из нашего банка. Ответ совпал с ключом банка в 87,8 % случаев (2194 из 2500). Выше всего доля верных по физике, химии и математике: 93–95 %. Ниже всего — по русскому языку и литературе: 64–67 %. Ниже — все предметы, как мерили и чего этот замер не показывает.
Что именно мерили
- Кого проверяли. ИИ-наставника — ту же программу, которая занимается с учеником на тарифе «С ИИ-наставником». Учеников этот замер не касается.
- Какие задания. Только задания с кратким ответом (число, слово, набор цифр) из банка, который сейчас видит ученик на сайте: всего таких 3598. Решено 2500 из них. Порядок заданий был случайным, поэтому решённая часть — случайная выборка из всего набора.
- Вслепую. Наставник получал только предмет, номер, тему и условие задания; к заданиям на слух — запись текстом, к рисункам — сам рисунок. Ключ и разбор к нему не попадали.
- Строгая проверка. Ответ сверялся с ключом банка теми же правилами, по которым сайт проверяет ответ ученика. Ответ «почти верный», с лишней цифрой или в другом порядке считался ошибкой.
- Диапазон. Рядом с каждой долей указан 95-процентный диапазон: в его пределах с вероятностью 95 % лежит настоящая доля верных ответов по всем заданиям предмета. Чем меньше решено заданий, тем шире диапазон.
Результат по каждому предмету
Все предметы, включая слабые. Отсортировано по доле верных ответов.
| Предмет | Решено | Верно | Доля верных | Диапазон 95 % |
|---|---|---|---|---|
| Физика | 191 | 182 | 95,3 % | 91,3–97,5 % |
| Химия | 227 | 214 | 94,3 % | 90,4–96,6 % |
| Математика | 339 | 317 | 93,5 % | 90,4–95,7 % |
| Китайский язык | 134 | 125 | 93,3 % | 87,7–96,4 % |
| Английский язык | 253 | 231 | 91,3 % | 87,2–94,2 % |
| Немецкий язык | 180 | 160 | 88,9 % | 83,5–92,7 % |
| Обществознание | 89 | 79 | 88,8 % | 80,5–93,8 % |
| Испанский язык | 181 | 160 | 88,4 % | 82,9–92,3 % |
| Французский язык | 163 | 143 | 87,7 % | 81,8–91,9 % |
| Информатика | 190 | 166 | 87,4 % | 81,9–91,4 % |
| Биология | 164 | 140 | 85,4 % | 79,1–90,0 % |
| География | 90 | 69 | 76,7 % | 66,9–84,2 % |
| История | 98 | 74 | 75,5 % | 66,1–83,0 % |
| Русский язык | 159 | 107 | 67,3 % | 59,7–74,1 % |
| Литература | 42 | 27 | 64,3 % | 49,2–77,0 % |
| Всего | 2500 | 2194 | 87,8 % | 86,4–89,0 % |
Чаще всего наставник ошибался в заданиях на соответствие и выбор нескольких цифр: другие цифры, лишняя или недостающая цифра, верные цифры в другом порядке. Затем — другое слово или другая форма слова (это главная причина слабого результата по русскому языку и литературе) и другое число.
Второй замер: демоверсии ФИПИ 2027, часть 1
Отдельно наставник решил первую часть официальных проектов демоверсий ЕГЭ 2027 года: страницы демоверсии он получал картинками, баллы считались по системе оценивания ФИПИ. Здесь результат заметно ниже, чем на банке: в демоверсиях больше заданий с рисунками, таблицами и файлами, а у информатики задания с файлами без самих файлов не решаются и засчитаны как ноль. Демоверсий 2027 года по иностранным языкам на сайте ФИПИ на 23.10.2026 нет.
| Предмет | Баллы за часть 1 | Доля |
|---|---|---|
| Обществознание | 23 из 28 | 82,1 % |
| География | 18 из 23 | 78,3 % |
| Математика, профильный уровень | 9 из 13 | 69,2 % |
| Литература | 4 из 6 | 66,7 % |
| Биология | 22 из 35 | 62,9 % |
| Математика, базовый уровень | 13 из 21 | 61,9 % |
| Физика | 17 из 28 | 60,7 % |
| Русский язык | 13 из 28 | 46,4 % |
| История | 9 из 20 | 45,0 % |
| Химия | 16 из 36 | 44,4 % |
| Информатика | 8 из 29 | 27,6 % |
Чего этот замер не показывает
- Часть 2 не измерялась. Развёрнутые ответы, сочинение, эссе и устную часть оценивают эксперты, и наш замер их не касается.
- Это не балл ЕГЭ. Доля верных ответов на задания банка не переводится в экзаменационный балл — ни наставника, ни ученика.
- Это не обещание результата. Замер о том, как часто программа верно решает задания, а не о том, сколько наберёт ученик. Данных об итогах учеников на экзамене у нас пока нет.
- Наставник ошибается. Примерно каждый восьмой ответ в замере не совпал с ключом. Поэтому в кабинете ответ ученика всегда сверяется с ключом банка, а не со словами наставника.
- Цифры меняются. Банк заданий и сам наставник обновляются. Замер мы повторяем и указываем дату каждого.
Данные замера
Сводка замера в машинном виде, те же цифры, что на этой странице: tochnost-2410.json. Вопросы о методе и найденная ошибка в задании — письмом на info@rang-ege.ru.