Российские учёные заняли второе место на международном конкурсе Eedi — Mining Misconceptions in Mathematics, который посвящён использованию искусственного интеллекта при разработке тестов для выявления математических заблуждений у школьников и студентов. О заработанном российскими специалистами «серебре» рассказали в Институте искусственного интеллекта AIRI.
«Решение российской команды было построено на основе данных, состоявших из 4 тыс. примеров задач и ошибок учащихся, полученных от организаторов конкурса, а также 13 тыс. синтетических примеров, сгенерированных командой. Данные были использованы для дообучения открытой языковой модели Qwen, чтобы анализировать пару «вопрос и неправильный ответ» и получать на выходе наиболее вероятное математическое заблуждение», — говорится в сообщении пресс-службы AIRI.
В международном соревновании приняло участие свыше 1,4 тыс. команд ученых и специалистов в области ИИ из 80 стран. Решение провести подобный конкурс был связан с озабоченностью научного сообщества, вызванной проблемой разметки данных, которые необходимы для стремительного и главное правильного развития систем искусственного интеллекта в сфере образования. Этот вопрос особенно ярко проявляется при попытке создания неройсетей, которые смогут выявлять наличие проблем в математических знаниях учащихся.
Обычно для решения данной задачи к вопросу подбирается несколько неправильных ответов, один из которых построен таким образом, чтобы посчитать его правильным можно было лишь в единственном случае — когда у человека, проходящего тест, есть пробелы в знаниях по этой тематике. Сейчас создание таких тестов возлагается на плечи профилирующих специалистов, так как искусственный интеллект с такой задачей не справляется. У ИИ есть проблемы с формулировкой ложных ответов и оценкой их кажущейся «логичности» для испытуемых.
Российские учёные, а также несколько команд из других стран, разработали методы адаптации китайской ИИ-модели Qwen для автоматизированной подготовки подобных пар вопросов и ответов. Авторы проекта уверены, что их решение в будущем ляжет в работу онлайн-платформ для обучения, как школьников, так и учащихся высших учебных заведений.
