Как генерить разные виды тестовых вопросов при помощи больших языковых моделей

Из-за ограничений готовых приложений и сервисов вам может потребоваться инструмент, который более гибок и доступен, но и потребует от вас определенных навыков — большие языковые модели, вроде ChatGPT. Постановка задачи для большой языковой модели сейчас представляет собой отдельную прикладную область компьютерной лингвистики под названием prompt-engineering (промпт-инжинИринг). Вот несколько самых важных на мой взгляд особенностей языковых моделей, которые нужно учитывать при создании промпта.

Необходимо четко, точно и детально формулировать запрос к модели. В компьютерных науках есть один важный принцип: “garbage in — garbage out” (гАбидж ин гАбидж Аут), или “мусор на входе — мусор на выходе”. Более известная версия этой мудрости звучит так: “что посеешь, то и пожнешь”. Написание промпта для модели таким образом, чтобы получить нужный результат, а не мусор, это и искусство, и наука, и рабочие места специалистов. Но наша задача не так сложна, у нас есть примеры и инструкции из методических рекомендаций.

Желательно использовать примеры. Этот принцип отражен во фразе и одноименной статье “Language models are few-shot learners” — языковой модели часто достаточно пары примеров, может быть даже и одного, чтобы дать хороший результат.

В диалоге, когда ваша реплика перемежается с репликой модели, модель отвечает не на ваш последний запрос, а на все, о чем вы с ней говорили с самого начала диалога. В отличие от нас, людей, которые используют кратковременную и долговременную память, модель не корректирует свою “долговременную память” совсем никак, а при генерации каждой новой реплики в свою “кратковременную” память складывает все, что было сказано с начала диалога. Это такая особенность архитектуры. Следовательно, бывает полезно очищать диалог с моделью и начинать его с начала, если ваши прошлые промпты начали негативно влиять на новые реплики. У моделей есть и лимит на длину диалога, но это не настолько значимо, как то, что модель может начать галлюцинировать, когда вы долго общаетесь без очистки, рестарта диалога.

Языковые модели не знают фактов, а как бы “припоминают” их. БЯМ помнит все тексты, на которых обучалась, но очень примерно. Поэтому, если попросить ее воспроизвести какой-то текст, она начнет его припоминать, как человек. При этом она будет опираться не на поиск каждого следующего кусочка текста в массиве текстов, как делают поисковые машины, а вычислять, что встречалось чаще всего после уже данной ей строки. Если она еще не начала генерить ответ, то опираться она будет на наш запрос. Как если бы мы вдруг забыли слово “аэрокосмический” и начали его конструировать с буквы “а”, потом припомнили первую часть слова “аэро”. Потом вспомнили, что дальше было что-то про “космос”. И уже под конец превратили бы это слово в прилагательное, добавив типичное окончание “ический”. Поэтому, даже если модель не знает факт, она его “припомнит”.

Если вы хотите использовать большие языковые модели для задач, где нужны определенные, возможно, специфические знания (а у нас как раз такая задача), необходимо:

оценить доступность, обширность знания, часто ли встречаются тексты с нужными вам фактами;
учитывать, что, чем менее известна область вашего запроса, тем больше будет галлюцинаций (и наоборот);
перепроверить то, что сгенерила модель, и, возможно, оценить еще как-то.

В разговоре с моделью возникает видимость сознания. Но его там нет, поэтому нужно оттачивать именно формулировку собственного запроса под модель, а не строить диалог как с живым человеком. Хотя некоторые особенности живой речи ей важны, например вежливость, последовательность, логическая связность.

В моделях есть инструкции и ответы на технические вопросы, заложенные разработчиками. В том числе вы можете спросить у модели, какие у нее есть ограничения по темам и насколько хорошо она знает тот или иной вопрос. Также вы можете спросить совета модели, как вам лучше сформулировать свой промпт или даже попросить ее отредактировать ваш собственный промпт. Обращайте внимание на советы модели, если они возникают, т.к., скорее всего, это тоже настройка от ее создателей — они уже протестировали некоторые коммуникативные ходы и оставили для вас “пасхалки”.

Судя по моему опыту и некоторой научной литературе, с которой я знакома, проблемы, с которыми мы можем столкнуться, когда генерируем тест, бывают следующими:

неверные/выдуманные факты приводят к ошибкам в вопросе и ответе;
тест сформулирован некачественно:
- задан плохой вопрос:
- неотвечабельный (“В чем смысл?”);
- слишком узкоспецифический (“Что лежит у меня в кармане?”);
- неопределенный (“Как звали английскую королеву?”);
- бесполезный, тавтологичный (“Как зовут Александра Пушкина?”);
даны плохие варианты ответа (похожие проблемы, что с вопросом, но главное: они будут вызывать трудности у того, кто реально знает ответ на вопрос).

Эти трудности можно решить двумя методами:

хорошо сформулированный промпт;
вопрос и ответ должны быть в тексте, который мы предоставляем модели, чтобы она на него опиралась.

Во втором случае мы используем метод генерации, который основан на задаче machine reading comprehension (мэшИн рИдин компрехЕншен, “машинное усвоение навыка чтения”) — это область компьютерной лингвистики, которая изучает, как алгоритмы искусственного интеллекта прочитывают и понимают тексты. В задаче m.r.c. мы просим модель прочитать текст и ответить на вопрос к нему, при этом указав тот кусочек текста, который содержит ответ. Этот кусочек называется span (спэн). Бывает полезно попросить модель дать комментарий к правильному ответу, в котором пусть она процитирует кусочек текста (span), который содержит подтверждение правильности ответа. В этот момент модель может даже скорректировать свой тест, найдя несоответствие в тесте и спане.

Руководствуясь вышесказанным, я продемонстрирую несколько вариантов промптов, которые приводят к генерации приемелемых по качеству тестов. С моделями я буду общаться на чатбот-арене, т.к. это бесплатно, доступно без ВПН и на ней есть топовые коммерческие модели. Чатбот-арена это платформа, на которой пользователи голосуют за то, какая модель на их взгляд ответила лучше на их запрос. Производители моделей дают арене гранты на доступ к моделям, чтобы улучшать репутацию своего продукта (соревнование показывает, насколько они реально круты). Ограничения тут такие. У каждой модели есть определенное количество запросов, которое она может обработать на арене в единицу времени. Так что если все пользователи мира одновременно кинутся использовать именно эту модель, то лимит будет исчерпан и модель перестанет отвечать. Также, хотя некоторые модели на арене могут принимать на вход и изображения, в одном диалоге можно использовать только одно изображение. Для математических формул можно использовать язык разметки под названием MathML. Он похож на редактор формул в экселе, но без функций. Как альтернативу чатбот-арене без VPN можно использовать китайское приложение с моделью DeepSeek и французское приложение и модель Mistral. С VPN можно поговорить с ChatGPT от OpenAI и с Gemini от Google. У всех есть некоторое бесплатное количество запросов, которое они вам предоставят.

Тип теста “Задание с выбором одного ответа и обоснованием выбора”, базовая сложность

Данный тип тестов, согласно “Методическим рекомендациям”, упомянутым в главе “О диагностических тестах”, относится к базовым по сложности. Время выполнения 1-3 минуты. В “Рекомендациях” простота обусловлена тем, что нужно выбрать только один вариант ответа. Обоснование должно быть основано на припоминании фактов, теории, а не на рассуждении, анализе. Можно сделать эти тесты без обоснования, а также с выбором двух, трех вариантов ответа с прямым указанием в инструкции, сколько ответов — правильные. Но лучше таких тестов сделать поменьше (не более 10). Обратите внимание: эти изменения нужно отразить в промпте, например, вместо Выберите правильный вариант ответа написать Выберите два правильных варианта ответа.

Я написала вот такой промпт (см. ниже) на основе “Методических рекомендаций”. В промпте я использовала пример задания, требования к формулировкам, отрицательные примеры (как делать не надо). Т.к. в рекомендациях не было правильного ответа и ответа-эталона, я их дописала сама.

За основу вопроса я взяла абзац из учебного пособия Ю. Сафроновой “Историческая память: введение” (2018 г.). Мне показалось, что этот абзац содержит законченную мысль, на основе которой можно создать хороший тест. В нем есть факты, которые можно припомнить, и они довольно важные и известные для проблемного поля, чтобы их припомнило большинство студентов, прошедших курс. Из текста нужно убрать лишние для генератора, “шумные” символы, слова, фразы, которые носят технический характер или очень привязаны к контексту, который мы не приводим. В нашем случае это будут только ссылки на источники литературы и сноски.

Я очень подробно описала форматирование тестового задания, а также указала рекомендации по объему и стилю. Некоторые параметры формата можно задать свои, чтобы удобнее было вставлять в итоговый документ с тестами, но многие из них обусловлены “Методическими рекомендациями”, например указывать порядок ответа цифрой, а не буквой.

По поводу истории редактирования промпта могу сказать, что сначала я написала весь текст промпта, прогнала его первый раз через Gemini и обнаружила в нем серьезный недостаток: слово “текст” в инструкции относилось как к тексту задания, так и к опорному тексту, на основе которого строится вопрос. В задании модель обращалась к абзацу из пособия, как будто он приведен ранее и студенты его только что прочитали. После первой правки проблема не была решена, так как я все еще недостаточно хорошо развела два вида текстов. На третий раз я получила удовлетворительный результат, который привожу ниже. В промпте важно оттачивать формулировку, пока не получится результат.

В своем промпте я отмечу зеленым цветом текст-опору. На основании одного такого текста можно сгенерировать несколько вопросов, отредактировав промпт (например, попросить сгенерировать сразу 2-3 вопроса) или очистив диалог и скинув промпт снова. Текст-опору нужно поменять, если вы хотите получить новые по смыслу вопросы. Синим отмечено то, что задает тип вопроса.

Я попрошу тебя написать задание на основе текста.

Пример задания:

“Инструкция: Выберите правильный ответ и запишите аргументы, обосновывающие выбор ответа

Вопрос: Для хранения и обработки больших массивов данных часто используют электронные таблицы, в частности MS Excel. Данный редактор позволяет проводить обработку данных с помощью различных функций. Наилучшим образом подходят для вычисления среднего, минимального, максимального и суммарного значения среди данных определенной выборки..

Варианты ответа:

1) математические функции

2) логические функции

3) статистические функции

4) текстовые функции

5) финансовые функции

Правильный ответ: 3) статистические функции

Эталонное обоснование: MS Excel содержит несколько видов функций. Среди них статистические функции позволяют вычислить среднее арифметическое, минимальное и максимальное значения и суммарное значение по выборке. Функции в других вариантах ответа либо не могут сделать данное вычисление, либо нужно будет использовать несколько функций вместо одной.

В эталонном ответе могут быть приведены иные подходящие по смыслу аргументы.”

Задание должно содержать в себе три обязательных части:

- инструкция,

- вопрос,

- варианты ответа,

- правильный ответ,

- эталонное обоснование для правильного ответа.

Инструкция в твоем задании будет такая: “Выберите правильный ответ и запишите аргументы, обосновывающие выбор ответа”.

Как опору для создания вопроса и ответов используй вот такой текст: “«Мемориальный бум». Начиная с 1980-х гг. понятие «память» оказалось в центре внимания различных социальных и гуманитарных дисциплин. Волне исследований в этой сфере положили начало два литературных события: книга американского историка Йозефа Ерушалми «Захор: еврейская память и еврейская история» (1982) и предисловие французского историка Пьера Нора «Между памятью и историей» к антологии «Места памяти» (1984). Оба автора противопоставляли память истории как принципиально иной способ обращения с прошлым. Десять лет спустя, в 1992 г. немецкий египтолог Ян Ассман в книге «Культурная память. Письмо, память о прошлом и политическая идентичность в высоких культурах древности» мог уже довольно уверенно утверждать: «По всем признакам похоже, что вокруг понятия воспоминания складывается новая парадигма наук о культуре, благодаря которой разнообразнейшие феномены и области культуры — искусство, литература, политика и общество, религия и право — предстают в новом контексте».”

Вопрос должен быть сформулирован на основе текста, но должен спрашивать не о тексте, а о той информации, которую он содержит. Вопрос должен быть сформулирован в виде утверждения, желательно без частицы “не”, например “Из представленных вариантов наиболее подходящим является”. В задании можно цитировать текст, но нельзя приводить его полностью. Задание должно быть коротким, примерно 4-5 предложений, сформулировано простым и понятным языком.

Варианты ответов обозначь цифрами как в примере. Варианты ответов должны быть фразами или короткими предложениями, сформулированы простым и понятным языком. В ответах не должно быть вариантов “все ответы верны”, “нет верных ответов”.

Правильный ответ укажи в новой строке. Начни словами: “Ответ: ”

Эталонное обоснование не должно упоминать текст, на котором основан вопрос, а только информацию, которая дана в тексте. Оно должно быть длиной не более 3-4 предложений, сформулировано простым и понятным языком.

Вот такой получился результат у модели Gemini 2.0 на чатбот-арене (см. ниже). Его хорошо бы вычитать и отредактировать. Например, можно доработать так называемые дистракторы (неправильные ответы), чтобы они явно не подходили под правильный ответ. Также нужно поправить инструкцию из рекомендаций, т.к. я немного изменила ее, чтобы она не путала модель (там было слово “текст”).

И еще важный лайфхак: если вам кажется, что студент может привести другой, но похожий аргумент, упомянуть других исследователей из той же научной школы, привести похожие формулировки, то к эталонному ответу можно добавить пояснение: “Могут быть приведены иные подходящие по смыслу аргументы / примеры / причины / проблемы / особенности”. Можно заложить это пояснение в промпте в эталонный ответ к примерному вопросу.

И если вам нужен тест просто с выбором ответа(-ов), без обоснования, то эти брюки можно превратить в элегантные шорты, убрав “и запишите аргументы, обосновывающие выбор ответа” из промпта или просто удалив эталонное обоснование (я его здесь оставляю для демонстрации).

ОТВЕТ МОДЕЛИ

Выберите правильный ответ и запишите аргументы, обосновывающие выбор ответа

Вопрос: Начиная с 1980-х годов в гуманитарных науках наблюдается значительный рост интереса к теме «памяти», получивший название «мемориальный бум». Этот всплеск внимания был обусловлен определенными событиями в научной среде. Из представленных вариантов наиболее точно описывает событие, которое послужило отправной точкой для активного изучения «памяти» в гуманитарных науках:

Варианты ответа:

1) Развитие новых технологий хранения и передачи информации.

2) Изменение политической ситуации в мире и возникновение новых социальных движений.

3) Публикация работ, в которых память была противопоставлена истории как особому способу обращения с прошлым.

4) Расширение доступа к архивным материалам и историческим источникам.

Ответ: 3) Публикация работ, в которых память была противопоставлена истории как особому способу обращения с прошлым.

Эталонное обоснование: Интерес к изучению памяти в гуманитарных науках был инициирован работами Й. Ерушалми и П. Нора. В этих работах была проведена граница между памятью и историей, показано, что память представляет собой уникальный способ взаимодействия с прошлым, отличный от исторического анализа. Данное противопоставление привлекло внимание исследователей и послужило стимулом для дальнейшего изучения феномена памяти в различных областях гуманитарного знания.

Тип теста “Задание с выбором нескольких ответов и обоснованием выбора”, повышенная сложность

Этот тип тестов относится к повышенной сложности. В п.3. “Методических рекомендаций” он сформулирован как “Задание комбинированного типа с выбором нескольких вариантов ответа из предложенных и развернутым обоснованием выбора”. Повышенная сложность тут обусловлена не столько тем, что неизвестно, сколько ответов нужно выбрать, а тем, что нужен развернутый ответ. В отличие от задачи продемонстрировать знание в прошлом варианте задания здесь нужно применить знания в типичной ситуации, решить типовую задачу. Не совсем ясно, насколько при этом нужно разворачивать свой ответ, но, с моей точки зрения, это могут быть 1-2 коротких абзаца.

Берем промпт из прошлого раздела и вносим правки, связанные с типом задания, а также в примере вставляем другой вопрос. В “Методических рекомендациях” нет примера такого вопроса — сочиняю его сама. В примере кратко объясняю некую теоретическую концепцию и прошу выбрать ответы, которые на основании этой концепции дают представление о некоем объекте реальности. Так я понимаю “применение знаний в типичной ситуации”. В качестве опорного текста я тоже беру другой текст, где есть рассуждение об известном факте. На этот раз это будет отрывок из методического пособия М.М. Крома “Историческая антропология”. Отрывок беру подлиннее: в нем рассказано, как представители школы “Анналов” начали изучать коллективные представления и сделали поворот к исторической антропологии. В итоге мой промпт получился довольно длинным. У БЯМов есть ограничения на размер входящего сообщения, например, у ChatGPT на данный момент это 4096 символов. Но при этом мой текст все равно был обработан на чатбот-арене, и я получила результат. Возможно, чатбот-арена сейчас сама разбивает сообщение на части и не выдает ошибку, если лимит превышен.

Итак, вот мой промпт. Сиреневым в нем выделены те кусочки текста, которые я исправила или заменила по сравнению с прошлым разделом.

Я попрошу тебя написать задание на основе текста.

Пример задания:

“Инструкция: Выберите все правильные варианты ответа и запишите аргументы, обосновывающие выбор ответа

Вопрос: До того, как определить единицу измерения, подходящую к нашим данным, стоит понять, с каким видом данных мы имеем дело. Данные бывают качественные и количественные. Количественные данные часто делят на непрерывные и дискретные. Непрерывные данные можно выразить только дробным числом. Какие из следующих примеров относятся к дискретным данным?

Варианты ответа:

1) Количество стран в мире

2) Температура за окном

3) Место спортсмена в соревновании

4) Продажи табуреток за 2 февраля

5) Расстояние между двумя точками

6) Рост Александра Пушкина

7) Число студентов в классе

8) Скорость Ахиллеса

Правильный ответ: 1) Количество стран в мире, 3) Место спортсмена в соревновании, 4) Продажи табуреток за 2 февраля, 7) Число студентов в классе

Эталонное обоснование: В отличие от непрерывных данных дискретные данные можно выразить только целым числом. Проведем мысленный эксперимент и попробуем представить, какие из объектов нельзя разделить пополам. Не может быть половины страны, невозможно занять первое с половиной место, продать полтабуретки и в класс не может прийти полстудента. Соответственно, остальные варианты ответов относятся к непрерывным данным.”

Задание должно содержать в себе три обязательных части:

- инструкция,

- вопрос,

- варианты ответа,

- правильные ответы,

- эталонное обоснование для правильных ответов.

Инструкция в твоем задании будет такая: “Выберите все правильные ответы и запишите аргументы, обосновывающие выбор ответов”.

Как опору для создания вопроса и ответов используй вот такой текст: “О французской школе “Анналов” за последние несколько десятилетий у нас в стране написано немало; целый ряд книг выдающихся представителей этой “школы” издан к настоящему времени в русском переводе. Поэтому едва ли она нуждается в каком-то специальном представлении. Здесь нас будет интересовать лишь один аспект в истории “Анналов”: поворот историков этого направления на определенном этапе его эволюции к исторической антропологии и та роль, которая в этом повороте принадлежала истории ментальностей.

Несколько поколений историков школы “Анналов” оставались верны идеалу, вдохновлявшему основателей этого журнала, Л. Февра и М. Блока, - идеалу “тотальной”, или всеобъемлющей истории. Однако следование этому идеалу понималось “анналистами” в разное время по-разному.

Одна из первых крупных работ М.Блока – книга “Короли-чудотворцы”, вышедшая в 1924 г., была посвящена изучению “представлений о сверхъестественном характере королевской власти”, существовавших в Англии и во Франции со времен средневековья до XVIII в. включительно, а именно веры в способность королей излечивать золотуху возложением рук. Эта проблема была подвергнута автором всестороннему анализу: М.Блок прослеживает традицию подобных исцелений от истоков в XI – XII вв. (нынешние исследователи склонны передвигать начальную дату на столетие вперед – к середине XIII в.) до ее угасания в эпоху Просвещения; он изучает особенности соответствующего обряда (по описаниям и изображениям в средневековых памятниках), монархические легенды, но главное внимание уделяет самой вере в “королевское чудо”, связанной с представлениями о сакральном характере монархической власти. Эта вера, по замечанию Блока, “была неотрывна от целой концепции мироздания”. По существу речь идет о том, что в современной науке принято называть “ментальностью”, но М. Блок редко употребляет слово mentalité, предпочитая говорить о “коллективных представлениях”, “коллективном сознании” и даже “коллективных иллюзиях”. Терминологическая четкость – признак уже сложившегося направления, во времена же М.Блока оно еще только зарождалось. Примечательно, что в годы первой мировой войны выдающиеся ученые в разных странах параллельно изучали одно и то же явление – стереотипы средневекового массового сознания: так, в Нидерландах в 1919 г. Йохан Хейзинга издал “Осень Средневековья” – “исследование форм жизненного уклада и форм мышления” XIV – XV вв., а в России в 1915 г. вышла в свет книга Л.П.Карсавина “Основы средневековой религиозности в XII – XIII веках”, в которой автор оперировал понятием “среднего религиозного человека”. Так постепенно историки открывали для себя новую область исследований, за которой впоследствии закрепилось французское название – “история ментальностей”.”

Вопрос должен быть сформулирован на основе текста, но должен спрашивать не о тексте, а о той информации, которую он содержит. Вопрос должен быть сформулирован в виде утверждения, желательно без частицы “не”, например “Из представленных вариантов наиболее подходящим является”. В задании можно цитировать текст, но нельзя приводить его полностью. Задание должно быть коротким, примерно 4-5 предложений, сформулировано простым и понятным языком.

Варианты ответов обозначь цифрами как в примере. Варианты ответов должны быть фразами или короткими предложениями, сформулированы простым и понятным языком. В ответах не должно быть вариантов “все ответы верны”, “нет верных ответов”.

Правильный ответ укажи в новой строке. Начни словами: “Ответ: ”

Эталонное обоснование не должно упоминать текст, на котором основан вопрос, а только информацию, которая дана в тексте. Оно должно быть длиной 1-2 абзаца, сформулировано простым и понятным языком.

Вот такой получился результат у ChatGPT с первой попытки (см. ниже). С моей точки зрения, все окау. Но опять же, будь я историком-антропологом, я бы, наверно, смогла улучшить, например, варианты ответов. Я к тому, что постредактирование — это пока что важная часть работы с машинными генераторами текста.

Еще обратите внимание на вот такие символы в ответе: “**”. Это результат настроек ChatGPT для форматирования ответа. В приложениях, которые поддерживают разметку текста Markdown, эти символы и другие подобные превращаются в форматирование текста в виде заголовков разного уровня, выделения курсивом, жирным шрифтом и т.д. Чтобы от них избавиться, можно также сказать об этом в промпте либо почистить форматирование через замену символов “**” на “” (пустая строка, не пробел!).

ОТВЕТ МОДЕЛИ

**Инструкция:** Выберите все правильные ответы и запишите аргументы, обосновывающие выбор ответов.

**Вопрос:** Историческая школа "Анналов" сыграла важную роль в развитии новых направлений исследования прошлого. Одним из таких направлений стала история ментальностей, изучающая представления и верования людей в разные эпохи. Какие из следующих утверждений соответствуют этому направлению?

**Варианты ответа:**

1) Изучение веры в сверхъестественные способности правителей.

2) Анализ экономических документов для понимания торговли.

3) Исследование коллективных представлений о мире в разные периоды.

4) Определение политических причин войн и конфликтов.

5) Рассмотрение стереотипов мышления средневекового общества.

**Ответ:** 1) Изучение веры в сверхъестественные способности правителей.

3) Исследование коллективных представлений о мире в разные периоды.

5) Рассмотрение стереотипов мышления средневекового общества.

**Эталонное обоснование:**

История ментальностей занимается изучением представлений, верований и стереотипов, которые существовали в обществе в разные исторические периоды. Это направление исследует, как люди понимали мир, во что верили и какие коллективные идеи разделяли. Например, вера в способность монархов исцелять болезни или представления о мироздании в средние века являются предметом изучения истории ментальностей. Напротив, экономический анализ и политическая история относятся к другим областям исторической науки.

Тип теста “Задание на установление соответствия”, высокая сложность

Этот тип тестов относится к категории высокой сложности. Предполагается, что студенты должны применить свои знания в нестандартной ситуации, решить нетипичную задачу. Также он относится к “закрытому типу”, т.е. ответ на него представлен неизменяемой последовательностью символов, например “1 3 4 2”.

В этот раз в “Методических рекомендациях” есть пример, добавляем его в промпт. Инструкцию и варианты ответа тоже надо отредактировать (по сравнению с прошлыми типами заданий). В качестве текста-опоры использую в этот раз отрывок из пособия Ю. Сафроновой “Историческая память: введение”, где есть список (приметы времени). В тесте этот список станет в основу ряда соответствий.

Я попрошу тебя написать задание на основе текста.

Пример задания:

“Инструкция: Прочитайте текст и установите соответствие.

Вопрос: Инфографика — это графический способ подачи сложной информации для облегчения восприятия и публикации. В зависимости от задач, используемых приемов и каналов коммуникации инфографика делится на разные виды. Соотнесите выполняемую задачу и используемый для решения данной задачи вид инфографика. К каждой позиции, данной в левом столбце таблицы, подберите соответствующую позицию из правого столбца:

Таблица

- | Выполняемая задача | - | Вид инфографики

А | Для сравнения двух или нескольких предметов, подходов, идей или событий | 1 | Хронологическая

Б | Для визуального представления результатов социологических, маркетинговых и других научных исследований | 2 | Сопоставительная

В | Для демонстрации этапов развития компаний и технологий, профессионального или творческого пути личностей, изменения тенденций в какой-либо сфере | 3 | Иерархическая

Г | Помогает упорядочить элементы какой-либо системы по степени важности и/или обозначить их взаимодействие между собой | 4 | Статистическая

- | - | - | Географическая

Запишите выбранные цифры под соответствующими буквами:

А | Б | В | Г

- | - | - | -

Правильный ответ:

А | Б | В | Г

2 | 4 | 1 | 3 ”

Задание должно содержать в себе три обязательных части:

- инструкция,

- вопрос,

- таблица,

- правильный ответ.

Инструкция в твоем задании будет такая: “Прочитайте текст и установите соответствие.”

Как опору для создания вопроса и таблицы используй вот такой текст: “Выйдя за пределы академического мира, память превратилась в повод и орудие для конфликтов как в рамках локальных сообществ, так и за их пределами — внутри обществ, государств, на арене международной политики и т. д. В 2002 г. Нора, один из интеллектуалов, несущих ответственность за «мемориальный бум» в гуманитарных науках, констатировал наступление эпохи «всемирного торжества памяти». Приметами времени для него стали:

- критика официальных версий истории и возвращение на поверхность вытесненных составляющих исторического процесса;

- возвращение репрессированной памяти сообществ, народов и отдельных индивидов, чья история игнорировалась, скрывалась или уничтожалась;

- развитие генеалогических изысканий и семейных историй;

- активная организация всяческих мемориальных мероприятий;

- юридическое сведение счетов с прошлым;

- рост числа разнообразнейших музеев;

- бурное развитие «индустрии наследия»;

- повышенная чувствительность к созданию архивов и открытию доступа к документам;

- повышенное внимание к темам травмы, горя, эмоций, аффектов, терапии и т. д.”

Вопрос должен быть сформулирован на основе текста, но должен спрашивать не о тексте, а о той информации, которую он содержит. Вопрос должен быть сформулирован в виде утверждения, желательно без частицы “не”, например “Из представленных вариантов наиболее подходящим является”. В задании можно цитировать текст, но нельзя приводить его полностью. Задание должно быть коротким, примерно 4-5 предложений, сформулировано простым и понятным языком.

В таблице к заданию разделителем между ячейками служит знак |, а между строками — переход на новую строку.

Варианты ответов обозначь цифрами как в примере. Варианты ответов должны быть фразами или короткими предложениями, сформулированы простым и понятным языком. В ответах не должно быть вариантов “все ответы верны”, “нет верных ответов”.

Правильный ответ укажи в новой строке. Начни словами: “Правильный ответ: ”. Ответ форматируй как таблицу.

А вот этот текст мы из промпта убираем:

Эталонное обоснование не должно упоминать текст, на котором основан вопрос, а только информацию, которая дана в тексте. Оно должно быть длиной 1-2 абзаца, сформулировано простым и понятным языком.

Получившийся с первой попытки тест мне было трудно решить, т.к. меня путали схожие с моей точки зрения явления “Развитие генеалогических изысканий”, “Возвращение репрессированной памяти”, “Юридическое сведение счетов с прошлым”, “Развитие "индустрии наследия"”. Я бы отредактировала этот вопрос таким образом, чтобы связь между понятия в левом и правом столбце была более очевидной.

ОТВЕТ МОДЕЛИ

Инструкция: Прочитайте текст и установите соответствие.

Вопрос: В современном мире память о прошлом стала инструментом и поводом для конфликтов. Опираясь на представленные признаки "эпохи всемирного торжества памяти", соотнесите тенденцию в обществе и ее проявление. К каждой позиции, данной в левом столбце таблицы, подберите соответствующую позицию из правого столбца:

Таблица

| - | - | Развитие "индустрии наследия"

Запишите выбранные цифры под соответствующими буквами:

А | Б | В | Г

Правильный ответ:
А | Б | В | Г
2 | 3 | 4 | 1

Я задала модели следующий промпт, не удаляя прошлого диалога с ней:

Попробуй в вариантах ответа более четко развести “Развитие генеалогических изысканий”, “Возвращение репрессированной памяти”, “Юридическое сведение счетов с прошлым” и “Развитие "индустрии наследия"”.

ОТВЕТ МОДЕЛИ

Хорошо, вот обновленное задание с более четкими вариантами ответов:

Инструкция: Прочитайте текст и установите соответствие.

Вопрос: В современном мире память о прошлом стала инструментом и поводом для конфликтов. Опираясь на представленные признаки "эпохи всемирного торжества памяти", соотнесите тенденцию в обществе и ее проявление. К каждой позиции, данной в левом столбце таблицы, подберите соответствующую позицию из правого столбца:

Таблица

- | Тенденция в обществе | - | Проявление тенденции

А | Интерес к истории семьи | 1 | Создание тематических парков и исторических реконструкций

Б | Критика официальной истории | 2 | Поиск информации о предках и составление генеалогических деревьев

В | Стремление к справедливости в отношении жертв прошлого | 3 | Публикация ранее скрытых или игнорируемых исторических фактов

Г | Повышенное внимание к трагическим страницам истории | 4 | Иски о компенсации ущерба, причиненного в прошлом

- | - | - | Открытие новых музеев и мемориалов

Запишите выбранные цифры под соответствующими буквами:

А | Б | В | Г

- | - | - | -

Правильный ответ:

А | Б | В | Г

2 | 3 | 4 | 1

Полученный тест я решила сразу, но последний вариант ответа “Создание тематических парков и исторических реконструкций” явно похож на “Открытие новых музеев и мемориалов”. Пишу еще один промпт, не удаляя предыдущего диалога:

Тебе не кажется, что вариант ответа “Создание тематических парков и исторических реконструкций” слишком похож на “Открытие новых музеев и мемориалов”?

Получаю вот такой результат:

ОТВЕТ МОДЕЛИ

Вы совершенно правы, эти варианты действительно очень похожи и могут сбивать с толку. Приношу извинения за это упущение. Вот исправленный вариант с более четкими и различными ответами:

Инструкция: Прочитайте текст и установите соответствие.

Вопрос: В современном мире память о прошлом стала инструментом и поводом для конфликтов. Опираясь на представленные признаки "эпохи всемирного торжества памяти", соотнесите тенденцию в обществе и ее проявление. К каждой позиции, данной в левом столбце таблицы, подберите соответствующую позицию из правого столбца:

Таблица

- | Тенденция в обществе | - | Проявление тенденции

А | Интерес к истории семьи | 1 | Активное обсуждение исторических событий в СМИ и социальных сетях

Б | Критика официальной истории | 2 | Поиск информации о предках и составление генеалогических деревьев

В | Стремление к справедливости в отношении жертв прошлого | 3 | Возведение памятников и мемориалов в память о трагических событиях

Г | Повышенное внимание к эмоциональному восприятию истории | 4 | Иски о реабилитации и компенсации ущерба, причиненного в прошлом

- | - | - | Публикация альтернативных исторических исследований

Запишите выбранные цифры под соответствующими буквами:

А | Б | В | Г

- | - | - | -

Правильный ответ:

А | Б | В | Г

2 | 5 | 4 | 3

В этот раз последний вопрос не провисает и, вроде бы, органично вписался в ответы. Тест я прошла сразу. Но тут все-таки прошу уважаемых читателей сделать поправку на то, что я оцениваю результат не с позиции преподавателя, который будет вести этот курс. Преподаватель, скорее всего, сформулирует другие замечания к тесту и получит результат, более соответствующий тому, что изучают студенты в его классе. Главное, что даже подгонка результата может быть и не ручной, а полуавтоматической, если есть время пройти тест в уме и понять, чтО в нем может запутать читателя, а затем сформулировать это в виде запроса к модели, упоминая детали. Времени уходит не больше, чем если делать это полностью вручную, зато экономится “мыслетопливо” (когнитивная энергия, как я ее называю): вместо двух творческих задач — найти в чем проблема и скорректировать ее — мы решаем только одну (поиск проблемы). Но я бы все-таки старалась не усложнять тест терминами и нагруженными формулировками, т.к. цель у нас — создать именно легкий диагностический тест для прохождения проверки.

Тип теста “Задание на установление последовательности”, высокая сложность

Этот тип теста похож на сопоставление и тоже относится к высокой сложности (в его основе лежит решение для нетипичной ситуации).

Я думаю, вы помните, что делать по предыдущим разделам: правим инструкцию, пример и выбираем текст-опору. В тексте должны быть хронология, описание процесса, цепи причин и следствий или алгоритм действий. Возвращаюсь к пособию Крома по исторической антропологии. Не забываю убрать из него лишний “шум” (ссылки на список литературы и сноски).

Я попрошу тебя написать задание на основе текста.

Пример задания:

“Инструкция: Прочитайте текст и установите последовательность.

Вопрос: Облачное хранилище — это удаленное хранилище, которое обеспечивает безопасное и надежное хранение ваших данных, поэтому вам не нужно хранить свои данные и файлы на жестком диске компьютера или другом устройстве хранения. Используя облачные приложения, вы всегда сможете организовать совместную работу с документами, находящимися в облачном хранилище. Для этого вам необходимо выполнить определенную последовательность действий:

Последовательность

1) Настроить доступ к документу

2) Создать документ в облачном хранилище или загрузить документ для совместной работы

3) Войти в свой аккаунт в облачном хранилище

4) Открыть браузер

5) Разослать информацию о месте расположения документа (ссылка на документ)

Запишите соответствующую последовательность цифр слева направо:

| | | | | |

Правильный ответ:

| 4 | 3 | 2 | 1 | 5 |”

Задание должно содержать в себе три обязательных части:

- инструкция,

- вопрос,

- последовательность,

- правильный ответ.

Инструкция в твоем задании будет такая: “Запишите соответствующую последовательность цифр слева направо”.

Как опору для создания вопроса и последовательности используй вот такой текст: “Смена исследовательских парадигм и возникновение исторической антропологии.

В развитии исторической науки на протяжении последних ста лет можно заметить определенную цикличность. К концу XIX в. в мировой историографии господствовал позитивизм; преобладающей формой историописания был рассказ о великих событиях и великих людях; в центре внимания находилось государство и его правители – политическая история главенствовала. В первые десятилетия нового XX столетия К.Лампрехт в Германии, Л. Февр и М.Блок во Франции, Л. Нэмир и Р.Тоуни в Англии, вели борьбу со сторонниками старой, событийной, “ранкеанской” истории. К 50-м годам победила “новая история”: история структур, а не событий, история экономическая и социальная, история “большой длительности” (la longue durée, по выражению Ф.Броделя). Большое распространение в послевоенные десятилетия получили количественные, математические методы (клиометрия). И вот, когда уже казалось, что новая парадигма прочно утвердилась в мировой исторической науке, стали раздаваться голоса о том, что история, изучая “массы”, потеряла из виду реального, живого человека, стала анонимной и обезличенной.

По свидетельству крупнейшего медиевиста Ж.Дюби, в 60-е годы французские историки, разочаровавшись “в возможностях экономической истории” (а, точнее, в экономическом детерминизме) обратились к изучению истории ментальностей, контуры которой были намечены в работах Л.Февра и М.Блока; и тогда же они заинтересовались достижениями социальной антропологии, получившей широкую известность благодаря трудам К.Леви-Строса и бросившей историкам “форменный вызов”. Кроме того, деколонизация привела к тому, что французские этнологи, вернувшись из Африки на родину, перенесли свои методы на изучение традиционной, крестьянской культуры: возникла “этнология Франции”, немало повлиявшая на тематику и подходы нового поколения французских историков.

Но подобный поворот происходил тогда и в исторической науке других стран, в частности, Великобритании и США. В переориентации интересов исследователей с анализа социально-экономических структур на изучение массового сознания и поведения заметную роль сыграли британские историки-марксисты (Э.Томпсон, Э.Хобсбоум и др.), группировавшиеся вокруг журнала “Past and Present”. Не без влияния британской социальной антропологии здесь возникает интерес к традиционной “народной культуре” и происходит становление направления, позднее названного социокультурной или “новой культурной” историей. В США в том же русле развивалось творчество Н.З.Дэвис.

Смена приоритетов в науке привела к тому, что уже с начала 70-х годов историки заговорили о “возвращении события” и политической истории в проблематику исследований, а с конца 80-х годов “в моду” снова вошел жанр научной биографии: уникальное и индивидуальное в истории вновь привлекло к себе повышенное внимание исследователей. Но, разумеется, говорить о полном возврате к канонам столетней давности не приходится: и биографии, и политическая, событийная история “вернулись” в науку обновленными – в том числе, благодаря воздействию исторической антропологии, преобразившей многие традиционные жанры историописания.

В этой перспективе историческая антропология предстает как закономерная стадия в длительной эволюции нашей науки: фаза “антропологизации” пришлась на тот момент, когда историографический “маятник” начал возвратное движение от анализа “неподвижных” структур к изучению мотивов и стратегий поведения людей – реальных “актеров” в драме Истории.”

Вопрос должен быть сформулирован на основе текста, но должен спрашивать не о тексте, а о той информации, которую он содержит. Вопрос должен быть сформулирован в виде утверждения, желательно без частицы “не”, например “Из представленных вариантов наиболее подходящим является”. В задании можно цитировать текст, но нельзя приводить его полностью. Задание должно быть коротким, примерно 4-5 предложений, сформулировано простым и понятным языком.

В последовательности к заданию разделителем между ячейками служит знак |.

Варианты ответов обозначь цифрами как в примере. Варианты ответов должны быть фразами или короткими предложениями, сформулированы простым и понятным языком. В ответах не должно быть вариантов “все ответы верны”, “нет верных ответов”.

Правильный ответ укажи в новой строке. Начни словами: “Правильный ответ: ”. Ответ форматируй как последовательность.

ОТВЕТ МОДЕЛИ

Инструкция: Запишите соответствующую последовательность цифр слева направо.

Вопрос: В развитии исторической науки прослеживается определенная цикличность, при которой на смену одним направлениям приходят другие, а затем происходит возврат к старым, но уже в обновленном виде. Установите хронологическую последовательность смены исследовательских парадигм в исторической науке, описанных в тексте.

Последовательность:

1) "Новая история": история структур, экономическая и социальная история, история "большой длительности", клиометрия.

2) Господство позитивизма: рассказ о великих событиях и людях, политическая история.

3) Историческая антропология: изучение мотивов и стратегий поведения людей, "антропологизация" истории.

4) "Возвращение события" и политической истории, жанр научной биографии, но в обновленном виде, под влиянием исторической антропологии.

| | | | |

Правильный ответ: | 2 | 1 | 3 | 4 |

Результат мне показался удовлетворительным с первой попытки. Т.к. у нас нет ограничений на количество элементов в последовательности, то оставляю четыре, как есть. Но если вдруг окажется, что должно быть не менее пяти, это нужно будет добавить в промпт.

Тип теста “Задание с развернутым ответом”, высокая сложность

Этот тип теста тоже относится к высокой сложности. Напоминаю, что студенту нужно применить свои знания в нестандартной ситуации, решить нетипичную задачу. Примера такого задания в “Методических рекомендациях” нет, но разведка боем выяснила, что здесь требуется сформулировать вопрос, ответом на который будет текст из нескольких абзацев. Проверяющий из министерства будет сравнивать, насколько сходятся ответ студента и эталонный ответ, и поставит 1 балл, если посчитает, что основные составляющие эталонного ответа отражены, 0 — если нет.

Ответ студента засчитывается как правильный в том случае, когда студент по содержанию воспроизводит основные составляющие эталонного ответа. Вопрос не должен давать пространства для различных трактовок или рассуждений. Аргументы, признаки, функции должны быть конкретными. Также важно уточнить, сколько примеров / признаков / функций нужно привести, если их может быть несколько: “Укажите не менее двух характерных особенностей / трех признаков и т.п.”. Примеры могут быть разными, если они подходят по смыслу. В эталонном ответе нужно добавить пояснение: “Могут быть приведены иные подходящие по смыслу аргументы / примеры / причины / проблемы / особенности”.

Беру вопрос и эталонный ответ из материалов ФОС Школы искусств, которая прошла тестирование. Как текст-опору я взяла целый небольшой параграф из пособия Ю. Сафроновой “Историческая память: введение”.

Я попрошу тебя написать задание на основе текста.

Пример задания:

“Инструкция: Прочитайте задание и запишите развернутый обоснованный ответ

Вопрос: Укажите не менее двух характерных особенностей проката репертуара для одного из предложенных вариантов: театр, цирк или концертный зал.

Эталонный ответ:

— Театр: 1. Прокат театрального репертуара включает драматические, оперные и балетные постановки, требующие длительной подготовки и репетиций. 2. Театры часто придерживаются репертуарной политики, предлагая зрителям разнообразные жанры и произведения в течение сезона. 3. Важными аспектами являются качество актёрского состава, режиссуры и сценографии.

— Цирк: 1. Прокат репертуара в цирке отличается большим количеством уникальных номеров, акробатических и трюковых выступлений. 2. Репертуар цирка обновляется реже, так как номера требуют постоянной тренировки и высокой степени безопасности. 3. Важное значение имеет мобильность цирковых трупп и возможность выступлений на различных площадках.

— Концертный зал: 1. Прокат репертуара в концертном зале включает музыкальные концерты, симфонические оркестры, сольные выступления и другие музыкальные мероприятия. 2. Репертуар часто меняется, предлагая зрителям как классическую, так и современную музыку. 3. Ключевыми факторами являются акустика зала, качество исполнения и программная политика, направленная на удовлетворение вкусов широкой аудитории.

Пояснение к эталонному ответу: Ответ может включать в себя описание одного этапа из эталонного ответа. Могут быть приведены иные подходящие по смыслу формулировки.”

Задание должно содержать в себе три обязательных части:

- инструкция,

- вопрос,

- эталонный ответ,

- пояснение к эталонному ответу.

Инструкция в твоем задании будет такая: “Прочитайте задание и запишите развернутый обоснованный ответ”.

Как опору для создания вопроса и ответов используй вот такой текст: “Прикладная история

Впервые понятие прикладной истории (Angewandte Geschichte) было использовано в начале ХХ в. учителем дюссельдорфской гимназии Генрихом Вольфом в названии серии учебников по курсу «Введение в политическое мышление и волю». Вольф апеллировал к старому принципу истории как учительницы жизни: она должна была помогать извлекать уроки из прошлого. Поскольку Вольф был активным членом сразу нескольких националистических организаций, его идеи были пронизаны националистической идеологией, антисемитизмом и расизмом. В этом случае его едва ли можно рассматривать как почетного «отца-основателя», к которому стоит возводить генеалогию направления. В современной Германии понятие «прикладная история» конкурирует с заимствованным из английского языка понятием публичной истории. Например, первый немецкий профессор по прикладной истории Корд Арендес в интервью немецкой газете “Die Zeit” заявил, что предпочитает понятие public history официальному немецкому названию своей позиции, поскольку термин Angewandte Geschichte в смысле применяемости истории к практической жизни кажется ему «громоздким».

Вопросы о том, в какой мере прикладная история (applied history) и публичная история (public history) пересекаются и чем первая отличается от второй, остаются открытыми. В некоторых случаях их рассматривают как синонимические понятия, в других говорят, что прикладная история зародилась внутри публичной как одно из ее направлений, где термин applied применялся к сфере public policy и политических консультаций.

Раздаются голоса, предлагающие принципиально разграничить эти две сферы исследований «для большей точности описания поля отношений между историей, публичной сферой и их посредниками». Как пишут авторы статьи «Прикладная история, или публичное измерение прошлого» (2012) Феликс и Якоб Аккерманны, Анна Литтке, Жаклин Ниссер и Юлиане Томанн, хотя оба направления схожи своей ориентированностью на практику, «…в отличие от public history, которая в основном занимается изложением исторических тем в публичной сфере, в случае прикладной истории следует обратить внимание на субъекты и возможности их сотрудничества».

Появление прикладной истории является вызовом для академических исследователей. Как любое новое направление, она порождает вопросы о том, так ли уж необходимо давать новое название тому, что историки, по существу, делают давно в рамках собственной профессии, поскольку история издавна эксплуатировалась с самыми разнообразными целями, далекими от академического поиска знания или образования. С другой стороны, должны ли «прикладные» историки соблюдать те же этические нормы и принципы, которые обязательны для их академических коллег? Отвечая на эти вопросы, немецкий историк Давид Франц пишет: «Задача исторической науки, независимо от того, служит ли она лишь исполнителем работ для другого исследователя или для заинтересованной в истории и действующей (!) публики, состоит в том, чтобы открывать исторические факты, размышлять над ними и проверять их».

С его точки зрения, это означает следование трем важным принципам. Во-первых, историки должны осознанно подходить к происходящим в обществе изменениям как на концептуальном, так и на институциональном уровнях, выражающимся во все возрастающем спросе на историю. Во-вторых, основы и методы исторической науки должны в равной мере относиться как к академическим, так и к неакадемическим областям, таким как граждански мотивированная кооперация или инициативы. В-третьих, история должна оставаться предметом общественных переговоров, чтобы не превратиться, если обстоятельства изменятся, в монопольный товар. В этом смысле «демонополизация» истории должна быть принята академическим сообществом как возможность, а не как угроза.

Полагаю, что эти наблюдения немецкого историка в полной мере должны относиться не только к теоретикам и практикам прикладной истории, но и к любой работе с прошлым, под каким бы знаменем и в рамках какого бы исследовательского направления она ни велась.”

Вопрос должен быть сформулирован на основе текста, но должен спрашивать не о тексте, а о той информации, которую он содержит. В задании можно цитировать текст, но нельзя приводить его полностью. Задание должно быть коротким, не более 4-5 предложений, сформулировано простым и понятным языком.

Эталонный ответ не должен упоминать текст, на котором основан вопрос, а только информацию, которая дана в тексте. Он должен быть сформулирован в несколько пунктов, простым и понятным языком.

А вот эти два абзаца мы из промпта убираем:

Вопрос должен быть сформулирован в виде утверждения, желательно без частицы “не”, например “Из представленных вариантов наиболее подходящим является”. — В данном типе вопроса этот элемент промпта запутал языковую модель, и она выдала некорректный тип вопроса (с вариантами).

Варианты ответов обозначь цифрами как в примере. Варианты ответов должны быть фразами или короткими предложениями, сформулированы простым и понятным языком. В ответах не должно быть вариантов “все ответы верны”, “нет верных ответов”.

Правильный ответ укажи в новой строке. Начни словами: “Ответ: ”

Вот такой результат получился у Claude Sonnet. На мой взгляд соответствует тексту-опоре.

ОТВЕТ МОДЕЛИ

Инструкция: Прочитайте задание и запишите развернутый обоснованный ответ

Вопрос: Укажите не менее трех характерных особенностей прикладной истории и её взаимосвязь с публичной историей. Поясните, какие принципы, согласно мнению историка Давида Франца, должны соблюдаться при работе с историческим материалом.

Эталонный ответ:

1. Прикладная история (Angewandte Geschichte) впервые появилась в начале XX века в Германии и была связана с идеей использования истории как "учительницы жизни", помогающей извлекать уроки из прошлого.

2. Существуют разные подходы к соотношению прикладной и публичной истории: их рассматривают как синонимы, считают прикладную историю частью публичной, или разграничивают эти направления (прикладная история больше ориентирована на субъекты и возможности их сотрудничества).

3. Появление прикладной истории создает вызов для академических исследователей, поднимая вопросы о необходимости нового названия для традиционной деятельности историков и о соблюдении этических норм.

4. Согласно Давиду Францу, при работе с историческим материалом необходимо соблюдать три принципа: осознанно подходить к растущему общественному спросу на историю; применять методы исторической науки как в академических, так и в неакадемических областях; сохранять историю предметом общественных переговоров, не допуская её монополизации.

5. "Демонополизация" истории должна восприниматься академическим сообществом не как угроза, а как возможность для развития исторической науки.

Пояснение к эталонному ответу: Ответ может включать в себя описание трех любых особенностей прикладной истории из эталонного ответа. Обязательно должно быть упоминание хотя бы одного принципа, сформулированного Давидом Францем. Могут быть приведены иные подходящие по смыслу формулировки, отражающие содержание текста.

Доработка промпта

Не бойтесь, пробуйте дорабатывать мои промпты. Многие особенности формулировок приходят с опытом. Но да, это может быть времязатратно.

Какие правки в промптах вы, возможно, захотите сделать (я руководствуюсь моим опытом создания промптов для этого гида):

форматирование, например, убрать лишние строки, символы форматирования Markdown, точки в конце вариантов ответа, цифры (с круглой скобкой, с точкой, без них);
формулировки особенностей, деталей, характеристик для конкретного типа тестов, например, слово “вариант” путало модель при генерации типа тестов с только развернутым ответом, а слово “текст” привело к тому, что модель считала опорный текст частью вопроса, как будто студент может его прочитать;
уточнения, рекомендации для вариантов ответа, эталонного обоснования, например, развести похожие варианты, добавить цитату в обоснование, процитировать текст-опору в обосновании;
перифразирование теста (для создания версий, вариантов), например решение проблемной ситуации с точки зрения другой методологии, теории.

Возможно, вы обнаружите еще какие-то моменты, где нужна доработка. А я изложу здесь еще один интересный вариант: тест одного типа можно перевести в другой. Возможно, вы обратили внимание, что в тестовом вопросе, который я написала для прошлого параграфа (“Задание с развернутым ответом”) приводится две ситуации, которые могли бы стать вариантами ответа в заданиях с выбором варианта (а это хороший повод спросить один и тот же вопрос в разных формах). Дорабатываем промпт.

Я попрошу тебя переделать мое задание из одного типа в другой.

Задание, которое нужно переделать:

“Инструкция: Прочитайте текст и запишите развернутый обоснованный ответ

Вопрос: Перед вам описание двух ситуаций. В какой из них обращение с Интернет-приложениями нельзя назвать безопасным? Ситуация первая: “Я всегда удаляю приложения со всеми данными своего аккаунта из телефона, если перестаю ими пользоваться.” Ситуация вторая: “В Телеграмме я подписан на чат, где люди делятся своими логинами и паролями для бесплатного доступа к разным играм.” Запишите развернутый обоснованный ответ.

Эталонное обоснование:

“В первой ситуации дан пример безопасного обращения с телефоном и соблюдения цифровой гигиены. Даже если приложение сейчас безопасно, оно может перестать быть таким по ряду причин. Например, разработчики перестали его поддерживать, а злоумышленники обнаружили в его коде уязвимость и воспользовались ею. Либо может быть взломан сервер компании, которая хранит ваши данные. Могут быть и другие причины.

Во второй ситуации проблема заключается в том, что логины и пароли - это конфиденциальная информация, которая не может легальным способом быть опубликована в публичном канале, чате. Следовательно, вы получаете доступ к взломанным аккаунтам и с юридической точки зрения сами становитесь нарушителем. А также способствуете тому, чтобы чувствительная информация быстрее распространялась и попадала в руки злоумышленников.”

Тип теста, в который нужно переделать мое задание:

Пример задания:

“Инструкция: Выберите все правильные варианты ответа и запишите аргументы, обосновывающие выбор ответа

Вопрос: До того, как определить единицу измерения, подходящую к нашим данным, стоит понять, с каким видом данных мы имеем дело. Данные бывают качественные и количественные. Количественные данные часто делят на непрерывные и дискретные. Непрерывные данные можно выразить только дробным числом. Какие из следующих примеров относятся к дискретным данным?

Варианты ответа:

1) Количество стран в мире

2) Температура за окном

3) Место спортсмена в соревновании

4) Продажи табуреток за 2 февраля

5) Расстояние между двумя точками

6) Рост Александра Пушкина

7) Число студентов в классе

8) Скорость Ахиллеса

Правильный ответ: 1) Количество стран в мире, 3) Место спортсмена в соревновании, 4) Продажи табуреток за 2 февраля, 7) Число студентов в классе

Эталонное обоснование: В отличие от непрерывных данных дискретные данные можно выразить только целым числом. Проведем мысленный эксперимент и попробуем представить, какие из объектов нельзя разделить пополам. Не может быть половины страны, невозможно занять первое с половиной место, продать полтабуретки и в класс не может прийти полстудента. Соответственно, остальные варианты ответов относятся к непрерывным данным.”

Задание должно содержать в себе три обязательных части:

- инструкция,

- вопрос,

- варианты ответа,

- правильные ответы,

- эталонное обоснование для правильных ответов.

Инструкция в твоем задании будет такая: “Выберите все правильные ответы и запишите аргументы, обосновывающие выбор ответов”.

Вопрос должен быть сформулирован на основе текста, но должен спрашивать не о тексте, а о той информации, которую он содержит. Вопрос должен быть сформулирован в виде утверждения, желательно без частицы “не”, например “Из представленных вариантов наиболее подходящим является”. В задании можно цитировать текст, но нельзя приводить его полностью. Задание должно быть коротким, примерно 4-5 предложений, сформулировано простым и понятным языком.

Варианты ответов обозначь цифрами как в примере. Варианты ответов должны быть фразами или короткими предложениями, сформулированы простым и понятным языком. В ответах не должно быть вариантов “все ответы верны”, “нет верных ответов”.

Правильный ответ укажи в новой строке. Начни словами: “Ответ: ”

Эталонное обоснование не должно упоминать текст, на котором основан вопрос, а только информацию, которая дана в тексте. Оно должно быть длиной 1-2 абзаца, сформулировано простым и понятным языком.

Результат меня порадовал:

Хорошо, вот переделанное задание в соответствии с твоими требованиями:

**Инструкция:** Выберите все правильные ответы и запишите аргументы, обосновывающие выбор ответов.

**Вопрос:** Какие из следующих действий представляют угрозу безопасности данных пользователя при использовании интернет-приложений и сервисов?

**Варианты ответа:**

1) Удаление неиспользуемых приложений с телефона вместе с данными аккаунта.

2) Использование публично доступных логинов и паролей от чужих аккаунтов, найденных в открытых источниках (например, в Telegram-каналах).

3) Регулярная смена паролей для доступа к онлайн-сервисам.

4) Игнорирование запросов на обновление приложений.

5) Использование надежных и уникальных паролей для каждого сервиса.

**Ответ:** 2) Использование публично доступных логинов и паролей от чужих аккаунтов, найденных в открытых источниках (например, в Telegram-каналах). 4) Игнорирование запросов на обновление приложений.

**Эталонное обоснование:**

Использование чужих учетных данных, даже если они находятся в открытом доступе, является нарушением конфиденциальности и, потенциально, законодательства. Это подвергает риску как владельца аккаунта, так и пользователя, использующего эти данные.

Игнорирование обновлений приложений опасно, потому что обновления часто содержат исправления уязвимостей безопасности. Если не устанавливать обновления, злоумышленники могут воспользоваться известными уязвимостями для получения доступа к устройству или данным пользователя.

Новый тест как бы и похож на старый, и при этом есть новая информация; можно использовать оба в одном пакете тестов. Но тут есть одна уязвимость: тема моего теста достаточно известная, поэтому я обошлась без текста-опоры.

Сделаем то же самое, но с текстом-опорой. Опять беру тот же параграф из пособия Ю. Сафроновой “Историческая память: введение”. И я буду использовать сгенерированный вопрос, т.к. он относится к узкой теме.

В первом промпте я прошу модель просто прочитать текст:

Прочитай текст:

Прикладная история

Впервые понятие прикладной истории (Angewandte Geschichte) было использовано в начале ХХ в. учителем дюссельдорфской гимназии Генрихом Вольфом в названии серии учебников по курсу «Введение в политическое мышление и волю». Вольф апеллировал к старому принципу истории как учительницы жизни: она должна была помогать извлекать уроки из прошлого. Поскольку Вольф был активным членом сразу нескольких националистических организаций, его идеи были пронизаны националистической идеологией, антисемитизмом и расизмом. В этом случае его едва ли можно рассматривать как почетного «отца-основателя», к которому стоит возводить генеалогию направления. В современной Германии понятие «прикладная история» конкурирует с заимствованным из английского языка понятием публичной истории. Например, первый немецкий профессор по прикладной истории Корд Арендес в интервью немецкой газете “Die Zeit” заявил, что предпочитает понятие public history официальному немецкому названию своей позиции, поскольку термин Angewandte Geschichte в смысле применяемости истории к практической жизни кажется ему «громоздким».

Вопросы о том, в какой мере прикладная история (applied history) и публичная история (public history) пересекаются и чем первая отличается от второй, остаются открытыми. В некоторых случаях их рассматривают как синонимические понятия, в других говорят, что прикладная история зародилась внутри публичной как одно из ее направлений, где термин applied применялся к сфере public policy и политических консультаций.

Раздаются голоса, предлагающие принципиально разграничить эти две сферы исследований «для большей точности описания поля отношений между историей, публичной сферой и их посредниками». Как пишут авторы статьи «Прикладная история, или публичное измерение прошлого» (2012) Феликс и Якоб Аккерманны, Анна Литтке, Жаклин Ниссер и Юлиане Томанн, хотя оба направления схожи своей ориентированностью на практику, «…в отличие от public history, которая в основном занимается изложением исторических тем в публичной сфере, в случае прикладной истории следует обратить внимание на субъекты и возможности их сотрудничества».

Появление прикладной истории является вызовом для академических исследователей. Как любое новое направление, она порождает вопросы о том, так ли уж необходимо давать новое название тому, что историки, по существу, делают давно в рамках собственной профессии, поскольку история издавна эксплуатировалась с самыми разнообразными целями, далекими от академического поиска знания или образования. С другой стороны, должны ли «прикладные» историки соблюдать те же этические нормы и принципы, которые обязательны для их академических коллег? Отвечая на эти вопросы, немецкий историк Давид Франц пишет: «Задача исторической науки, независимо от того, служит ли она лишь исполнителем работ для другого исследователя или для заинтересованной в истории и действующей (!) публики, состоит в том, чтобы открывать исторические факты, размышлять над ними и проверять их».

С его точки зрения, это означает следование трем важным принципам. Во-первых, историки должны осознанно подходить к происходящим в обществе изменениям как на концептуальном, так и на институциональном уровнях, выражающимся во все возрастающем спросе на историю. Во-вторых, основы и методы исторической науки должны в равной мере относиться как к академическим, так и к неакадемическим областям, таким как граждански мотивированная кооперация или инициативы. В-третьих, история должна оставаться предметом общественных переговоров, чтобы не превратиться, если обстоятельства изменятся, в монопольный товар. В этом смысле «демонополизация» истории должна быть принята академическим сообществом как возможность, а не как угроза.

Полагаю, что эти наблюдения немецкого историка в полной мере должны относиться не только к теоретикам и практикам прикладной истории, но и к любой работе с прошлым, под каким бы знаменем и в рамках какого бы исследовательского направления она ни велась.

Модель отвечает, что текст прочитан и даже рассказывает мне о том, как она его поняла, какие там основные тезисы и т.п. Теперь скидываем ей промпт с заданием на переделку типа теста:

Я попрошу тебя переделать мое задание из одного типа в другой.

Задание, которое нужно переделать:

“Инструкция: Прочитайте текст и запишите развернутый обоснованный ответ

Вопрос: Историк, работающий в архиве по заказу частной компании, обнаружил документы, компрометирующие эту компанию. Должен ли он, следуя принципам прикладной истории, опубликовать эти документы, или же он связан обязательствами перед заказчиком? Аргументируйте свой ответ.

Эталонное обоснование:

“В первой ситуации дан пример безопасного обращения с телефоном и соблюдения цифровой гигиены. Даже если приложение сейчас безопасно, оно может перестать быть таким по ряду причин. Например, разработчики перестали его поддерживать, а злоумышленники обнаружили в его коде уязвимость и воспользовались ею. Либо может быть взломан сервер компании, которая хранит ваши данные. Могут быть и другие причины.

Во второй ситуации проблема заключается в том, что логины и пароли - это конфиденциальная информация, которая не может легальным способом быть опубликована в публичном канале, чате. Следовательно, вы получаете доступ к взломанным аккаунтам и с юридической точки зрения сами становитесь нарушителем. А также способствуете тому, чтобы чувствительная информация быстрее распространялась и попадала в руки злоумышленников.”

Тип теста, в который нужно переделать мое задание:

Пример задания:

“Инструкция: Выберите все правильные варианты ответа и запишите аргументы, обосновывающие выбор ответа

Вопрос: До того, как определить единицу измерения, подходящую к нашим данным, стоит понять, с каким видом данных мы имеем дело. Данные бывают качественные и количественные. Количественные данные часто делят на непрерывные и дискретные. Непрерывные данные можно выразить только дробным числом. Какие из следующих примеров относятся к дискретным данным?

Варианты ответа:

1) Количество стран в мире

2) Температура за окном

3) Место спортсмена в соревновании

4) Продажи табуреток за 2 февраля

5) Расстояние между двумя точками

6) Рост Александра Пушкина

7) Число студентов в классе

8) Скорость Ахиллеса

Правильный ответ: 1) Количество стран в мире, 3) Место спортсмена в соревновании, 4) Продажи табуреток за 2 февраля, 7) Число студентов в классе

Эталонное обоснование: В отличие от непрерывных данных дискретные данные можно выразить только целым числом. Проведем мысленный эксперимент и попробуем представить, какие из объектов нельзя разделить пополам. Не может быть половины страны, невозможно занять первое с половиной место, продать полтабуретки и в класс не может прийти полстудента. Соответственно, остальные варианты ответов относятся к непрерывным данным.”

Задание должно содержать в себе три обязательных части:

- инструкция,

- вопрос,

- варианты ответа,

- правильные ответы,

- эталонное обоснование для правильных ответов.

Инструкция в твоем задании будет такая: “Выберите все правильные ответы и запишите аргументы, обосновывающие выбор ответов”.

Вопрос должен быть сформулирован на основе текста, но должен спрашивать не о тексте, а о той информации, которую он содержит. Вопрос должен быть сформулирован в виде утверждения, желательно без частицы “не”, например “Из представленных вариантов наиболее подходящим является”. В задании можно цитировать текст, но нельзя приводить его полностью. Задание должно быть коротким, примерно 4-5 предложений, сформулировано простым и понятным языком.

Варианты ответов обозначь цифрами как в примере. Варианты ответов должны быть фразами или короткими предложениями, сформулированы простым и понятным языком. В ответах не должно быть вариантов “все ответы верны”, “нет верных ответов”.

Правильный ответ укажи в новой строке. Начни словами: “Ответ: ”

Эталонное обоснование не должно упоминать текст, на котором основан вопрос, а только информацию, которая дана в тексте. Оно должно быть длиной 1-2 абзаца, сформулировано простым и понятным языком.

Результат мне нравится:

Окей, переделываю задание в соответствии с новыми требованиями.

**Инструкция:** Выберите все правильные ответы и запишите аргументы, обосновывающие выбор ответов.

**Вопрос:** Принципы прикладной и академической истории, в некоторых аспектах, схожи. Из представленных вариантов обязанностей историка наиболее соответствующими обоим направлениям являются:

**Варианты ответа:**

1) Публикация всех обнаруженных документов, независимо от их содержания и последствий публикации.

2) Следование методам исторической науки при работе с источниками, независимо от заказчика исследования.

3) Осознанное отношение к общественным изменениям и запросам на исторические знания.

4) Участие в общественных дискуссиях по поводу интерпретации исторических событий, чтобы избежать монополизации истории.

5) Сохранение в тайне любой информации, компрометирующей заказчика исследования.

6) Предоставление результатов исследования исключительно заказчику, без публикации в открытом доступе.

**Правильный ответ:** 2) Следование методам исторической науки при работе с источниками, независимо от заказчика исследования., 3) Осознанное отношение к общественным изменениям и запросам на исторические знания., 4) Участие в общественных дискуссиях по поводу интерпретации исторических событий, чтобы избежать монополизации истории.

**Эталонное обоснование:**

Ключевым для любого исторического исследования, будь то академическое или прикладное, является строгое следование методологии. Это включает в себя критический анализ источников, проверку фактов и стремление к объективности. Также, важно осознавать, что история востребована обществом, и эта востребованность меняется. Историк должен быть готов к диалогу и обсуждению своих выводов, чтобы избежать ситуации, когда интерпретация прошлого контролируется узкой группой лиц или организаций. Остальные варианты либо противоречат этическим нормам ( сокрытие информации), либо не являются универсальными для обоих направлений (публикация *всех* документов, предоставление результатов *только* заказчику).

На этом завершаю свой рассказ о промптинге. Переходим к одной последней, но немаловажной детали: проверка качества тестов.