Нейросеть, которой можно отдать работу

Что входит

Четыре части. Первая и вторая — тот минимум, без которого остальное не имеет смысла.

• 01

  Правила, записанные один раз

  Что можно, чего нельзя и как выглядит правильный результат — в файле, который модель читает перед каждой задачей. Пока правила живут у вас в голове, каждый новый текст — лотерея.

• 02

  Три круга проверки

  Готовый результат проходит три независимые проверки, и каждая ловит свой вид ошибки. Одна проверка пропускает именно то, чего не умеет видеть.

• 03

  Набор задач с известными ответами

  Список вопросов, на которые правильный ответ заранее известен. После каждой правки правил он прогоняется целиком — и видно, стало лучше или хуже.

• 04

  Право ответить «не знаю»

  Отказ должен быть разрешённым ответом, иначе модель будет выдумывать, чтобы не молчать. Это самая дешёвая и самая недооценённая настройка из всех.

Три круга проверки

Круги идут по порядку и устроены по-разному. В этом и смысл: каждый следующий видит то, что предыдущий пропускает.

• Первый круг: скрипты

  Обычные программы проверяют то, что проверяется однозначно: запрещённое слово, сбитый формат, цифра, которой нет в исходных материалах. Машина не устаёт к тридцатому тексту и не уговаривает себя, что и так сойдёт.

• Второй круг: второй читатель

  Отдельный агент, который этот текст не писал. Автор защищает своё решение, посторонний — нет. Это не особенность нейросетей, это ровно то же, зачем в редакции есть корректор.

• Третий круг: сторонняя модель

  Текст уходит в модель другого разработчика. Она не знает, кто автор, и говорит, насколько утверждение похоже на правду. Две модели ошибаются в разных местах — в этом их главная польза друг для друга.

Как идёт работа

Четыре шага. Первый ничего не меняет и нужен, чтобы остальные три не делались наугад.

1. 1

   Разбор того, что получается сейчас

   Беру ваши настоящие задачи и смотрю на настоящие ответы. Нужно понять, какие именно ошибки повторяются: придуманные факты, не тот тон, нарушенный формат. Лечение зависит от диагноза.

2. 2

   Правила

   Записываем их так, чтобы по ним можно было проверить результат. Правило, которое нельзя проверить, не правило, а пожелание.

3. 3

   Проверка в три круга

   Скрипты, второй читатель, сторонняя модель. Собирается как часть работы, а не как разовая вычитка перед сдачей.

4. 4

   Замер

   Набор задач с известными ответами и выборочная приёмка человеком. С этого шага у вас появляется число, а не ощущение.

Что не даёт выдумке появиться

Три круга проверяют готовое. Эти приёмы работают раньше и снимают часть ошибок до того, как они написаны.

• Привязка к источнику

  У каждого утверждения должна быть цитата из ваших материалов. Утверждение без цитаты вычёркивается, даже если выглядит верным. Это даёт больше, чем любая другая мера.

• Отдельно найти, отдельно написать

  Один шаг только достаёт цитаты, второй пишет текст и имеет право брать лишь их. Выдумки появляются там, где один шаг делает и то и другое.

• Жёсткий вид ответа

  Ответ приходит полями, и поле с источником обязательно. Ответ без него программа не принимает, и модель не может отдать его в работу.

• Запрет говорить за заказчика

  Цены, сроки и обязательства модель не называет никогда, даже если знает. Неверно названная цена стоит дороже всех остальных ошибок вместе.

Как понять, что стало лучше

Без замера три круга — это вера. Инжинирингом они становятся, когда есть число.

• Один вопрос несколько раз

  Задаём одно и то же пять раз. Где ответы совпали, факт держится. Где один разошёлся, модель скорее всего придумала, и смотреть нужно именно туда.

• Вопросы-ловушки

  Спрашиваем о том, чего в материалах нет. Правильный ответ — «таких данных нет». Если модель отвечает по сути, проверка не работает, и это видно сразу.

• Прогон после каждой правки

  Правило поправили — набор задач прогоняется целиком. Стало хуже хоть в одном месте, правка не уходит в работу.

• Выборочная приёмка человеком

  Часть ответов читает человек и записывает, сколько нашёл ошибок. Иначе проверка оценивает сама себя, а это не оценка.

Чего я не обещаю

Эти три обещания вам дадут, и ни одно из них нельзя выполнить.

• Что выдумок больше не будет

  Всего не поймает ни одна проверка. Три круга сильно сокращают число ошибок, которые доходят до вас, и дают число, за которым можно следить. Обещать ноль — обещать то, чего в этой технологии пока нет.

• Что станет дешевле

  Проверка тратит больше, чем один ответ без проверки. Платите не за экономию, а за то, что результат можно отдавать, не перечитывая каждую строку.

• Что правила напишутся один раз

  Они стареют: меняются ваши задачи, выходят новые модели. Правила живут как инструкция, которую правят, а не как документ, который однажды подписали.