Джипити: что это за нейросеть и как она работает

Что означает само название

GPT расшифровывается как generative pre-trained transformer — генеративный предобученный трансформер. Каждое слово в этом названии несёт смысл.

Генеративный — модель порождает новый текст, а не выбирает из готовых заготовок. Предобученный — сначала она долго училась на огромном массиве текстов и только потом была настроена под диалог. Трансформер — тип архитектуры, придуманный в 2017 году, который умеет учитывать связи между далеко отстоящими словами в предложении.

Отсюда важное следствие: ChatGPT — это не поисковик и не энциклопедия. Это система, предсказывающая продолжение текста. Всё, что она умеет, вытекает из этой единственной способности.

Как модель на самом деле формирует ответ

Текст разбивается на токены — фрагменты слов. Модель получает всё, что уже есть в диалоге, и оценивает вероятность каждого возможного следующего токена. Затем выбирает один, добавляет его к тексту и повторяет процедуру.

Так, токен за токеном, вырастает ответ. Модель не планирует его целиком заранее и не сверяется с базой фактов — она движется вперёд, опираясь на статистические закономерности, усвоенные при обучении.

Именно поэтому ответ на один и тот же вопрос дважды будет разным: выбор следующего токена содержит элемент случайности. И поэтому же модель может уверенно написать неправду — правдоподобное продолжение текста не обязано быть правдивым.

Чем отличаются поколения

Разница между версиями почти не видна на простом вопросе — там справится любая. Она проявляется на задачах, где нужно удерживать в голове много условий сразу.

Что модель делает хорошо

Общая закономерность: модель сильна там, где исходный материал уже есть и его нужно преобразовать. Она заметно слабее там, где материал нужно добыть.

• Переформулирует: сокращает, упрощает, меняет стиль и тон текста.
• Структурирует: превращает поток мыслей в план, таблицу или список.
• Объясняет сложное простыми словами и подбирает аналогии.
• Переводит с учётом контекста, а не пословно.
• Пишет и разбирает код, находит ошибки, объясняет чужой код.
• Генерирует варианты, когда нужно набросать двадцать заголовков и выбрать один.

Где модель ошибается принципиально

Все эти ошибки — не дефекты конкретной версии, а следствие устройства. Модель предсказывает правдоподобный текст, а правдоподобие и правда совпадают не всегда. Отсюда единственное надёжное правило: чем выше цена ошибки, тем обязательнее ручная проверка.

• Факты, даты, цифры. Может уверенно назвать неверную дату или выдумать статистику.
• Ссылки и цитаты. Регулярно генерирует несуществующие источники с правдоподобными названиями.
• Арифметика. Считает не вычисляя, а предсказывая — на длинных расчётах ошибается.
• Свежие события. Знания ограничены датой обучения, о недавнем модель не знает.
• Собственные возможности. Может утверждать, что сделала то, чего не делала.

Как получить ответ лучше

1. 1Дайте контекст: кто вы, для кого текст, какой результат нужен.
2. 2Задайте формат явно: длина, структура, стиль, наличие примеров.
3. 3Покажите образец, если он есть — модель хорошо подхватывает манеру.
4. 4Разбивайте сложную задачу на шаги вместо одного большого запроса.
5. 5Просите варианты, а не один ответ, и выбирайте сами.
6. 6Просите обосновать выводы — так проще заметить, где модель придумала.

Откуда взялась технология

История упирается в 2017 год и статью исследователей Google под названием «Attention is all you need». В ней описали архитектуру трансформера — способ обрабатывать текст, при котором модель на каждом шаге взвешивает, какие из ранее прочитанных слов важны для понимания текущего. До этого нейросети читали текст последовательно и быстро теряли связи между далеко отстоящими частями предложения.

OpenAI взяла эту архитектуру и пошла по пути наращивания масштаба. Первая версия GPT в 2018 году была небольшой и мало кого впечатлила. Вторая, GPT-2, уже писала связные абзацы. Третья, вышедшая в 2020-м, оказалась настолько крупнее, что у неё проявились способности, которым её специально не учили: переводить, решать простые задачи, писать код по описанию.

Публику технология зацепила только в конце 2022 года, когда поверх модели сделали диалоговое окно и открыли бесплатный доступ. Сама модель к тому моменту существовала давно — изменился способ ею пользоваться. Это важная деталь: прорывом стал не столько алгоритм, сколько интерфейс.

Как модель обучали

Обучение идёт в два принципиально разных этапа, и путать их не стоит.

Первый — предобучение. Модели показывают колоссальный объём текстов и заставляют раз за разом угадывать следующий фрагмент. Никто не размечает эти данные вручную: правильный ответ уже есть в самом тексте. За счёт этого модель усваивает грамматику, факты, стилистику и связи между понятиями — но при этом не умеет вести диалог и охотно продолжает любую фразу, включая вредную.

Второй этап — донастройка под общение. Здесь уже участвуют люди: они пишут примеры хороших ответов, а затем оценивают варианты, которые выдаёт модель, ранжируя их от лучшего к худшему. На этих оценках обучается отдельная модель-судья, и с её помощью основную модель подталкивают отвечать так, как ожидает человек.

Отсюда следует неочевидное. Значительная часть того, что мы принимаем за «характер» ChatGPT — вежливость, оговорки, отказы, склонность к структурированным ответам — заложена не архитектурой, а этим вторым этапом. Другая компания на той же архитектуре получила бы модель с другими манерами.

Что такое галлюцинации и почему их не чинят

Галлюцинацией называют уверенно поданный вымысел: несуществующую цитату, выдуманную статистику, ссылку на статью, которой нет. Это самая обсуждаемая проблема языковых моделей и самая непонятая.

Обычно её объясняют недостатком данных или недоученностью — и это неверно. Механизм ровно тот же, что делает модель полезной. Она выбирает статистически правдоподобное продолжение текста. Название несуществующей статьи, составленное из типичных для научных работ слов, статистически правдоподобно. Модель не отличает «я это встречала» от «так обычно бывает», потому что у неё нет отдельного хранилища фактов, с которым можно свериться.

Свежие поколения ошибаются реже, а доступ к поиску позволяет подтягивать реальные источники. Но полностью убрать галлюцинации, не сломав генеративную способность, пока никому не удалось. Практический вывод не меняется годами: всё проверяемое — проверяйте.

• Чаще всего модель врёт там, где данных было мало: узкие темы, редкие персоналии, локальная специфика.
• Уверенность тона не коррелирует с правильностью — выдумка подаётся так же спокойно, как факт.
• Просьба «укажи источник» повышает риск: модель придумает источник, чтобы выполнить инструкцию.
• Надёжнее спрашивать не «какой закон это регулирует», а «как проверить, какой закон это регулирует».

Что модель понимает под «пониманием»

Спор о том, понимает ли языковая модель смысл или лишь имитирует его, идёт с 2022 года и вряд ли скоро закончится. Для практической работы он менее важен, чем кажется, но одну вещь знать полезно.

Модель оперирует не словами, а векторами — числовыми представлениями, в которых близкие по смыслу понятия оказываются рядом. Именно поэтому она справляется с задачами, которых не видела: если «врач» и «терапевт» расположены близко, знание об одном переносится на другое. Это не поиск по базе, а обобщение.

Но обобщение не гарантирует связности. Модель может в одном абзаце правильно описать правило, а в следующем его нарушить — потому что удерживает не логическую систему, а статистические закономерности. Отсюда практический приём: важные выводы просите обосновать по шагам. Разрыв в рассуждении заметить проще, чем ошибку в готовом ответе.

Как технология меняется прямо сейчас

Три направления развития видны отчётливее прочих. Первое — рост контекста: объём текста, который модель держит в памяти, за несколько лет вырос на порядки, и разбор целой книги перестал быть проблемой.

Второе — мультимодальность. Модель работает не только с текстом: разбирает изображения, слушает речь, отвечает голосом. Граница между «языковой моделью» и «универсальным ассистентом» размывается.

Третье — удешевление. Открытые модели догнали закрытые на многих задачах и сбили цену. Для пользователя это означает, что привязка к одному поставщику стала невыгодной: то, что вчера было доступно только по дорогой подписке, сегодня отдаёт модель втрое дешевле.

Мифы, которые мешают работать

Кому и для чего это реально полезно

Если убрать восторги и опасения, остаётся довольно приземлённая картина. Наибольшую выгоду получают те, у кого много рутинной работы с текстом и при этом есть квалификация, чтобы оценить результат.

Редактор экономит время на черновиках, но по-прежнему решает, что оставить. Программист быстрее разбирается в чужом коде, но отвечает за то, что уйдёт в продакшн. Юрист получает набросок документа, но проверяет каждую ссылку на норму — именно здесь модель ошибается чаще всего.

Хуже всего технология работает у тех, кто не может оценить качество ответа. Студент, не разбирающийся в теме, не заметит подмены факта. Предприниматель без юриста не увидит, что в сгенерированном договоре нет существенного условия. Модель усиливает того, кто уже компетентен, и подводит того, кто рассчитывал ею компетентность заменить.

Частые вопросы

Джипити ищет информацию в интернете?

По умолчанию нет. Модель опирается на то, что усвоила при обучении. Доступ к поиску — отдельная функция, и она есть не везде.

Почему модель придумывает несуществующие источники?

Она предсказывает правдоподобное продолжение текста. Название статьи, похожее на настоящее, статистически вероятно — но это не значит, что статья существует.

Почему ответы каждый раз разные?

Выбор следующего фрагмента текста содержит элемент случайности. Это заложено в устройство и делает ответы живее, но лишает воспроизводимости.

Заменит ли модель специалиста?

Она снимает рутину — черновики, структуру, перебор вариантов. Ответственность за результат и проверку фактов остаётся на человеке.

Можно ли доверять расчётам?

Нет, без проверки. Модель не вычисляет, а предсказывает правдоподобный результат, и на длинных расчётах ошибается.