Что такое LLM — попугай, прочитавший интернет
Как языковая модель генерирует текст — без единой формулы
Связь с «Первым контактом»
В уроке «AI, ML, DL — в чём разница?» ты видел LLM внутри матрёшки AI → ML → DL. Здесь разбираем механику: как именно модель «угадывает» следующий токен — без формул, но точнее, чем в первом знакомстве.
В мире «Первый контакт» ты узнал, что AI учится на данных. Сейчас смотрим глубже: ChatGPT и похожие сервисы — это языковые модели (LLM). Их главная задача одна — угадать, какой кусочек текста скорее всего пойдёт следующим.
ПЕРВОЕ ЗНАКОМСТВО: ПРЕДСКАЗАТЕЛЬ СЛОВ
Языковая модель — это предсказатель следующего токена. Токен — кусочек текста (часть слова, слово или знак). Модель смотрит на всё, что уже написано, и выдаёт вероятности: что может быть дальше. Потом выбирает один вариант — и повторяет снова и снова, пока ответ не готов.
Самая простая версия — биграмма
Представь таблицу: после слова «добрый» чаще всего идёт «день», после «столица» — «Франции» или «России». Примитивная модель запоминает такие пары и продолжает текст по статистике. Это настоящая языковая модель — просто очень слабая. Современный ChatGPT делает то же самое, но с огромным «словарём» связей и нейросетью вместо таблицы.
Попугай, который читал весь интернет
Удобная метафора: попугай прочитал миллиарды страниц. Он не «понимает» смысл как человек — но помнит, какие слова обычно стоят рядом. «Столица Франции — это...» → «Париж», потому что так писали тысячи раз. Отсюда сила в тексте и слабость в точных фактах: модель выбирает правдоподобное, а не обязательно верное.
ОТСЮДА ВСЁ ОСТАЛЬНОЕ
Галлюцинации — модель выбрала вероятный, но неверный текст. Уверенный тон — в обучающих данных люди пишут уверенно. Слабость в счёте — там нужна точность, а не «что обычно пишут дальше». Запомни эту картинку — она пригодится во всех уроках мира.
?Проверь себя
Как языковая модель создаёт ответ на твой вопрос?
НЕ ПУТАТЬ С ПОИСКОМ
Google находит существующие страницы. LLM пишет новый текст. Оба полезны — но работают по-разному. Путать их — главная ошибка новичков.
