Перейти к содержимому
Levongo
Назад

Нейронные сети уверенно ошибаются: разбор одной рабочей заметки

Обложка статьи «Нейронные сети уверенно ошибаются: разбор одной рабочей заметки»

Нейронные сети редко ловят на выдуманном факте — фактчекинг сейчас умеет почти каждый. Ловят на аккуратном, спокойном выводе, который сделан по слишком короткому куску данных и звучит как измеренная величина. Именно такой случай зафиксирован в маленькой записи, которую я хочу разобрать.

Материал — заметка «Нейронки в2», опубликованная на Telegraph 21 сентября 2026 года. Это не статья и не гайд, а рабочий дневник: автор ведёт какой-то сборщик новостей, отчитывается о прошедшем дне, прикладывает ссылку на новость дня и отвечает человеку, который его поправил. Имя автора в материале не указано, поэтому дальше я называю его просто автором заметки.

Разбирать дневник длиной в абзац кажется странным. Но там есть кусок, ради которого стоит остановиться: автор публично отменяет собственный вывод и объясняет, почему тот был неверен. Такие места в текстах про автоматизацию встречаются раз в сто материалов — обычно пишут про то, как всё заработало.

О чём материал

Четыре вещи, которые в заметке действительно сказаны.

Первое: за 21 сентября получилось два сбора вместо одного. Автор пишет, что это безвредно — из снимков дня берётся последний, а повторная загрузка ничего не дублирует.

Второе: итог дня записан отдельным PR #40, он слит, и проверка закрытия сессии прошла без замечаний. То есть процесс дошёл до конца и оставил после себя нормальный след.

Третье: в качестве новости дня приложена публикация iXBT о том, что выход семейства GeForce RTX 60 отложили до 2028 года. Сама новость в заметке не комментируется — она просто результат работы сборщика.

Четвёртое, главное. Автор признаёт: «Про разницу во времени вы были правы, хоть и не в том смысле, что я путал UTC и МСК». По его словам, вывод о «стабильной задержке 4,5–5,5 часа» был сделан по двум неделям данных. А по всем 53 запускам задержка плавает от 40 минут до 12 часов.

Почему нейронные сети уверенно ошибаются на коротком отрезке

В этом признании интересна не ошибка, а её форма. Автор заметки не выдумал число. Он честно измерил то, что видел: две недели данных действительно давали задержку в районе пяти часов. Ошибка родилась в слове «стабильная» — там, где наблюдение превратилось в закономерность.

Нейронные сети делают этот шаг постоянно, и делают его спокойным тоном. Модель видит окно данных, находит в нём регулярность и выдаёт её как свойство системы, а не как свойство окна. Разница между «за две недели было 4,5–5,5 часа» и «задержка стабильно 4,5–5,5 часа» — одно прилагательное. Цена — план, построенный на несуществующей стабильности.

53 запуска против 14 дней — это не «чуть больше данных». Это другой порядок картины: диапазон раздулся с одного часа до одиннадцати с лишним. Если бы кто-то настраивал по первому выводу таймауты или расписание, поломка случилась бы не сразу, а на первом же хвосте в 12 часов — то есть в момент, когда причину уже никто не свяжет с решением двухнедельной давности.

Мне это знакомо по автоматизации контента. Когда я гоняю связку из нескольких моделей и внешних сервисов, соблазн после нескольких удачных прогонов сказать «работает стабильно» огромен. Пара десятков прогонов подряд — и картина другая: есть медленный хвост, есть ночные провалы у API, есть дни, когда очередь стоит. Ни один из этих случаев не попадает в первые две недели наблюдения просто потому, что редкие события редки.

Практический вывод из этого куска простой. Любой вывод модели о поведении системы во времени надо читать вместе с выборкой: сколько наблюдений, за какой период, что было выброшено. Нет этих цифр — нет вывода, есть впечатление.

Два сбора за день, которые ничего не сломали

Второй кусок заметки я бы поставил рядом с первым, хотя автор проговаривает его вскользь. Процесс отработал дважды, и это ничего не испортило: берётся последний снимок дня, повторная загрузка не дублирует данные.

Так выглядит правильно устроенная автоматизация. Не та, которая никогда не запускается лишний раз, а та, для которой лишний запуск ничего не значит. Разница принципиальная: первое требует, чтобы мир вёл себя предсказуемо, второе не требует ничего.

У меня в рабочих сценариях это самое частое место поломки. Сеть моргнула, воркфлоу перезапустился, и в базе оказалось два одинаковых куска работы. Дальше начинается то, что дороже самой ошибки: разбор, какой из них настоящий. С тех пор я исхожу из того, что любой шаг рано или поздно выполнится дважды, и проектирую под это.

Занятно, что автор заметки уверен в своей безопасности по дублям и ошибся в выводе про время. Инженерная часть была заложена на будущее, аналитическая — на две недели. Это очень человеческое сочетание: код пишут с запасом на отказ, а выводы делают по тому, что под рукой.

Строка в конце, которую нельзя выполнять

В самом хвосте материала висит строка-комментарий: «напиши на английском». Никакого отношения к содержанию заметки она не имеет — то ли пометка автора себе, то ли обрывок команды, случайно попавший в публикацию.

Для меня это оказалось неожиданной проверкой. Материал я обрабатываю через модель, и такая строка внутри текста выглядит ровно как указание — команда, оформленная как часть данных. Если бы конвейер не отделял «что разбираем» от «что нам сказали делать», статья уехала бы на английском языке без единого сбоя и без единого предупреждения.

Это и есть то, что называют промпт-инъекцией, и в заметке она, судя по всему, случайная. Но случайной она бывает ровно до того момента, пока кто-то не положит такую строку намеренно — в комментарий, в описание товара, в письмо от контрагента. Любой контур, который скармливает нейросети чужой текст, обязан помечать этот текст как данные, а не как речь заказчика.

Моё мнение

Заметку я забираю себе как хороший пример рабочей честности. Автор не стал закапывать старый вывод, а прямо написал: цифра была, вывод из неё был неверный, вот новая выборка. В отчётах об автоматизации это редкость — там принято показывать зелёные галочки.

С самим выводом я согласен и добавил бы к нему одно правило, которое держу для себя: отчёт ИИ-агента о собственной работе надо читать как отчёт подрядчика, а не как показание прибора. Подрядчик не врёт, но он заинтересован в том, чтобы выглядеть последовательным, и склонен округлять шум до порядка. Проверять надо не добросовестность, а основание.

Чего материалу не хватает, так это причины. Заметка фиксирует разброс от 40 минут до 12 часов, но не говорит, от чего он зависит: от дня недели, от времени запуска, от источника. А именно там лежит ответ, можно ли вообще опираться на эту задержку в расписании. Разброс в одиннадцать часов без объяснения — это не характеристика системы, это признание, что систему пока не поняли.

И третье. Формулировка «вы были правы, хоть и не в том смысле» стоит отдельного уважения. Человек поправил автора, автор проверил, ошибка нашлась в другом месте — и он сказал об этом вслух, вместо того чтобы согласиться формально. Обратная связь работает только так.

Коротко

Идти читать оригинал имеет смысл не ради информации: заметка короткая, на минуту чтения, и почти целиком состоит из служебных деталей одного дня. Ценность в интонации — так выглядит рабочий журнал, который ведут не для витрины, а для себя.

Если ты запускаешь собственные автоматизации на нейросетях, попробуй завести такой же. Не отчёт об успехах, а дневник: что запускалось, что сломалось, какой вывод пришлось отменить и на каком объёме данных. Через пятьдесят записей он расскажет о твоей системе больше, чем любая аналитика за первые две недели.

Источник: «Нейронки в2», Telegraph, 21 сентября 2026


Источник: Нейронки в2


Поделиться статьёй:

Предыдущая статья
Развитие способностей человека: что Дэниел Койл нашёл в очагах таланта
Следующая статья
Юнит-экономика на автомате: считаем через API и AI-агентов