Как на самом деле оценить инструмент обзора кода ИИ

Режим сбоя, который имеет значение в обзоре кода ИИ, не является пропущенной ошибкой. Это результат, который читается как реальный обзор, но структурно неправильный, потому что это версия, которой вы доверяете и действуете. Я продолжаю возвращаться к записи о восстановлении базы данных от Оскара Гросса в Глейзере. Они использовали Codex, чтобы взломать запутанную схему в собственной базе данных Cronos и преобразовать ее в CSV. Удивительная часть заключалась в том, что получить ценности не было трудной частью. Доказательство того, что каждое значение все еще находится под правильной колонкой, было. Линия, которую стоит украсть за то, как вы оцениваете инструмент обзора: CSV, содержащий читаемые значения под неправильными заголовками, будет хуже, чем очевидная ошибка, потому что он может выглядеть действительным, будучи семантически поврежденным. Это то, что дает вам обзор ИИ, когда он только проверяет, хорошо ли читается код. Он может отметить реальную проблему поверхности и пропустить, что общий кадр отключен. Или это может благословить изменения, которые являются последовательными и неправильными. Результат читается хорошо, поэтому вы доверяете ему, и дефект находится именно там, где инструмент сказал вам, что ничего не случилось. Беглый и неправильный удары очевидно-неправильно каждый раз, потому что очевидно-неправильно заставляет вас выглядеть. Поэтому при сравнении инструментов обзора взвешивайте структурную валидацию над видимой читаемостью. Решает ли инструмент изменение кодовой базы или просматривает текст патча изолированно? Проверяет ли он изменения в отношении окружающих типов, контрактов и абонентов или только то, что линии сканируют нормально? Может ли он сказать вам, что «это выглядит действительно, но нарушает форму системы», или просто что проза в порядке? Инструмент, который свободно, но структурно слеп, более опасен, чем консервативный, который часто говорит «не уверен». Консервативный подход заставляет вас смотреть ближе. Беглый заставляет тебя остановиться. Наихудший случай, а не средний. Средняя скорость прилова ошибок скрывает область, которая решает, можно ли доверять инструменту: срез изменений, где он производит правдоподобную, авторитетную, неправильную обратную связь. Постройте свой Eval, чтобы всплыть именно это, а затем решите.