Сигнал пустой клетки или просто отсутствует?

Сигнал пустой клетки или просто отсутствует? Иногда пустая клетка — самая информативная вещь в ряду. Проблема в том, что вы обычно знаете только тот случай, когда читаете словарь данных, и он не масштабируется до 800 колонок. Поэтому мы измеряем его, а затем проверяем ответ на литературу. Жилье Эймса · 1460 продаж · 79 колонок · 19 из них содержат заготовки «Бросьте любую колонку, которая отсутствует более чем на 70%». Я написал эту строку в большем количестве трубопроводов, чем могу сосчитать. На Эймсе он удаляет четыре столбца — и три из них имеют реальный ценовой сигнал, сидящий в промежутке. Пробелы в этом наборе данных являются структурными. Пробел не означает, что стоимость была потеряна; это означает, что в доме нет гаража. Пробел означает отсутствие доступа к переулку. Пустота — это измерение. Это легко увидеть здесь, потому что колонки имеют английские имена и опубликованный словарь данных. Нелегко увидеть на ленте поставщиков анонимных функций, как выглядят большинство реальных проектов. Таким образом, вопрос, на который стоит ответить, не «несет ли пропажа сигнал» — вы можете сказать, не зная, что означает колонка? 0,41 R2 только от пустого / не-белого шаблона - каждое значение, выброшенное 1,00 AUC, восстанавливающее гаражные заготовки от значений других столбцов ± 0,9% Общее распределение по пяти стратегиям - внутри шумовой полосы ± 1,5% CV 1 · Чистая ячейка имеет ценник Начать с сырой проверки: отличается ли цена продажи между строками, где колонка пуста, и строками, где ее нет? Колонны, которые остаются пустыми в одних и тех же рядах, описывают один факт, поэтому пять гаражных колонн сливаются в одну. Рис.1. Средняя цена продажи, пустые строки против ценных строк. Ни один гараж не является медианной скидкой в 68 тысяч долларов на медианный дом в 163 тысячи долларов. Обратите внимание на перевернутый знак: дома, которые имеют переулок или забор, являются более дешевыми — эти особенности отмечают более старые, более плотные блоки. «Бланк = хуже» — это не то правило, которое вы можете принять. Тогда испытание тяжелее. Выбросьте все значения в таблице и сохраните только матрицу из 19 колонн. Приспособиться к этому и больше ничего. Рисунок 2. Пятикратное резюме. Модель, которая никогда не видела ни одного этажа, квартала или построенного года, достигает R2 = 0,41, чисто из которых клетки пусты. Заготовки громкие. Но мы поняли их, только прочитав словарь данных — и это та часть, которая не масштабируется. 2 Два вопроса, и большинство людей задают только первый для каждой колонки, содержащей пустую, задают две вещи, ни одна из которых не требует знания, что означает колонка. Ось 1 — перемещает ли пустая мишень? Стандартизованная разница в цене журнала между пустыми и небелыми рядами с тестом на перестановку и коррекцией Бенджамина-Хохберга в восьми колоночных группах. Это ось, по которой все уже бегают. 2-я ось — можно ли восстановить заготовку из значений других столбцов? Предсказывать «является ли эта ячейка пустой?» из любой другой колонки, при этом собственная нехватка каждой другой колонки сначала разрушается, поэтому классификатор может использовать только те значения, которые вы действительно можете наблюдать. AUC около 1.0 означает, что некоторые другие колонки уже говорят вам. AUC около 0,5-0,8 означает, что больше ничего в таблице не знает. Ось 1 является ловушкой. Пробел может быть сильно связан с целью и все равно ничего не стоит, потому что соседняя колонна несет тот же факт. Колонка группы % чистый эффект adj. p взыскать вердикт AUC Забор 80.8 +0.45 0,0007 0.765 флаг его Аллея 93.8 +0.55 0,0007 0.942 флаг он Bsmt ×5 2.6 −1.23 0,0007 0.982 флаг он MiscFeature 96.3 +0.41 0,0051 0.983 флаг он LotFrontage 17.7 +0.12 0,0930 0.824 нет сигнала MasVnrType 59.7 −0.79 0,0007 0.999 избыточный FireplaceQu 47.3 −1.02 0,0007 1.000 избыточный гараж ×5 5.5 −1.41 0,0007 1.000 избыточный фиг 3. Две оси вместе. Размер пузыря — это доля чистых строк. Все в затененной полосе уже закодировано где-то еще в таблице. Интересные случаи находятся слева. в AUC 0.77 и в 0.94: ничто другое в таблице не кодирует их. Их заготовки являются единственным носителем их факта — и именно они являются колонками, которые удаляет правило «выпадение > 70 процентов». Классический «Just Median-impute»