Un signal de cellule vierge, ou juste manquant ?

Un signal de cellule vierge, ou juste manquant ? Parfois, une cellule vide est la chose la plus informative dans la rangée. Le problème, c'est que vous ne savez habituellement que dans quel cas vous êtes en lisant le dictionnaire de données — et cela ne s'élève pas à 800 colonnes nommées . Donc nous le mesurons à la place, puis nous vérifions la réponse par rapport à la littérature. Le logement Ames · 1 460 ventes · 79 colonnes · 19 d'entre elles contiennent des blancs "Drop n'importe quelle colonne qui est plus de 70% manquant." J'ai écrit cette ligne dans plus de pipelines que je ne peux compter. Sur Ames il supprime quatre colonnes — et trois d'entre elles ont un signal de prix réel dans l'écart. Les blancs de cet ensemble de données sont structurels. Un blanc ne signifie pas que la valeur a été perdue; cela signifie que la maison n'a pas de garage. Un blanc signifie pas d'accès aux ruelles. Le vide est la mesure. C'est facile à voir ici parce que les colonnes ont des noms anglais et un dictionnaire de données publié. Il n'est pas facile de voir sur un fil de fournisseurs des fonctionnalités anonymisées, ce à quoi ressemblent les projets les plus réels. Donc la question qu'il vaut la peine de répondre n'est pas "le manque transporte-t-il le signal", c'est-à-dire, sans savoir ce que signifie la colonne? 0.41 R2 du modèle blanc/non blanc seulement — chaque valeur supprimée 1.00 ASC récupérer les blancs de garage à partir des valeurs des autres colonnes ±0.9% Total réparti sur cinq stratégies — à l'intérieur d'une bande de bruit CV ±1,5% 1 · Une cellule blanche a une étiquette de prix Commencez par le contrôle brut: le prix de vente diffère-t-il entre les lignes où une colonne est vide et les lignes où elle n'est pas? Les colonnes qui sont vides sur les mêmes lignes décrivent un fait, de sorte que les cinq colonnes de garage s'effondrent en une seule. Graphique 1. Prix de vente médian, lignes blanches par rapport aux lignes évaluées. Aucun garage n'est une réduction médiane de 68k$ sur une maison médiane de 163k$. Notez le signe flip: les maisons qui ont une allée ou une clôture sont les moins chères — ces caractéristiques marquent des blocs plus anciens et plus denses. "Blank = pire" n'est pas une règle que vous pouvez supposer. Alors le test le plus difficile. Jetez chaque valeur dans la table et ne conservez qu'une matrice de / — cette cellule était-elle vide? C'est bon et rien d'autre. Figure 2. Cinq fois le CV. Un modèle qui n'a jamais vu une surface de plancher, un quartier ou une année construite atteint R2 = 0,41 purement à partir duquel les cellules sont vides. Les blancs sont bruyants. Mais nous les avons seulement compris en lisant le dictionnaire de données — et c'est la partie qui n'a pas d'échelle. 2 · Deux questions, et la plupart des gens ne posent que la première Pour chaque colonne qui contient un blanc, posez deux questions, qui ne nécessitent pas de savoir ce que signifie la colonne. Axe 1 — Le blanc déplace-t-il la cible? Différence normalisée du prix du log entre les lignes blanches et non blanches, avec un test de permutation et une correction Benjamini-Hochberg dans les huit groupes de colonnes. C'est l'axe que tout le monde suit déjà. Axe 2 — Le blanc est-il déjà récupérable à partir des valeurs des autres colonnes? Prévoyez "est-ce que cette cellule est vide?" de chaque autre colonne, avec la propre absence de chaque autre colonne détruit en premier, de sorte que le classificateur ne peut utiliser que des valeurs que vous pouvez réellement observer. L'ASC près de 1.0 signifie que d'autres colonnes vous disent déjà. L'ASC près de 0,5 à 0,8 signifie rien d'autre dans le tableau ne sait. L'axe 1 seul est un piège. Un blanc peut être fortement associé à la cible et ne vaut toujours rien, car une colonne voisine porte le même fait. Groupe de colonnes % effet vide adj. p récupérer ASC verdict Fence 80,8 +0,45 0,0007 0,765 drapeau it Alley 93,8 +0,55 0,0007 0,942 drapeau it Bsmt ×5 2,6 -1,23 0,0007 0,982 drapeau it MiscCaractéristiques 96,3 +0,41 0,0051 0,983 drapeau it LotFrontage 17,7 +0,12 0,0930 0,824 aucun signal MasVnrType 59,7 -0,79 0,0007 0,999 redondant CheminéeQu 47,3 -1,02 0,0007 1,000 redondant Garage ×5 5,5 -1,41 0,0007 1,000 redondant Fig 3. Les deux axes ensemble. La taille des bulles est la part des lignes vides. Tout dans la bande ombragée est déjà codé ailleurs dans la table. Les cas intéressants sont à gauche. ASC 0.77 et 0.94: rien d'autre dans le tableau ne les encode. Leurs blancs sont le seul porteur de leur fait — et ils sont précisément les colonnes une règle "drop >70% manquant" supprime. , le classique "juste médiane-impute