Ist ein leeres Zellsignal oder fehlt es einfach?

Ist ein leeres Zellsignal oder fehlt es einfach? Manchmal ist eine leere Zelle die informativste Sache in der Reihe. Das Problem ist, dass Sie normalerweise nur wissen, in welchem Fall Sie sich befinden, indem Sie das Datenwörterbuch lesen - und das skaliert nicht auf 800 Spalten namens . Also messen wir es stattdessen und überprüfen dann die Antwort mit der Literatur. Ames Gehäuse · 1.460 Verkäufe · 79 Spalten · 19 von ihnen enthalten Lücken "Lassen Sie jede Spalte fallen, die mehr als 70% fehlt." Ich habe diese Zeile in mehr Pipelines geschrieben, als ich zählen kann. Auf Ames löscht es vier Spalten - und drei von ihnen haben ein echtes Preissignal, das in der Lücke sitzt. Die Leerstellen in diesem Datensatz sind strukturell. Ein Leerzeichen bedeutet nicht, dass der Wert verloren gegangen ist; es bedeutet, dass das Haus keine Garage hat. Ein Leerzeichen bedeutet keine Gasse Zugang. Die Leere ist die Messung. Das ist hier leicht zu sehen, weil die Spalten englische Namen und ein veröffentlichtes Datenwörterbuch haben. Es ist nicht einfach, auf einem Anbieter-Feed anonymisierter Funktionen zu sehen, wie die meisten realen Projekte aussehen. Die Frage, die es wert ist, beantwortet zu werden, ist also nicht "Trägt Fehlen ein Signal" - können Sie es sagen, ohne zu wissen, was die Spalte bedeutet? 0,41 R2 aus dem Leerlauf / Nicht-Leerlaufmuster allein - jeder Wert verworfen 1,00 AUC Wiederherstellung der Garagenrohlinge aus anderen Spalten Werte ±0,9% Gesamt verteilt auf fünf Strategien - innerhalb einer ±1,5% CV Rauschband 1 · Eine leere Zelle hat ein Preisschild Start mit dem Rohöl-Check: unterscheidet sich der Verkaufspreis zwischen Zeilen, in denen eine Spalte leer ist und Zeilen, in denen es nicht ist? Spalten, die in den gleichen Zeilen leer gehen, beschreiben eine Tatsache, so dass die fünf Garagenspalten in eine zusammenbrechen. Abbildung 1. Medianverkaufspreis, leere Zeilen vs. bewertete Zeilen. Keine Garage ist ein $ 68.000 Median Rabatt auf ein $ 163.000 Median Haus. Beachten Sie den Hinweis: Häuser, die eine Gasse oder einen Zaun haben, sind die billigeren - diese Merkmale markieren ältere, dichtere Blöcke. "Blank = schlechter" ist keine Regel, die man annehmen kann. Dann der härtere Test. Werfen Sie jeden Wert in der Tabelle weg und behalten Sie nur eine 19-spaltige Matrix von / - war diese Zelle leer? Pass auf das und sonst nichts. Abbildung 2. Fünffacher Lebenslauf. Ein Modell, das noch nie eine Bodenfläche, eine Nachbarschaft oder ein Jahr gebaut hat, erreicht R2 = 0,41 rein, aus denen Zellen leer sind. Die Blankos sind laut. Aber wir haben sie nur verstanden, indem wir das Datenwörterbuch gelesen haben – und das ist der Teil, der nicht skaliert wird. Zwei fragen, und die meisten leute fragen nur die erste für jede spalte, die eine leere enthält, stellen sie zwei dinge - von denen keines erfordert, zu wissen, was die spalte bedeutet. Achse 1 — bewegt die Leerstelle das Ziel? Standardisierte Differenz im Log-Preis zwischen leeren und nicht leeren Zeilen, mit einem Permutationstest und einer Benjamini-Hochberg-Korrektur über die acht Spaltengruppen hinweg. Dies ist die Achse, die jeder bereits läuft. Achse 2 — Ist der Leerwert bereits aus den Werten anderer Spalten erzielbar? Prognostizieren Sie "Ist diese Zelle leer?" von jeder anderen Spalte, wobei die eigene Abwesenheit jeder anderen Spalte zuerst zerstört wird, so dass der Klassifikator nur Werte verwenden kann, die Sie tatsächlich beobachten können. AUC in der Nähe von 1.0 bedeutet, dass eine andere Spalte Ihnen bereits sagt. AUC nahe 0,5-0,8 bedeutet nichts anderes in der Tabelle weiß. Achse 1 allein ist eine Falle. Ein Leerzeichen kann kraftvoll mit dem Ziel assoziiert werden und immer noch nichts wert sein, weil eine benachbarte Spalte die gleiche Tatsache trägt. Spaltengruppe % Blindeffekt adj. p erholen AUC Urteil Fence 80.8 +0.45 0,0007 0.765 flag it Alley 93.8 +0.55 0,0007 0.942 flag it Bsmt ×5 2.6 −1.23 0,0007 0.982 flag it MiscFeature 96.3 +0.41 0.0051 0.983 flag it LotFrontage 17.7 +0.12 0.0930 0.824 kein Signal MasVnrTyp 59.7 −0.79 0,0007 0.999 redundant FireplaceQu 47.3 −1.02 0,0007 1.000 redundant Garage ×5 5,5 −1.41 0,0007 1.000 redundant Fig. 3. Die beiden Achsen zusammen. Die Größe der Blase ist der Anteil der leeren Zeilen. Alles im schattierten Band ist bereits irgendwo anders in der Tabelle codiert. Die interessanten Fälle sitzen links. bei AUC 0.77 und 0,94: nichts anderes in der Tabelle codiert sie. Ihre Rohlinge sind der einzige Träger ihrer Tatsache - und sie sind genau die Spalten, die eine "Drop > 70% fehlt" -Regel löscht. Der Klassiker "Just Median-Imute"