空白の細胞信号、または単に欠落していますか?

空白の細胞信号、または単に欠落していますか? 時々空のセルは列の中で最も有益なことです。 問題は、通常、データ辞書を読んでいるケースだけを知っていることです。つまり、名前付き800列にスケールしません。 そのため、代わりにそれを測定し、それから文献に対する答えを確認してください。 エイムズハウジング ・ 1,460 セールス ・ 79 列 ・ 19 のそれらにはブランク「70%以上欠落している任意の列をドロップ」が含まれています。 私は数えることができるよりも、より多くのパイプラインにその行を書いています。 Ames では 4 つの列を削除し、それらのうち 3 つは実際の価格信号がギャップに座っています。 このデータセットの空白は構造的です。 空白は値が失われたという意味ではありません。それは家がガレージを持たないことを意味します。 空白とは、路面電車のアクセスを意味しません。 空性は測定です。 コラムには英語名と公開されたデータ辞書があるため、ここは分かりやすくなります。 匿名化された機能のベンダーフィードを見るのは簡単ではありません。これは最も現実的なプロジェクトが見えるものです。 なので、答える価値のある質問は「欠如が信号を運ぶ」ではありません - 列が何を意味するのかを知らずに、伝えることができますか? ブランク/ノットブランクパターンだけで0.41 R2 - すべての値が破棄された1.00 AUCは、他の列の値からガレージブランクを回復 ±0.9% 5つの戦略全体で合計スプレッド - ±1.5% CVノイズバンド1 /ブランクセルには価格タグが残っています 粗いチェックで開始: 列が空白で、列が表示されない列の間で販売価格は異なりますか? 同じ行に空白に行く列は1つの事実を記述するので、5つのガレージの列は1つに崩壊します。 図1. 媒体販売価格、空白行対値行。 ガレージはありません。$ 68kのメディアハウスにメディア割引はありません。 サインフリップ: 路地やフェンスを持っている住宅は、より安いものである - それらの特徴は、古い、デンザーブロックをマークします。 「ブランク=悪くなる」は、想定できるルールではありません。 それからより堅いテスト。 テーブル内のすべての値を捨て、19列の行列だけを保持する/ - このセルは空の? それと他に合わない。 図2。 5つのCV。 床面積、近所、または年々のビルトがR2=0.41を純粋に見られないモデル。 ブランクは大声です。 しかし、データ辞書を読んだだけで理解しました。それはスケールしない部分です。 2・2つの質問と、ほとんどの人はまずブランクを含むすべての列のために最初に尋ねるだけで、2つのことを尋ねる - どちらの列が何を意味するかを知らなければならない。 Axis 1 — 空白はターゲットを移動しますか? 空白行と非空白行間のログ価格の違いを標準化し、透過テストと8つの列グループを渡るBenjamini-Hochberg補正。 これは、すでに実行されているすべての軸です。 Axis 2 — 他の列の値から既に回復可能な空白ですか? 他のすべての列から「このセルブランク?」を予測し、他の列の欠如が最初に破壊されるので、分類器は実際に観察できる値だけを使うことができます。 1.0 近くの AUC は、他の列が既にあなたに伝えていることを意味します。 0.5-0.8 付近の AUC は、テーブルに何も知らずを意味します。 Axis 1単独でトラップです。 空白は、ターゲットと強力に関連付けられ、まだ何も価値があることができます。, 隣接する列は同じ事実を運びます. カラムグループ % 空白の効果を伴います。 pはAUCの頂点の塀を回復します 80.8 +0.45 0.0007 0.765 旗それ アレイ93.8 +0.55 0.0007 0.942 旗それ Bsmtの×5 2.6 -1.23 0.0007 0.982 旗それ MiscFeature 96.3 +0.41 0.0051 0.983 旗それ LotFrontage 17.7 +0.12 0.0930 0.824 信号無し MasVnrType 59.7 −0.79 0.0007 0.999 冗長暖炉47.3 −1.02 0.0007 0.0001 0.0001 0.0001 0.0001 0.0001 0.0001 0.0001 0.0001 0.0001 0.0001 0.0001 0.0001 0.0001 0.0001 0.0001 0.0001 0.0001 は、それです。 一緒に2軸。 バブルサイズは、行空白の共有です。 シェードバンドのすべてが既にテーブルのどこかでエンコードされています。 面白いケースは左に座っています。 AUC 0.77 と 0.94 では、テーブルのエンコードには他にはありません。 彼らの空白は、その事実の唯一のキャリアであり、彼らは正確に「ドロップ >70%欠落」ルールが削除されます。 , 古典 "ちょうど median-impute