スクレイピング 150k + Instagramのフォロワーは確実に: バッチ、レジュメオンエラー、および充実

ブラジルで小規模なAI/Automationのコンサルティングを実行し、最近のリードリサーチプロジェクトでは、パブリックインスタグラムプロファイルの完全なフォロワーリストが必要でした。約153,000フォロワー - コンタクトの価値のあるビジネスアカウントを見つけるために、濃縮(ビオ、パブリックメール/電話)。 問題は、サイズが1つのAPI呼び出しをしないようにリストを引っ張ります。 Instagramのレポート〜153,628フォロワー; あなたはページによってそれらを取得し、任意の長期抽出WILLは、最終的に失敗した要求に当たる。 パイプラインが再開できない場合は、ゼロから始まり、高価で遅くなります。 パイプラインは、Supabaseとデータストアとしてn8nで実行されているもの: バッチ抽出 — フォロワーは、1サイクルあたり最大10,000個のバッチでダウンロードされ、スケジュールでは、1つの巨大な実行の代わりに。 エラーで再開 — すべてのページカーソルとカウントは永続されます。 実行中リクエストが失敗すると(実行中では、96ページが読まれた後に4,782人のフォロワーが停止)、ジョブはエラーをログ化し、ステータスレポートをメールし、再起動の代わりに次のサイクルで同じポイントからピックアップします。 Enrichment パス — 2 番目のワークフローは、保存されたフォロワーを歩き、プロファイルの詳細を引き出し、商用アカウントとバイオの任意のパブリックメール/電話をフラグを立てます。 個人/個人アカウントは、レポートが別々にカウントする連絡先データを返しません。 電子メールレポート — 各サイクルは私に要約を送ります: プロフィール, フォロワーは、ダウンロードした対を報告しました, ページの読み込み, バッチ名, そして、正確なエラーが発生した場合. 私はHikerAPIを使用してInstagramのデータレイヤーのために - 私は最初にいくつかの他のオプションをテストし、このボリュームの価格とレート制限で勝ちました。 上記の実行は、セッションを管理したり、自分自身をプロキシしたりすることなく100以上のリクエストを行なった。 Tradeoffs / 完全に長い抽出物がまだ時々失敗しなかったもの(タイムアウト)。 履歴書ロジックはこのスケールでオプションではなく、使用するAPIは何でもです。 このスタックの初期の日: これまでのところうまく機能しましたが、私はまだパイプラインの戦いテストを呼び出す前に、より多くのデータを収集しています。 150k-follower サイクルを満たした後、もっと詳しく知ることができます。 高度化の収穫は控えめです:ほとんどの個人/個人アカウントは公共の連絡先データを公開しないので、それに応じて変換の期待を計画します。 テイクアウトは、再開可能なバッチジョブとして大規模な社会抽出物を処理します。, スクリプトではありません: 永続カーソル, キャップバッチサイズ, すべてのサイクルを報告. データストア + スクレイピング API 自体よりもスケジューラの問題. ディスクロージャー: HikerAPIのユーザー報酬プログラムの一部であり、このような投稿のアカウントをクレジットします。 実際の経験を共有します.