Скриншоты 150k+ Подписчики Instagram надежно: пакетирование, возобновление по ошибке и обогащение

Я управляю небольшой консалтинговой фирмой по искусственному интеллекту и автоматизации в Бразилии, и в недавнем исследовательском проекте потребовался полный список подписчиков публичного профиля Instagram — около 153 000 подписчиков — плюс обогащение (био, электронная почта / телефон), чтобы найти деловые аккаунты, с которыми стоит связаться. Проблема составления списка, размер которого никогда не является одним вызовом API. Instagram сообщает о 153 628 подписчиках; вы получаете их страницу за страницей, и любое длительное извлечение в конечном итоге приведет к неудачному запросу. Если ваш трубопровод не может возобновиться, вы начинаете с нуля, что дорого и медленно. То, что я построил, трубопровод работает на n8n с Supabase в качестве хранилища данных: пакетная экстракция — подписчики загружаются партиями до 10 000 за цикл, по расписанию, вместо одного гигантского запуска. Резюме по ошибке — курсор и счет каждой страницы сохраняется. Когда запрос терпит неудачу в середине цикла (в одном запуске он остановился на 4 782 подписчиках после прочтения 96 страниц), вакансия регистрирует ошибку, отправляет мне отчет о состоянии и поднимает с той же точки на следующем цикле вместо перезапуска. Пропуск обогащения — второй рабочий процесс проходит мимо хранимых подписчиков и извлекает детали профиля, помечая коммерческие учетные записи и любую публичную электронную почту / телефон в биографии. Личные / частные счета не возвращают никаких контактных данных, которые в отчете учитываются отдельно. Отчеты по электронной почте — каждый цикл отправляет мне резюме: профиль, подписчики сообщили о скачанных страницах, прочитанных страницах, название партии и точную ошибку, если она произошла. Для уровня данных Instagram я использовал HikerAPI — сначала я протестировал несколько других вариантов, и он выиграл на ценообразовании и лимитах ставок для этого объема. Он справился с штрафом за патгинацию: вышеупомянутый забег сделал более 100 запросов без моего управления сессиями или прокси-серверами. Компромиссы / то, что не прошло идеально Длинные извлечения все еще иногда терпят неудачу (тайм-ауты); логика резюме не является факультативной в этом масштабе, независимо от того, какой API вы используете. Ранние дни для меня на этом стеке: до сих пор он работал хорошо, но я все еще собираю больше данных, прежде чем я назову трубопровод боевым испытанием. Я узнаю больше после нескольких полных циклов на 150 тысяч. Доходность обогащения скромна: большинство личных / частных учетных записей не раскрывают никаких открытых контактных данных, поэтому планируйте ожидания конверсии соответственно. Относитесь к большим социальным извлечениям как к многоразовой работе, а не к сценарию: сохраняйте курсоры, размеры колпачков и сообщайте о каждом цикле. Хранилище данных + планировщик имеет большее значение, чем сам API. Раскрытие информации: Я являюсь частью программы вознаграждений пользователей HikerAPI — они кредитуют мой аккаунт на такие посты. Делюсь своим реальным опытом.