Парсер новостроек

Программа собирает сведения о жилых комплексах из официальных источников: сайтов девелоперов, ЕРЗ.РФ, наш.дом.рф и OpenStreetMap.

На вход нужен Excel-файл со списком проектов. Полный запуск сохраняет готовый отчет в Excel и сжатый JSON.

Быстрый старт

1. Положите real-estate-parser.exe в отдельную папку.
2. Дважды щелкните по real-estate-parser.exe.
3. Когда программа попросит путь к входному файлу, вставьте полный путь к Excel-файлу и нажмите Enter.

Введите путь к входному файлу: C:\Users\Имя\Downloads\projects.xlsx

Путь можно вставить вместе с двойными кавычками. Еще проще перетащить Excel-файл из Проводника прямо в открывшееся окно программы — Windows вставит полный путь сама.

Программу также можно запустить командой. Откройте папку с EXE в Проводнике, нажмите на адресную строку, введите cmd, нажмите Enter и выполните:

real-estate-parser.exe "C:\Users\Имя\Downloads\projects.xlsx"

Не закрывайте окно до завершения работы. Парсеру нужен интернет; обработка большого списка может занять продолжительное время.

Если запустить real-estate-parser.exe без аргументов, откроется меню выбора режима. Такой же интерфейс доступен в Linux/WSL при запуске ./run_parser.sh без аргументов. Во всех режимах интерактивный терминал показывает вращающийся индикатор работы в отдельной нижней строке; batch-запуск дополнительно отображает прогресс по проектам и источникам. В списке девелоперов аббревиатуры показываются с городом, когда он подтвержден, но в команды по-прежнему передается исходное имя. После завершения выбранного режима CLI ожидает нажатия любой клавиши перед выходом. При перенаправлении вывода сохраняется обычный построчный режим без ожидания клавиши.

В Windows интерактивные режимы открывают стандартные системные окна выбора Excel/CSV-файла и папки для результатов. В Linux/WSL путь по-прежнему вводится в терминале.

В режиме «Найти проекты девелоперов» нужные девелоперы выбираются из списка стрелками и клавишей Space; Enter подтверждает выбор. По умолчанию выбраны все.

Linux / WSL

В Linux или WSL запускайте скрипт из папки проекта:

./run_parser.sh "/mnt/c/Users/Имя/Downloads/projects.xlsx"

Для поиска всех проектов у адаптеров девелоперов:

./run_parser.sh developers --all-known-developers
./run_parser.sh developers --developer "DOGMA" --developer "Железно"
./run_parser.sh developers --input "/mnt/c/Users/Имя/Downloads/developers.xlsx"

В последнем файле достаточно одной колонки developer. Отчет проверки всех адаптеров находится в reports/phase2/developer_discovery.json. В WSL используйте пути /mnt/c/...; скрипт также преобразует процитированный путь вида C:\Users\... автоматически.

Если запуск поиска всех девелоперов прервался, повторите его с --resume: run_parser.sh сам выберет последний каталог запуска, возьмет завершенные проекты из checkpoint-файлов и повторит неудачные.

Результаты появятся в папке:

reports\projects_DD-MM-YYYY_HH-MM\

Например:

reports\projects_10-07-2026_14-05\

В ней будут:

• *.xlsx — основной отчет;
• *.json.gz — полный сжатый результат;
• parse.log — журнал работы, который пригодится при разборе ошибок.

Варианты запуска

Для запуска с дополнительными параметрами откройте cmd в папке с программой и используйте команды ниже.

Все проекты известных девелоперов

Версия EXE, созданная через build_exe.bat, поддерживает тот же режим:

real-estate-parser.exe developers --all-known-developers
real-estate-parser.exe developers --developer "DOGMA" --developer "Железно"
real-estate-parser.exe developers --input "C:\Data\developers.xlsx"

В Excel/CSV достаточно колонки developer. Проверка адаптеров и общий отчет по всем найденным проектам будут в reports\phase2\developer_discovery\.

Для продолжения прерванного запуска используйте --resume с той же папкой --out.

Другая папка для отчетов

Укажите ее вторым параметром:

real-estate-parser.exe "C:\Data\projects.xlsx" "D:\Отчеты"

Внутри нее все равно будет создана отдельная папка с названием файла и временем запуска.

Открыть браузер для наш.дом.рф

Если наш.дом.рф показывает проверку или captcha:

real-estate-parser.exe "C:\Data\projects.xlsx" -- --nashdom-headful

Откроется окно браузера. Пройдите проверку и не закрывайте окно вручную. Сохраненная сессия будет использована при следующих запусках.

Не использовать браузер для наш.дом.рф

real-estate-parser.exe "C:\Data\projects.xlsx" -- --nashdom-no-browser

Обычно этот режим не рекомендуется: наш.дом.рф часто блокирует обычные запросы.

Не искать проект на ЕРЗ автоматически

real-estate-parser.exe "C:\Data\projects.xlsx" -- --erz-disable-search

Используйте этот вариант, только если в таблице уже заполнен точный erz_id или erz_url.

Не использовать сетевые маршруты Valhalla

По умолчанию программа рассчитывает разные пешие и автомобильные маршруты через Valhalla. Чтобы использовать приблизительную оценку по прямой:

real-estate-parser.exe "C:\Data\projects.xlsx" -- --routing-engine straight-line

Несколько параметров одновременно

real-estate-parser.exe "C:\Data\projects.xlsx" "D:\Отчеты" -- --nashdom-headful --routing-engine straight-line

Входной файл

Поддерживаются файлы .xlsx, .xlsm и .csv. Для Excel используется первый лист.

Названия колонок пишутся латиницей без изменений. Минимальный файл может содержать только две колонки:

project_name	developer
Московский	Glorax
Сэтл Лофт	Setl Group

Обязательные поля:

Колонка	Что указать
project_name	Название жилого комплекса
developer	Название девелопера

Полезные необязательные поля:

Колонка	Что указать
project_key	Уникальное короткое обозначение строки. Если оставить пустым, программа создаст его сама
region	Регион, например Республика Татарстан
settlement	Город или другой населенный пункт
lat	Широта проекта
lon	Долгота проекта
developer_project_url	Официальная страница проекта у девелопера
erz_id	Точный ID проекта на ЕРЗ
erz_url	Ссылка на проект на ЕРЗ
nashdom_object_id	ID объекта на наш.дом.рф. Несколько ID можно разделить точкой с запятой
nashdom_url	Ссылка на объект на наш.дом.рф
notes	Любое примечание

Необязательные колонки можно не добавлять. Но region, settlement и точные ссылки или ID помогают избежать выбора одноименных проектов.

Другие варианты названия проекта

Если проект называется по-разному в разных источниках, добавьте варианты в скобках:

Ситидзен (Сити.Дзен, City Zen)

Основным названием останется Ситидзен, а варианты в скобках помогут поиску.

Если программа просит выбрать проект

Когда ЕРЗ или наш.дом.рф не удается уверенно определить проект, программа показывает найденные варианты. В каждой строке указываются ID, название проекта, девелопер и адрес.

Можно ввести:

• номер варианта, например 1;
• несколько номеров для наш.дом.рф, например 1,2,3;
• точный ID проекта;
• другое название проекта для нового поиска;
• retry — повторить попытку без изменения названия;
• skip — исключить этот проект из итогового отчета;
• Enter — оставить источник без изменений и продолжить.

После ответа повторно обрабатываются только проекты, для которых вы что-то выбрали или ввели. Уже успешно полученные данные не удаляются из-за временной ошибки при повторной попытке.

Что важно знать

• Программа использует только официальные источники и OpenStreetMap. Данные с сайтов объявлений не подмешиваются.
• Отсутствующие цены, характеристики и адреса остаются пустыми. Программа не придумывает значения.
• Статус готово с предупреждениями не означает полный провал. Отчет создан, но часть данных могла быть недоступна.
• Сначала открывайте Excel. В нем проще всего увидеть результаты и предупреждения.
• Для работы нужен стабильный интернет. ЕРЗ, наш.дом.рф и сайты девелоперов иногда временно отвечают ошибкой; в таком случае помогает retry.
• По умолчанию включены автоматический поиск ЕРЗ, поиск наш.дом.рф, уточнение региона и маршруты Valhalla.
• Для метро, МЦД/МЦК и железнодорожных станций лист «Инфраструктура» показывает расстояние по прямой отдельно от пешего и автомобильного маршрутов. Маршрутные значения совпадают с листом «Доступность».
• Если используется версия real-estate-parser-system-browser.exe, на компьютере должен быть установлен Google Chrome или Microsoft Edge.
• Если программа завершилась неожиданно, приложите parse.log к описанию проблемы.

Частые проблемы

Путь к файлу содержит пробелы

Всегда заключайте путь в двойные кавычки:

real-estate-parser.exe "C:\Мои файлы\Список проектов.xlsx"

Не найден входной файл

Проверьте путь, расширение файла и кавычки. Если программа запущена двойным щелчком, перетащите Excel-файл в окно после приглашения Введите путь к входному файлу:. Если программа запускается командой, перетащите файл после текста real-estate-parser.exe .

Открылось окно с captcha

Пройдите проверку и дождитесь продолжения работы программы. Не запускайте одновременно несколько копий парсера.

В отчете нет части данных

Откройте лист с предупреждениями и файл parse.log. Источник мог не публиковать эти сведения или временно быть недоступен.