Извлечение URL из карты сайта | Извлеките URL быстро и легко
Извлеките URL-адреса из XML-карты сайта. Введите URL и получите список ссылок для анализа и оптимизации. Подходит для SEO и веб-мастеров.
Конфиденциальность: Этот инструмент поддерживает как обычные карты сайта, так и файлы индекса карт сайта. Ничто из отправленного вами не сохраняется на наших серверах — результаты исчезают, когда вы закрываете вкладку.
Ключевые возможности
- Три режима ввода: вставка URL карты сайта, вставка сырого XML или автоматическое обнаружение карт сайта через robots.txt домена
- Рекурсивное раскрытие индекса карт сайта — получите до 50 дочерних карт сайта одним щелчком и объедините все URL в единый список
- Метаданные для каждого URL: lastmod, changefreq и priority извлекаются из XML, если они присутствуют
- Живой фильтр (подстрока или /regex/) плюс шесть режимов сортировки (А→Я, Я→А, самые длинные, самые короткие, самые свежие lastmod, по умолчанию)
- Удаление дубликатов в один клик, когда один и тот же URL появляется в нескольких вложенных картах
- Статистика с одного взгляда: всего URL, уникальные домены, разбивка по расширениям файлов, диапазон дат lastmod
- Скачайте результат как TXT (один URL на строку), CSV (со всеми столбцами метаданных) или JSON
- Копируйте полный список, только видимый отфильтрованный список или любой отдельный URL одним щелчком
- Обрабатывает огромные карты сайта (50 000+ URL) благодаря серверной обработке и виртуализированной таблице результатов
- Бесплатно, без регистрации, без аккаунта, без логирования — полезно для SEO-аудитов, миграций, подготовки к скрапингу и исследования конкурентов
Распространённые сценарии использования
- SEO-аудит — быстрая инвентаризация каждого URL, который сайт показывает поисковым системам
- Миграция сайта — формирование полного списка URL для маппинга редиректов перед перезапуском на новом домене или CMS
- Исследование конкурентов — сканирование публичной карты сайта для понимания контентного отпечатка конкурента, категорий и частоты обновлений
- Подготовка к обходу — передача URL в Screaming Frog, Sitebulb, пользовательские Python-скраперы или любой инструмент HTTP-проверки
- Аудит внутренних ссылок — сопоставление списка URL с таблицей контент-аудита для поиска страниц-сирот
- Анализ контентных пробелов — сравните вашу карту сайта с картой конкурента, чтобы обнаружить тематические пробелы
- QA нового релиза — проверьте, что ваша CMS после деплоя выдаёт ожидаемую карту сайта
- Инвентаризация lastmod — выявляйте устаревшие страницы, сортируя по столбцу lastmod и определяя записи, не обновлявшиеся годами
- Массовые запросы на индексацию — экспортируйте в CSV и отправляйте URL пакетами через протокол IndexNow или рабочий процесс инспекции URL Google Search Console
- Соответствие требованиям и доступность — формирование основного списка URL для периодических проверок доступности (WCAG) или конфиденциальности
Как использовать
- Выберите вкладку. Из URL — самый распространённый путь: вставьте любой публичный адрес карты сайта (большинство сайтов публикуют её по адресу
/sitemap.xml). - При желании включите Также получать вложенные карты, если подозреваете, что URL — это индексный файл — инструмент пройдёт по каждой дочерней карте и объединит все URL.
- Если ваша карта сайта закрытая или у вас она в виде файла, переключитесь на вкладку Вставить XML и вставьте содержимое напрямую.
- Не знаете, где находится карта сайта? Используйте вкладку Найти через robots.txt и просто введите домен — мы покажем все директивы Sitemap:, объявленные в robots.txt.
- Нажмите Извлечь URL. Появится таблица результатов со статистической панелью над ней, показывающей общее количество URL, уникальные домены, разбивку по расширениям файлов и диапазон lastmod.
- Используйте поле фильтра, чтобы оставить только URL, соответствующие подстроке (например,
/blog/) или регулярному выражению (например,/^https:\/\/.+\.pdf$/). - Сортируйте список с помощью выпадающего меню — полезно для обнаружения устаревших страниц по lastmod или поиска самых длинных/коротких URL.
- Включите Удалить дубликаты, если объединённые вложенные карты содержат повторы.
- Используйте кнопки Копировать всё, TXT, CSV или JSON. CSV сохраняет столбцы lastmod, changefreq и priority.
Используйте этот инструмент из вашего ИИ-агента
Бесплатные JSON API и сервер Model Context Protocol (MCP). Без регистрации, без API-ключа, CORS открыт. Создано для Claude, ChatGPT, Cursor, скриптов и фронтенд-приложений.
curl -X POST https://mate.tools/api/v1/sitemap-extract.php \
-H "Content-Type: application/json" \
-d '{"url":"https://example.com/sitemap.xml"}'import urllib.request, json
req = urllib.request.Request(
"https://mate.tools/api/v1/sitemap-extract.php",
data=json.dumps({"url":"https://example.com/sitemap.xml"}).encode(),
headers={"Content-Type": "application/json"},
)
with urllib.request.urlopen(req) as r:
print(json.load(r))const r = await fetch("https://mate.tools/api/v1/sitemap-extract.php", {
method: "POST",
headers: { "Content-Type": "application/json" },
body: JSON.stringify({"url":"https://example.com/sitemap.xml"}),
});
console.log(await r.json()); Добавьте в claude_desktop_config.json (Claude Desktop), ~/.cursor/mcp.json (Cursor) или любой другой MCP-совместимый клиент:
{
"mcpServers": {
"mate-tools": {
"command": "npx",
"args": ["-y", "@mate-tools/mcp-server"]
}
}
}Часто задаваемые вопросы
XML-карта сайта — это файл, который перечисляет каждый URL, о котором сайт хочет сообщить поисковым системам. Большинство сайтов публикуют её по адресу
https://example.com/sitemap.xml или указывают в robots.txt. Используйте вкладку Найти через robots.txt, если не уверены.Индекс карт сайта — это карта сайта, указывающая на другие карты сайта — крупные сайты разделяют свои URL на множество файлов. Этот инструмент обнаруживает оба типа. Если вы отправите индекс, можно либо получить список дочерних карт сайта, либо отметить Также получать вложенные карты, чтобы развернуть их все в один объединённый список URL (ограничено 50 вложенными картами в целях безопасности).
Жёсткого ограничения нет, но очень большие карты сайта (>100 000 URL) могут медленно отображаться в браузере. Сам XML-парсер работает на сервере и легко обрабатывает огромные файлы — медленной частью является только отрисовка таблицы результатов.
Когда они присутствуют в XML, мы читаем
<lastmod>, <changefreq> и <priority> для каждого URL. В таблице результатов показывается lastmod, а в загрузках CSV/JSON содержатся все три столбца. Записи индекса карт сайта также показывают свой lastmod, если он указан.Да — введите любую подстроку (без учёта регистра) в поле фильтра или оберните регулярное выражение в слеши (например,
/\.pdf$/). Счётчик результатов, действия копирования и загрузки — все учитывают активный фильтр, поэтому вы можете извлечь только нужный вам срез.Этот инструмент получает карты сайта анонимно через HTTPS, поэтому защищённые паролем, ограниченные по IP или staging-карты сайта недоступны напрямую. Откройте файл в браузере, скопируйте XML и используйте вкладку Вставить XML.
Включите переключатель Удалить дубликаты в панели инструментов результатов. Когда вложенные карты пересекаются (это распространено на многоязычных сайтах, которые повторно публикуют один и тот же канонический URL в разных языковых картах сайта), это необходимо.
Да. Карты сайта — это публичные файлы, поэтому карта сайта любого общедоступного сайта подходит для анализа. Это отличный способ изучить категории контента конкурента, его глубину и частоту обновлений.
Нет. Каждый запрос обрабатывается в памяти и удаляется сразу после отрисовки страницы. Ничего не логируется, не помещается в очередь и не сохраняется. Перезагрузите страницу — и предыдущее извлечение исчезнет.
TXT (один URL на строку) лучше всего подходит для передачи в инструменты командной строки или рабочих процессов с вставкой в форму. CSV открывается напрямую в Excel/Sheets и сохраняет lastmod, changefreq и priority. JSON наиболее удобен для скриптов (Python, Node и т. д.) и идеально подходит для двусторонней передачи.
