Анализ релевантности страниц по BM25F и TF-IDF

Загрузите выгрузку страниц сайта. Сервис скачает каждую страницу, посчитает релевантность ключевому слову по BM25F и TF-IDF, отсортирует страницы от худших к лучшим и подскажет, в какие зоны добавить ключ, чтобы поднять релевантность.

1Добавьте страницы

Перетащите файл .xlsx, .xls или .csv или нажмите, чтобы выбрать

Лист 1: URL, Title, H1, Ключевое слово. Лист 2 (необязательно): запросы кластера и URL.

Подходит для небольшого числа страниц. Ключ необязателен: без него маркером станет H1, затем Title. Один URL можно указать на нескольких строках: первый ключ станет основным, остальные — запросами кластера.

URL	Ключевое слово	Title (необязательно)	H1 (необязательно)

2Настройте анализ

Скачивать страницы с сайта
Анализ всех зон: текст, подзаголовки, Description, alt, входящие анкоры. Без этого — только Title и H1 из файла. Если страница не открывается — взять копию
При блокировке (403, 429, защита от ботов) сервис повторит запрос через прокси, затем попробует «Сохранённую копию» Яндекса (пока Яндекс не показывает капчу) и копию из Web Archive. Такие страницы помечены в отчёте. Копия может отличаться от живой страницы. Исключать шапку, меню и подвал
Сквозные блоки размывают TF-IDF. Анкоры меню всё равно учитываются как входящие ссылки.

Потоков загрузки:

Параметры формул

k1 (насыщение BM25F):

Зона	Вес w	Нормировка b

Сначала загрузите файл

Частые проблемы на сайте

Нажмите на проблему, чтобы показать только эти страницы.

Страницы: от худших к лучшим

URL	Маркер	Итог	BM25F	TF-IDF	Кластер	Главная проблема

Как считается релевантность

Маркер. Для каждой страницы берём ключевое слово из файла. Если его нет — H1, если нет H1 — Title. Слова приводим к основе (стеммер Snowball для русского), стоп-слова отбрасываем. Поэтому «лечение», «лечения» и «лечением» считаются одним словом.

BM25F учитывает, в какой зоне стоит слово. Каждая зона получает вес w и нормировку по длине b: слово в коротком Title весит больше, чем то же слово в длинном тексте.

tf̃(t) = Σ по зонам w_z · tf(t,z) / (1 − b_z + b_z · len_z / avglen_z) BM25F = Σ по словам маркера idf(t) · tf̃(t) / (k1 + tf̃(t)) idf(t) = ln(1 + (N − n_t + 0,5) / (n_t + 0,5))

N — число страниц в выгрузке, n_t — страниц со словом, avglen_z — средняя длина зоны по сайту. Оценку BM25F переводим в проценты от эталона: той же страницы, у которой каждое слово маркера есть в Title, H1, Description, подзаголовке, выделении, alt, входящем анкоре, а в тексте плотность 1% на слово (минимум 2 вхождения). При расчёте процента вхождения сверх эталона в зоне не учитываются: переспам в тексте не компенсирует пустой Title. Входящие анкоры с одинаковым текстом считаются один раз.

TF-IDF показывает, о чём страница. Для каждого слова текста считаем вес и строим рейтинг. Если слова маркера в топ-3 — страница сфокусирована на ключе. Если ключ ниже 20-го места, страница размыта или оптимизирована под другие слова.

tf(t) = вхождений слова / слов в тексте idf(t) = ln((1 + N) / (1 + df_t)) + 1 TF-IDF(t) = tf(t) · idf(t) Баллы за место слова: 1–3 → 100%, 4–5 → 90%, 6–10 → 75%, 11–20 → 50%, 21–50 → 25%, ниже → 10%, нет в тексте → 0%

k1 = 6. Классическое k1 = 1,2 рассчитано на «сырую» частоту слова. После умножения на веса зон взвешенная частота вырастает до 10–20, и при k1 = 1,2 оценка упирается в потолок уже от вхождения в Title и H1. Поэтому k1 поднят до 6: так оценка различает слабые и сильные страницы. Значение меняется в параметрах формул.

Итог = 60% BM25F + 40% TF-IDF. Без загрузки страниц итог равен BM25F по Title и H1. Плотность одного слова выше 4% снижает TF-IDF на треть и помечается как переспам. Переспам также снижает итог на 15%. Если в тексте меньше 150 значимых слов, TF-IDF уменьшается пропорционально: на коротком тексте рейтинг слов недостоверен.

Прирост в рекомендации — на сколько процентов вырастет BM25F, если добавить недостающие слова маркера в эту зону. Начинайте с рекомендаций с наибольшим приростом.

Кластер. Если в файле есть второй лист с запросами и URL (как в выгрузке кластеризатора), сервис посчитает BM25F по каждому запросу кластера и покажет средний результат.