Бан Яндекса, оптимизация текста по методу Остапа Бендера.

май 2006

Вся околооптимизаторская пресса пестрит сообщениями о ссылках: ссылками меняются прямо, обратно, по кольцу и крестиком, вручную и автоматически; ссылочные "животноводы" выращивают жирномордые сайты на ссылочную продажу и убой; ссылочные торговцы скупают ссылки оптом и распродают в розницу.

У начинающего оптимизатора складывается устойчивое впечатление, что ссылки - единственный инструмент, необходимый при продвижении сайта. А ведь не ссылками едиными живы поисковики - есть еще и тексты, которые могут быть релевантны или не релевантны запросу. В данной статье я хотел изложить некоторые вольные соображения по оптимизации текста, которые, возможно, окажутся вполне полезными начинающим оптимизаторам.

1. Что точно учитывают поисковые системы в тексте - поисковые системы учитывают слова:

- чем чаще встречается фраза запроса в тексте - тем лучше;
- чем чаще встречаются слова из фразы запроса в рамках одного предложения - тем лучше;
- чем выше относительная частота встречаемости слова в тексте - тем лучше.

Это написано в рекомендациях поисковых систем веб-мастерам, это написано в инструкциям к популярным программам - инструментам оптимизаторов, это относится к базовым алгоритмам поисковых систем.

2. К чему движутся поисковые системы в плане анализа текста - к учету того, что стоит за словами, вместо учета слов; к учету связей между словами; к автоматизированному выявлению и учету тематики.

Разработчики поисковых систем всегда хотели анализировать имеющиеся тексты более продуктивными способами, чем просто подсчет количества и позиций слов из запроса в тексте.

Что можно выявить из текста, кроме слов? Можно пытаться выявить смысл, стоящий за словами. В системе "пользователь - поисковая система" возникает цепочка, в которой на каждом звене происходит искажение смысла: информационная потребность пользователя - слова, в которые он облек свой запрос - слова документов в базе - объекты и понятия, стоящие за словами документа. Этот "испорченный телефон" снижает эффективность удовлетворения пользователей результатами поиска.
"Мысль изречённая есть ложь" (Федор Тютчев) - вполне общечеловеческие проблемы мешают поисковым системам...

Двигаясь в этом направлении, разработчики поисковых систем стараются подступиться к "смыслам" через "связи" и "темы".

Один из алгоритмов выявления связей предполагает, что часто встречающиеся рядом слова "связаны" между собой и могут относиться к одной "теме".

Например, если мы задаем поисковый запрос "туры в Египет", то, скорее всего, в текстах на сайтах, которые мы ищем, можно ожидать присутствие слов "Хургада", "турфирма", "путевка" с которыми оказывается связано понятие "тура в Египет". Все эти связанные слова могут быть объединены общей темой "отдых в Египте".

Подобные алгоритмы используются в коммерческих поисковых системах, оперирующих сравнительно небольшим (по сравнению с поисковыми системами Интернет) объемом документов. При анализе текстов выявляются ключевые понятия и связи между ними. Каждое понятие в совокупности с окружающими его связями является "темой". До последнего времени подобные алгоритмы оказывались слишком дорогостоящим решением для поисковых систем Интернет.

Теперь посмотрим, что делают в этом направлении разработчики российских поисковиков:

Анализ "тем" и "связей" по базе документов.

Проводимые в Яндексе работы по выявлению связей между "словами" и "темами" наглядно иллюстрируются с помощью общедоступного инструмента автоматической генерации тематических рефератов referats.yandex.ru. Очевидно, что почти каждое слово, использованное в автоматически созданном тексте - узкотематическое. И ничего лишнего. Как правило, если что-либо делается общедоступным в сервисах поисковых систем, значит, ружье не зря висит на стене - в третьем акте будет выстрел.
Обратная процедура - автоматическое выявление "темы" документа или запроса - не за горами.
Например, в докладе "Технологии извлечения знаний для поиска в Интернете. От слов к объектам." Лев Гершензон. сформулированы направления развития поисковых алгоритмов Яндекс:
1. От поиска по словам к поиску по объектам. В выдаче - информация об объектах, о которых идет речь в вопросе.
2. Учет связей между объектами. Формирование базы знаний.
3. Автоматическое определение тематики.

Напрашивается рекомендация для оптимизаторов - как писать тексты под такой алгоритм:
- определяемся с темой и основными запросами документа;
- анализируем тематические документы, связанные с темой, под которую оптимизируем документ;
- составляем "словарь темы" и при написании текста используем слова только из него;
- стараемся действительно осветить в тексте данную тему через ее основные понятия.

При этом, мы получаем текст соответствующий интересам людей и алгоритму поисковой системы.

Анализ "тем" и "связей" в запросах.

В 2003 году Рамблер обнародовал используемый алгоритм учета ассоциативных связей (см. доклад "Алгоритм формирования ассоциативных связей и его применение в поисковых системах." В. И. Шабанов, А. Е. Власова.
Цитата из доклада: "Предложенная методика формирования ассоциаций может использоваться для автоматического уточнения поисковых запросов. Так, например, при поиске по запросу гороскоп можно повысить вес (показатель релевантности) тем документам, которые соответствуют еще и ассоциированным запросам (гадание, сонник и т. д.)".

Публикации доклада предшествовало появление на Рамблере инструмента просмотра ассоциативных запросов "у нас еще ищут...". Лично я сталкнулся с данным алгоритмом до публикации доклада, занимаясь продвижением туристического сайта, ориентированного на "отдых в Тайланде". Достаточно неожиданно на первую страницу Рамблера стали подниматься документы, содержащие мало информации о Тайланде, но включающие перечисление "туров в Турцию" и "отдыха в Египте". Как оказалось, многим пользователям Рамблера "побарабану", куда ехать на пляжный отдых - и они перебирали подряд все возможные жаркие страны. Рамблер послушно создавал списки асооциированных запросов, поднимая в выдаче документы, содержащие все варианты названий стран пляжного отдыха.

Данный подход называется "расширением исходного запроса" - когда по некоторому алгоритму к списку слов исходного запроса добавляются дополнительные слова и ищутся документы, релевантные уже новому, расширенному набору слов. Подобный механизм "расширения" запроса есть у большинства поисковых систем.

Можно было бы ожидать и публикаций об использовании поисковыми системами алгоритма, повышающего в выдаче на исходный запрос документы, релевантные заодно к реальным запросам типа "исходный запрос + еще слова". Например, по запросу "бытовая техника", выдавать еще и документы, релевантные одновременно к запросам "магазин бытовой техники", "ремонт бытовой техники" и т.д. Кстати, если мы посмотрим выдачу Яндекса по запросу "бытовая техника", мы увидим в тайтлах первых документов и "магазин", и "ремонт".

Есть замечательный аргумент за то, что подобный алгоритм применяется - это бан поисковых систем. Яндекс энергично банит за наличие на странице примитивного списка запросов через запятую. Потому что, как пишет уважаемый Яндексовский Козьма Прутков, он же - Платон Щукин, такой список запросов "мешает корректной работе ранжирующего алгоритма Яндекс". Точно так же банит за список запросов на странице Рамблер.

Напрашивается очередная рекомендация для оптимизаторов, как писать текст под конкретный запрос:
- определяемся с основным запросом, под который оптимизируем документ;
- расширяем запрос, анализируя списки прямых (т.е. исходный запрос + дополнительные слова) и ассоциативных запросов;
- из запросов составляем "словарь темы" и при написании текста используем слова только из него;
- стараемся употребить каждый запрос хотя бы раз;
- при этом пишем нормальный человеческий текст, раскрывающий для посетителя тему со всех ее сторон, отраженных в запросах.

3. Методика написания оптимизированных текстов от Остапа Бендера.

Банально, но великий комбинатор был действительно великим человеком. В любом деле он находил гениальное решение. В далекую эпоху НЭПа он позаботился о нас, простых оптимизаторах и контентщиках, работающих над оптимизированными текстами для веб-сайтов. Вот что он нам написал:

"Вы, я замечаю, все время терзаетесь муками творчества. Писать, конечно, очень трудно. Я, как старый передовик и ваш собрат по перу, могу это засвидетельствовать. Но я изобрел такую штуку, которая избавляет от необходимости ждать, покуда вас окатит потный вал вдохновения. Вот. Извольте посмотреть. И Остап протянул Ухудшанскому лист, на котором было написано:
ТОРЖЕСТВЕННЫЙ КОМПЛЕКТ
НЕЗАМЕНИМОЕ ПОСОБИЕ ДЛЯ СОЧИНЕНИЯ ЮБИЛЕЙНЫХ СТАТЕЙ, ТАБЕЛЬНЫХ ФЕЛЬЕТОНОВ, А ТАКЖЕ ПАРАДНЫХ СТИХОТВОРЕНИЙ, ОД И ТРОПАРЕЙ"
(Полный текст Торжественного Комплекта от Остапа Бендера приведен в конце статьи - обязательно прочитайте!)

Итак, Остап изобрел механизм написания оптимизированных текстов, подгоняемых под определенную тематику. Фактически, он изобрел метод использования "семантического ядра" задолго до введения этого термина в быт оптимизаторов Игорем Ашмановым.

Логика процесса проста:
- есть некоторый исходный тематический текст (в зависимости от подхода это может быть совокупность документов базы или совокупность запросов посетителей поисковой системы);
- для него можно выявить наиболее "контрастные", "смыслоразличительные" термины и составить "словарь темы", будь то тема "Индустриализация" или "Азиатский орнамент";
- используя слова почти исключительно из словаря темы, пишем текст;
- такой текст будет обладать высокой релевантностью к теме;
- и, кроме того, если словарь составлен на основе анализа запросов - текст перекроет многочисленные низкочастотные вариации запросов.

4. Написание оптимизированных текстов с помощью инструмента "Текстоптимайзер", входящего в систему управления сайтом WebDirector.

Создавая систему управления и продвижения веб-сайта WebDirector, мы задумали упростить работу оптимизаторов и контентщиков, создав инструмент по заветам великого комбинатора.

Инструмент предназначен для качественного написания оптимизированных текстов на основе семантического ядра темы, с которым автоматически сравнивается подготавливаемый текст:

- инструмент показывает список прямых и ассоциативных запросов к запросу, к которому пишется оптимизированный текст;
- выделяет в списках прямых и ассоциативных запросов те, которые еще не встречаются в тексте;
- выделяет в тексте полные запросы и слова из семантического ядра темы;
- составляет "словарь темы" из слов, встречающихся в списках запросов;
- выделяет в "словаре темы" слова, еще не использованные в тексте;
- подсчитывает процент пересечения "словаря темы" и "словаря текста".

При составлении словарей используется псевдо-морфологический анализ слов.

Использование данного инструмента позволяет подготовить текст:
- наполненный повторяющимися ключевыми словами;
- наполненный фразами ассоциативных запросов;
- содержащий прямые включения основных фраз запросов.

Кроме повышения релевантности к запросу, инструмент помогает перекрыть в тексте многочисленные вариации низкочастотных запросов, тем самым увеличивая целевой траффик.

Инструмент будет включен в базовый пакет WebDirector в мае 2006г.

Прямо сейчас Вы можете поэкспериментировать с инструментом "Текстоптимайзер" на сайте, посвященном SEO инструментам CMS WebDirector.

PS Кстати, попробуйте набрать в Яндексе запросы:
"урюк кишлак ишак" или "маяк индустрия железный конь" - Вы убедитесь, насколько хорошо оптимизировал Остап Бендер свои творения!

_________________________________________________________________________________
ТОРЖЕСТВЕННЫЙ КОМПЛЕКТ
НЕЗАМЕНИМОЕ ПОСОБИЕ ДЛЯ СОЧИНЕНИЯ ЮБИЛЕЙНЫХ СТАТЕЙ, ТАБЕЛЬНЫХ ФЕЛЬЕТОНОВ, А ТАКЖЕ ПАРАДНЫХ СТИХОТВОРЕНИЙ. ОД И ТРОПАРЕЙ

Раздел I. Словарь

Существительные
1. Клики
2. Трудящиеся
3. Заря
4. Жизнь
5. Маяк
6. Ошибки
7. Стяг (флаг)
8. Ваал
9. Молох
10. Прислужник
11. Час
12. Враг
13. Поступь
14. Вал
15. Пески
16. Скок
17. Конь
18. Сердце
19. Прошлое

Прилагательные

1. Империалистический
2. Капиталистический
3. Исторический
4. Последний
5. Индустриальный
6. Стальной
7. Железный

Глаголы

1. Пылить
2. Взметать (ся)
3. Выявлять
4. Рдеть
5. Взвивать (ся)
6. Вершить (ся)
7. Петь
8. Клеветать
9. Скрежетать
10. Грозить

Художеств. эпитеты

1. Злобный
2. Зубовный

Прочие части речи

1. Девятый
2. Двенадцатый
3. Пусть!
4. Пускай!
5. Вперед!

Азиатский орнамент

1. УРЮК (абрикосы)
2. АРЫК (канал)
3. ИШАК (осел)
4. ПЛОВ (пища)
5. БАЙ (нехороший человек)
6. БАСМАЧ (нехороший человек)
7. ШАКАЛ (животное)
8. КИШЛАК (деревня)
9. ПИАЛА (чашка)
10. МЕДРЕСЕ (духовное училище)
11. ИЧИГИ (обувь)
12. ШАЙТАН (черт)
13. АРБА (телега)
14. ШАЙТАН-АРБА (Средне-Азиатская ж. д. )
15. ТВОЯ-МОЯ НЕ ПОНИМАЙ \
16. МАЛА-МАЛА / выражения

Раздел II. Творческая часть (Составляется исключительно из слов раздела 1-го)

1. ПЕРЕДОВАЯ СТАТЬЯ
Девятый вал

Восточная Магистраль -- это железный конь, который, взметая стальным скоком пески прошлого, вершит поступь истории, выявляя очередной зубовный скрежет клевещущего врага, на которого уже взметается девятый вал, грозящий двенадцатым часом, последним часом для прислужников империалистического Молоха, этого капиталистического Ваала, но, невзирая на ошибки, пусть рдеют, а равно и взвиваются стяги у маяка индустриализации, пылающего под клики трудящихся, коими под пение сердец выявляется заря новой жизни: вперед!

2. ХУДОЖЕСТВ. ОЧЕРК-ФЕЛЬЕТОН
ПУСТЬ!..

-- Вперед!
Он пылает под клики трудящихся...
Он выявляет зарю новой жизни...
-- Маяк!
Индустриализации!
Пусть отдельные ошибки. Пусть. Но зато как рдеют... как несутся... как взвиваются... эти стяги! Эти флаги!..
-- Пусть -- Ваал капитализма! Пусть -- Молох империализма!
Пусть!
Но на прислужников уже взметается:
-- Последний вал!
-- Девятый час!
-- Двенадцатый Ваал!
Пусть клевещут. Пусть скрежещут. Пусть выявляется злобный зубовный враг!
Вершится историческая поступь. Пески прошлого взметаются скоком стали.
Это-"железный" "конь"!..
Это:
-- Восточная!
-- Магистраль!
"Поют сердца"...

3. ХУДОЖЕСТВ. СТИХОТВОРЕНИЕ

А) Тринадцатый Ваал
Поют сердца под грохот дней,
Дрожит зарей маяк.
Пускай индустрии огней
Трепещет злобный враг.
Железный конь несет вперед
Исторьи скок взметать,
Семью трудящихся несет
Ошибки выявлять.
Взвивается последний час.
Зардел девятый вал,
Двенадцатый вершится час
Тебе, Молох-Ваал!

Б) Восточный вариант
Цветет урюк под грохот дней,
Дрожит зарей кишлак.
А средь арыков и аллей
Идет гулять ишак.

(с) Остап Бендер