.. / Ajax-контент индексация Google´м. Эксперимент №1

  1. seo

Этот блог был исходно сделан для того чтобы проверить как индексируется XSLT на клиенте. Эта технология, к сожалению дальнейшего распространения не получила. В дальнейшем универсальный и валидный noindex стал делаться с использованием Ajax-технологий (подробнее см здесь ). Но увы, лафа длилась не так долго, как того бы хотелось. Google не только научился подсасывать контент из Ajax, но и стал напрямую привязывать его к странице, на которой он вызывается.

На этой странице даны ссылки на страницы, где сделано несколько разных попыток спрятать контент от надоедливого бота. Хотя надежды на это нет.

http://ga.x9.ru/ - часть контента привязана к Ajax через media-query, часть к данным, спрятанным в CSS

http://ga.x9.ru/1.htm - то же самое, но js, css закрыты от индексирования robots.txt

http://ga.x9.ru/2.htm - обычный Ajax но с проверкой на тип запроса и referrer. Если вызвать напрямую - будет облом.

Ссылки на эти страницы приветствуются. Одновременно с этими страницам сделано несколько их дублей с другим контентом и по другим адресам

Когда будут результаты, обязательно отпишу здесь или отдельным постом.

UPD 11.04 Google проиндексировал статический контент всех трех страниц и вывел их в результаты поиска. Так же по логам отмечено, что бот скачивал Ajax-контент, но в результатах поиска он пока не появился.

UPD 16.04 Ajax до сих пор не проиндексирован.

UPD 23.04 Ajax-содержимое, из первой страницы http://ga.x9.ru/ проиндексировано и находится в поиске Google. Как Google получил эти данные непонятно, но ясно одно - он не только переварил всю страницу целиком, включая CSS и даже обработал media-query, что вообще не укладывается в голове.

***

PS Гугление показало, что Google давно насобачился анализировать CSS и НЕ учитывать спрятанные элементы контента см. блог DEJAN SEO
Относительно индексации CSS и JS Мэтт Катса еще год назад попросил веб-мастеров не прятать в robots.txt js и css, потому что это может отразиться на индексации.

Обсуждение обращения Катса в
http://www.webmasterworld.com/google/4433745.htm вызвало общее мнение - да пошел он нах...
Совершенно непонятно на кой он вообще обращается с такой просьбой, если Google пофиг запрещено или нет. Скрипты закрытые от индексации он выполнял еще до обращения. Выполняет и сейчас.

Невыполненная часть эксперимента - индексация данных в зависимости от mediA-query носит скорее академический интерес.

  1. 2013-03-28
  2. seo
Go Index Test