Смогут ли пауки проиндексировать ваш web-сайт?
By Christine Churchill
keyrelevance.com
Основа вашей уверенности в том, что сайт появится в индексной базе поисковой системы, это "успешный" программный код. В конце концов, если робот не может проиндексировать ваших страниц, тогда поисковик не может подключить его в свою поисковую базу.
К сожалению, море web-сайтов используют технологии либо архитектуру, делающие их враждебными по отношению к паукам (crawler) поисковой системы. Робот поисковика в реальности, всего только автоматический web-броузер, тот должен интерпретировать HTML код вашей страницы, так же, как и рядовой броузер.
Но поисковые роботы удивительные тугодумы. Большинство продвинутых поисковиков, как полагают многие, достигли развития близкого к версии 2.0 web-броузера. Это означает, что паук не может осознавать уймище web-технологий и не может впитывать текст кое-какие страницы. Это в особенности наносит вред, если как раз данные части включают кое-какие, либо же все ссылки на вашей странице. Если паук не может прочитать ваши ссылки - он не может прогуляться по всем страницам проекта.
Будучи консультантом по маркетингу поисковых систем, меня нередко просили дать оценку новые сайты почти сразу же следом их запуска. Оптимизацией под поисковые системы нередко пренебрегают во период процесса разработки. В это момент дизайнеры сфокусированы на навигации, удобстве и брэнду. В результате, море сайтов запускаются с уже встроенными проблемами. А исправить данные проблемы значительно труднее, чем не изготовить их на стадии проектирования.
И только тогда, когда сайт не возникает в списках поисковика, многие компании обращаются к SEO.
В данном им стыдно повиниться, так как для малого коммерциала поисковые машины еле-еле ли не что ни на есть величавый источник трафика. Почти 85% пользователей интернета ищут сайты сквозь поисковики. Ценность web-сайта, не дружественного поисковикам существенно падает.
В данной статье я дам обзор некоторых ключевых моментов, которые могут препятствовать роботу поисковика индексировать ваше детище. Данный список ни в коем случае не является исчерпывающим, но он может выделить максимально общие моменты, которые будут держать пауков от индексирования вашего сайта.
Ссылки, написанные на JavaScript
JavaScript - прекрасная методика, но невидимая для всех поисковых машин. Если для контроля навигации вашего сайта вы используете JavaScript, у пауков могут быть серьезные проблемы с индексированием скриптов.
Похоже, что ссылки, написанные на JavaScript, игнорируются поисковыми роботами. И это точно.
Например, представьте, что у вас есть следующий скрипт, что перенаправляет пользователя на определенную страницу вашего сайта:
Данный скрипт использует функцию goToPage() для добавления кода направления в финал URLа, раньше чем отослать посетителей на страницу.
Я видел сайты, где любая ссылка на странице была написана на JavaScript подобным образом. В некоторых случаях JavaScript применяется для включения кода направления, в иных - для перенаправления пользователей на иные адреса, расположенне на странице. Но во всех случаях первая страничка сайта была единственной, которая находилась в индексной базе поисковой системы.
Ни единственный из пауков не индексирует ссылочный агрегат на JavaScript. Даже в случае бы паук мог интерпретировать этот скрипт, все одинаково для него нелегко интерпретировать всевозможные нажатия мышки, которые запускают функцию goToPage() с различным кодом направления.
Пауки либо будут игнорировать содержание SCRIPT-tag, либо впитывать текст содержание скрипта, как чисто это приметный контент.
Как правило, лучше всего сторониться навигации при помощи JavaScript.
Меню на DHTML
Выпадающие меню DHTML только популярны при построении навигационной структуры сайта. К сожалению, они кроме того враждебны паукам поисковика, так как сызнова же имеют проблемы с поиском ссылок на JavaScript, используемом при их создании.
Меню DHTML имеют дополнительную проблему в том, что их код нередко расположен во внешних файлах JavaScript. Хотя и существуют весомые причины разместить скрипт во внешнем файле, кое-какие пауки не поддерживают тот самый агрегат построения ссылочной структуры.
Если вы используете меню DHTML на вашем сайте и хотите увериться, какой результат они оказывают на поисковые системы, попробуйте, отключить JavaScript в броузере - выпадающая доля вашего меню исчезнет и есть возможность того, что с ней пропадет и верхнее меню. Хлоп! И мгновенно большинство страниц вашего сайта стали недоступны. То же наиболее происходит и у поисковых машин.
Строки адресов
Если у вас динамический сайт, тот использует такие технологии, как ASP, PHP, Cold Fusion, либо JSP, существует немаленькая возможность того, что ваши URLы включают строку запроса следующего вида:
www.mysite.com/catalog.asp?item=320&category=23
Это может послужить проблемой, оттого что многие пауки поисковых машин не индексируют похожие ссылки, включающие в себя строки запроса. Это правильно более того в том случае, в случае страничка, на которую указывает ссылка не содержит ничего, помимо стандартного HTML. URL, сам по себе, является барьером для паука.
Почему? Большинство поисковиков имеют сознательное разработанное заключение не индексировать ссылки со строками запроса, ибо им требуется дополнительная запись для их интерпретации. Пауки содержат список всех проиндексированных страниц и стараются сторониться повторного индексирования страницы при уникальном посещении сайта. Они делают это, сравнивая все новые URLы со списком тех, что они уже видели.
Теперь, допустим, что паук видит URL, аналогичный данному на вашем сайте:
mysite.com/catalog.asp?category=23&item=320
Этот URL ведет к той же наиболее странице, как и свойский основополагающий URL, более того не смотря на то, что URLы не идентичны (Заметьте, что пары имя/ценность в строке запроса стоят в разном порядке).
Для определения, что тот самый URL ведет к той же наиболее странице, паук должен поделить строку запроса и сберечь каждую пару имя/ценность. Затем, каждый раз, когда он видит URL с той же наиболее траницей-родителем, ему понадобится сравнить ее пары имя/ценность со строками запроса всех предыдущих, имеющимися в файле.
Имейте в виду, что свойский образец запроса сильно невеликий, строчка запроса может быть значительно больше. Я видела строки запроса, состоявшие из 200 символов и относящиеся к дюжине различных пар имя/ценность.
Итак, индексирование страниц по строкам запроса означает немаленькую неоправданную работу для робота.
Некоторые роботы, в частности Googlebot, будут вкалывать с URLами, которые имеют ограниченное численность пар имя/ценность в адресе запроса. Другие пауки будут игнорировать все URLы, содержащие строки запроса.
Flash-технология
Flash это здорово, значительно лучше, чем HTML. Это динамическое и острое превосходство. К сожалению, пауки используют технологию преследования преимуществ. Помните: грубо говоря, паук поисковика эквивалентен версии 2.0 web-броузера. Пауки просто не в состоянии интерпретировать новейшие технологии, такие, как Flash.
Итак, более того несмотря на то, что анимация Flash может поразить ваших посетителей, она невидима поисковикам. Если вы используете Flash, чтобы негусто приукрасить ваш сайт, но большинство ваших страниц написаны на стандартном HTML, это не станет проблемой. Но в случае вы создали весь сайт, используя Flash, у вас будут серьезные затруднения с его индексированием.
Фреймы
Разве я не упоминала, что пауки поисковых машин используют слабую технологию? Именно так, они на столь невысоко технологичны, что кроме того не поддерживают фреймы. Если вы используете фреймы, поисковик сможет прогуляться по вашей заглавной странице, содержащей FRAME-теги. Но не сможет найти личные FRAME-теги, которые могут собирать остальную доля вашего сайта.
В данном случае вы сможете, по крайней мере, поработать над проблемой, охватывая NOFRAMES на первой странице вашего сайта. Этот раздел вашей страницы будет невидим кому-либо, использующему броузер, поддерживающий фреймы. С прочий стороны, это не мешает вам в разделе NOFRAMES разместить содержимое, которое смогут внести в свою индексную базу поисковые системы.
Если вы включаете раздел NOFRAMES, позаботьтесь вложить туда подлинное содержимое. Как самое меньшее, вы должны разместить стандартные гипертекстовые ссылки (A HREF), указывающие на ваши личные Frame-страницы.
Удивительно, но довольно зачастую люди включают раздел NOFRAMES, тот, казалось бы говорит: «Данный сайт использует Frame-технологию. Пожалуйста, усовершенствуйте ваш броузер». Если желаете поэкспериментировать, сделайте запрос в Google по фразе "requires frames." Вы найдете возле 160 000 страниц, все из которых включают контент "this site requires frames."(этот сайт использует Frame-технологию) Каждый из данных сайтов имеет ограниченную видимость поисковиком.
С www либо без www?
Адрес моего web-сайта keyrelevance.com, но могут ли люди заскочить на его, в случае они отбрасывают «WWW.» в адресной строке? Для большей части серверных конфигураций реакция - «да», но кое-какие говорят «нет». Убедитесь, что ваш сайт работает как с www, так и без www.
Данная служба рассматривает кое-какие из максимально обычных причин, которые могут послужить причиной не индексации сайта. Другие факторы, такие как метод создания иерархии web-страниц, так же повлияют на то, сколь страниц вашего сайта попадет в индексную базу поисковой системы.
Каждая из данных проблем имеет вывод, и в будущих статьях я коснусь любой, чтобы подсобить вам заполучить больше проиндексированных страниц.
Если в этот миг вы переделываете ваш сайт, я хочу подбодрить вас, чтобы вы приняли во чуткость данные заметки, в свое время чем вдохнете существование в сайт. Хотя всякий из данных поисковых барьеров может быть устранен, лучше активизировать с разработки, дружественной поисковой системе, чем чинить сотни страниц затем запуска проекта.
[/b]
Вход
FAQ
Поиск
