Insight IT

Информационные технологии

Записи, помеченные как “crawler”

nofollow: за и против

Опубликовано 24 февраля 2008, автор: Иван Блинков

Наверняка каждый владелец любого интернет-ресурса хоть раз сталкивался с этим микроформатом, rel-nofollow. Изначально он был введен для обозначения ссылок, оставленных кем-либо, кроме создателя самой веб-страницы, и, как следствие. для снятие с него ответственности за эту ссылку. Активнее всего этот микроформат влияет на работу большинства поисковых систем, оказывая влияние на учет ссылок в определении тех или [...]

Путеводитель для роботов

Опубликовано 18 января 2008, автор: Иван Блинков

Ни для кого не секрет, что одним их основных факторов, влияющих на расположение страниц интернет-ресурса на просторах поисковых систем, является уникальность контента (или другими словами — содержания). Конечно же простейшим способом избежать дублирующегося контента является просто собственноручная его генерация (или в крайнем случае с помощью наемных работников или посетителей Вашего сайта). Но, к сожалению, это позволяет [...]

Откуда возникает спам и как с ним бороться

Опубликовано 3 января 2008, автор: Иван Блинков

На сегодняшний день далеко не каждый пользователь Сети является человеком, возможно это покажется странным для не интересующегося ИТ читателя, но существует множество программ, способных передвигаться по сайтам, следуя по гипер-ссылкам, как внутри одного сайта, так и переходя с одного сайта на другой (в целом такой тип программ называется spider или crawler). Такие программы могут [...]