wmToolbox.net – Обратные ссылки

April 7th, 2014 No comments

Одной из повседневных задач вебмастера, является контроль за обратными ссылками полученными либо в результате обмена ссылками, либо в результате их покупки, либо иным способом.

Часть 5. Обратные ссылки.

Мы предлагаем автоматизировать и эту задачу.

ml_extlinks

 

Идея крайне проста – вы добавляете в систему адрес страницы, на которой должна быть ссылка, и указываете ссылку которую вы хотели бы мониторить.

ml_extlinks2

 

Ну а дальше – всё совсем просто. Если подобная ссылка “исчезает” – вы получаете сообщение об этом. Проверки полностью автоматические, проводятся 2 раза в день, оповещения о фейлах приходят как на почту, так и в панели управления wmToolbox.

P.S. Да, и разумеется можно добавить сразу несколько страниц/ссылок для мониторинга.

Categories: wmToolbox.net Tags:

wmToolbox.net – Мониторинг аптайма

April 5th, 2014 No comments

Помимо систем перелинковки, проверок обратных ссылок итд, в набор инструментов wmToolbox входит и система контроля доступности сайтов.

Часть 4. Мониторинг аптайма.

ml_uptime

Работает эта часть инструментария автоматически. По умолчанию каждый сайт добавленный вами в систему раз в 15 минут посещается нашим ботом, и бот ищет на странице код верификации вашего сайта который вы размещали при добавлении сайта в систему. Например такой <!–A0123456789–>

Если по какой-то причине код был не найден – например сайт не открылся, DNS не отрезолвил домен, или целиком лежит сервер – вам сразу же отправляется уведомление о произошедшем инциденте. Уведомление заносится во вкладку оповещений в wmToolbox, отправляется на вашу электронную почту указанную при регистрации, если вы являетесь обладателем не-бесплатного аккаунта, то уведомление отправляется и по SMS.

Кроме того, для продвинутых аккаунтов предусмотрены дополнительные контакты оповещений. В этом случае письмо и/или SMS будет отправлено и на дополнительные контакты.

Ну, и разумеется в своём аккаунте wmToolbox вы видите как текущий статус ваших сайтов, кумулятивную статистику доступности, так и можете ознакомиться с детальной историей недоступности сайтов/серверов.

ml_uptime2

 

 

Основная задача этой несложной тулзы – дать вебмастерам удобный встроенный инструмент для контроля за сайтами. Без лишних “наворотов”. Чтобы просто, и эффективно.

Categories: wmToolbox.net Tags:

wmToolbox.net – Простая перелинковка

December 23rd, 2013 2 comments

Часть 3. Простая перелинковка.

“Простая” перелинковка является важнейшим рабочим инструментом MoreLinks.ru, т.к. позволяет последовательностью “простых” схем  создавать сложнейшие ссылочные структуры.

На странице добавления схемы выберите “Простая”, и укажите желаемые параметры в блоке доноров ссылок, и параметры в блоке рецепиентов.

ml_simplescheme

В настройке выборки для доноров и рецепиентов есть два варианта настройки – вы можете использовать как автоматический режим, с выборкой по группам/тиц/PR, так и вручную указать сайты доноры/рецепиенты.

ml_simplescheme2

 

Указав требуемые настройки для доноров и рецепиентов нажимаете “Сохранить”, и заканчиваете создание схемы финальными настройками.

ml_simplescheme3

Обратите внимание, это весьма важные настройки:

  • Кол-во ссылок в схеме.  Это – общее итоговое количество которые будут выставлено в этой схеме. Если установите флажок “Без лимита” – ссылки будут еженедельно выставляться пока будут свободные места соответствующие требованиям схемы. Ставьте этот флажок только если вы уверены в том, что делаете.
  • Прирост ссылок в неделю.  Простые схемы расставляют новые ссылки 1 раз в неделю, и этот параметр определяет сколько ссылок будет добавляться в схему каждую неделю. Основная цель – избежать взрывного роста ссылочной массы.
  • Максимум ссылок с сайта.  Название параметра говорит само за себя 🙂

Сохранив эти настройки вы получите активную схему, которая в течении 5 минут будет наполнена первой партией ссылок, и дальше ссылки будут добавляться 1 раз в неделю.

 

Categories: wmToolbox.net Tags:

wmToolbox.net – Фрагменты

December 21st, 2013 No comments

Дла групповой работы с разными по контенту или по тематике страницами мы предусмотрели механизм фрагментов – вы группируете страницы по нужным вам критериям, и используете их группами в дальнейшей работе.

Итак:

Часть 2.  Фрагменты.

В разделе “Сайты” нажмите на иконку “Страницы” у нужного вам сайта.

ml_pages

В открывшейся странице можно выбрать руками страницы которые войдут в новый фрагмент а можно выбрать нужные страницы по маске (обратите внимание, выбериться они в этом случае будут только из тех, что представлены на открытой в данной момент странице).

ml_pages2

Нажав кнопку “Добавить фрагмент”, в открывшемся диалоге укажите имя для нового фрагмента, либо выберите уже существующий фрагмент к которому будут добавлены выделенные страницы.
Если будете создавать шаблон как новый, вы можете также указать его маску с тем, чтобы при последующих добавлениях страниц на сайте, все страницы удовлетворяющие условиям маски автоматически заносились в данный фрагмент.

ml_pages3

И вот, после нажатия кнопки “ОК”, информация о фрагменте будет сохранена, и созданный фрагмент сможет быть использован в схемах перелинковки.

Categories: wmToolbox.net Tags:

wmToolbox.net – Внутренняя перелинковка

December 20th, 2013 No comments

В работе с сайтами рано или поздно наступает момент, когда надо бороться за индексируемость. Когда нужно “надавить” на ключевики. Когда единую карту сайта надо свести из 4 разных независимых разделов: форума, блога, галереи и с самого сайта. Хватает, в общем, моментов 🙂

В этих постах мы будем приводить примеры использования системы MoreLinks.ru, системы предназначенной для автоматизации работы как с группами небольших сайтов, так и с одиночными монстрами. В каждой части будет рассматриваться какой-то один аспект использования системы. И соответственно будет предполагаться, что сайты уже заведены в систему, код добавлен, страницы просканированы, и ссылки/анкоры для непосредственно перелинковки были указаны.

Итак, приступим 🙂

Часть 1.  Внутренняя перелинковка страниц.

ml_newscheme

Выбираем “Внутренняя”, тыкаем “Выбрать сайт и фрагменты”, и в появившемся диалоговом окне указываем сайт, фрагмент и желаемую вложенность страниц участвующих в обмене.

ml_newscheme2

 

Нажимаем “ОК”, система показывает нам выбранные параметры перелинковки включая количество страниц занятых в перелинковке. Нажимаем “Сохранить” в правом нижнем углу экрана, и в окне сохранения указываем название схемы, количество ссылок на каждую страницу, период по истечении которого ссылки будут автоматически перегенерироваться (если не выбрать “Статичную линковку”), и тэг для ссылок если он нам нужен в данной схеме.

ml_newscheme3

 

После нажатия кнопки “Сохранить”, схема сразу становится активной, и в течении 5 минут ссылки будут сгенерированы.  Следует обратить внимание, что в данном случае анкоры ссылок для перелинковки будут автоматически взяты из заголовков страниц.

 

Categories: wmToolbox.net Tags: ,

wmToolbox.net – Настройки

December 20th, 2013 No comments

Во вступительной части мы расскажем о настройках сайтов и дефолтах самой системы. В общем о том, что надо сделать перед началом использования системы 🙂

Часть 0. Настройки и умолчания.

Кнопка для перехода в настройки каждого индивидуального сайта находится в панели действий, напротив каждого сайта.

ml_settings0

 

Важность настроек для сайта зависит от его роли в ваших планах. Для сайтов которые планируются как получатели ссылок самая главная настройка – это анкоры. Их вы можете как указать вручную с соблюдением нужных вам пропорций глубины ссылок, так и создать автоматически все ссылки из заголовков страниц. Заметим, автоматический вариант идеально подходит для внутренней перелинковки страниц.

ml_settings

Также советуем обратить внимание на ссылочные лимиты в настройках страниц. Как на количество ссылок с сайта, таки и на количество ссылок по разным уровням вложенности страниц.

ml_settings2

Categories: wmToolbox.net Tags:

wmToolbox.net – Терминология инструментария

December 20th, 2013 No comments
  • Код для сайта

Код для сайта, это 3 скрипта которые вы загружаете на своей сервер, подключая их в шаблон. Именно этот код и будет выводить ссылки на страницах вашего сайта. Кроме того, именно этот код генерирует динамическую карту сайта, если это будет включено в файле config.php кода для сайта.

  • Перелинковка

Перелинковкой мы называем сам процесс постановки ссылок в определённом порядке.

  • Группа сайтов

Работая с несколькими сайтами, вебмастеру удобнее оперировать не одним сайтом, а их группами, выстраивая схемы перелинковки по своему усмотрению.  Оперируя группами сайтов, можно выстраивать управляемые схемы буста НЧ/СЧ ключевиков, не пересекающиеся между собой.

  • Фрагмент

Фрагмент – это группа страниц на 1 сайте, выбранная и выделенная вебмастером по какому-то критерию. Фрагменты бывают как статичные – 1 раз пометил и он не меняется, так и динамические – 1 раз пометил, указал маску, и все страницы которые в дальнейшем будут добавляться на сайте, и соответствовать маске – будут относиться к этому фрагменту.

Именно фрагментами удобно делить разделы сайта. Например 3 динамических фрагмента: фрагмент с маской /forum, фрагмент с маской /gallery и фрагмент с маской /shop. Имея 3 этих выделенных фрагмента, вы можете работать со ссылками и ключевыми словами в рамках данных групп страниц: использовать их для внутренней перелинковки, для кросс-фрагментной, для внешней. Особенно это актуально для работы с тематическим контентом.

  • Карта сайта

Sitemap.xml – стандартный способ улучшить видимость внутренних страниц сайта для поисковиков. MoreLinks.ru генерирует как статичную карту сайта, которую вы можете просто загрузить файлом, так и динамическую карту. Работает это очень просто – наш бот регулярно индексирует ваш сайт, и обновляет карту вашего сайта посредством кода для сайта, который упоминался выше. Этот механизм идеально подходит для сайтов имеющих несколько движков – форумы/блоги/магазины/галереи на одном домене. В карте сайта будет всё.

  • API

Работая с сайтами через веб-интерфейсы вы используете наши стандартные алгоритмы перелинковки. Используя наш XML SOAP API вы при помощи любого современного языка программирования сможете реализовать абсолютно любую схему работы с вашими сайтами/страницами/ссылками. Абсолютная гибкость API и высочайшая производительность наших серверов БД позволят добиться любых результатов. Описание и пример находятся здесь: http://api.wmtoolbox.net/

Categories: wmToolbox.net Tags: ,

SQLite

August 22nd, 2013 No comments

SQLite в Android поддерживает транзакции, однако “официальная” поддержка не-эксклюзивных транзакций начинается только начиная с API 11 Honeycomb. Та самая SQLiteDatabase.beginTransactionNonExclusive();

Однако, не смотря на то, что в ранних версиях API этой функции нет, сама поддержка транзакций в SQLite присутствует.

Все что нам нужно, это в зависимости от версий либо пользоваться методами класса SQLiteDatabase, либо использовать возможности движка SQLite.

 

@SuppressLint("NewApi")
	public void initTransaction() {
		int sdk = android.os.Build.VERSION.SDK_INT;
		if (this.xDb == null) this.xDb = this.getWritableDatabase();
		if(sdk &gt;= android.os.Build.VERSION_CODES.HONEYCOMB) {
			this.xDb.beginTransactionNonExclusive();
		} else {
			this.xDb.execSQL("begin immediate transaction");
		};
	};

Например вот так.

Categories: Android Tags: ,

Спам. Моя борьба. Часть 2.

August 20th, 2013 No comments

Вторая часть. Найдем и уничтожим.

Для поиска ресурсов с открытым постингом есть несколько вариантов действий. Самый простой – это примерно вот такой:

Скачиваем рекурсивно сайт в папочку. Для этого нам подойдет даже вполне себе стоковый Wget. Кроме того, составим список адресов страниц, которые не были скачаны путем парсинга логов веб-сервера. Разницу – догрузим. Как показывает практика, спамеры достаточно четко находят страницы на которых можно разместить спам посредством перебора стандартных адресов. Т.е. /forum/, /phpBB/, /phpBB3/, /wp/ итд.

После этого, мастырим простейший скрипт, который подсчитывает количество внешних ссылок на каждой конкретной странице, и суммирует их в количество уникальных внешних ссылок со всего сайта. Как правило, сайт куда открыт свободный постинг имеет от 150 уникальных внешних ссылок и выше. Так что очень быстро скрипт вам покажет какие пути сайта подвержены спаму.

Итак, вот на руках у нас уже есть список ресурсов. Дальше – просто. Если на сайте спам локализован в какой-то папке, например /forum/, то проверяем путь на фс, дабы убедиться что речь именно о реальной папке. И кладем туда простейший .htaccess

 

<Limit POST>
Order Allow,Deny
Deny from all
</Limit>

Не очень эстетично, но проблему поступления нового спама это перекроет.  Дальше, хорошо бы либо почистить это дело, либо убрать забытый скрипт.
Хвала богам, но популярных движков форумов/блогов/CMS – на самом деле весьма не много, и подвержены спаму одни и теже движки.

Ну, например:

DLE – очень подвержен спаму в комментариях, и в профилях пользователей.
Лечение: 3 SQL запроса:

  1. очистить всех юзеров имеющих 0 постов и урлы в описании.
  2. очистить таблицу комментариев, от комментариев со ссылками, либо от юзеров из п.1
  3. обновить счетчик комментариев к статьям.

И примерно схожие алгоритмы применимы для всех популярных CMS.

 

Спам. Моя борьба. Часть 1.

September 5th, 2012 No comments

Наверняка, даже люди не имеющие сайтов и серверов натыкались на поисковый спам на форумах, в гостевых книгах, в комментариях.

Нам, увы, приходится ежедневно сталкиваться с проблемами вызванными спамом: переполненные форумы –  медленно загружаются. Тысячи комментариев к статье? Страница статьи медленно загружается, ведь её размер уже не 20кб, а 5мб!

Эта борьба, в нашем случае, состоит из нескольких частей, потому делиться опытом будем в несколько заходов.

Первая часть. Сделаем спам бесполезным.

Изничтожить спам как явление  – невозможно. Он будет в существовать до тех пор, пока будет оставаться выгодным. Но, вполне можно сделать так, чтобы спам именно на вашем сервере был бесполезен.

Мы решили, что все исходящие ссылки указывающие на внешние адреса “станут” локальными, и технически – не индексируемыми поисковиками.

Для этого нам понадобился небольшой модуль к Apache. Алгоритм крайне прост:

 

1. Получаем очередной chunk.
2. Регекспами ищем все ссылки начинающиеся с http://
3. Заменяем буквы http:// например на /wrn.php?

Таким образом, на выходе мы получаем страницу со ссылками такого вида: <a href=’/wrn.php?www.some.external.site.com’></a>

Теперь, нам надо сделать так, чтобы на каждом сайте “появился файл” wrn.php, который обрабатывал бы исходящие ссылки. В этом нам помог Nginx, и его умение работать в режиме прокси.

 

Создаем инстанс апстрима для прокси:

upstream err {
     server 192.168.111.202:80 weight=5 max_fails=2 fail_timeout=10s;
    }

В теле конфига сервера указываем, что все файлы начинающиеся с /wrn.php обрабатываем указанным ранее апстримом.

location /wrn.php  {
      proxy_pass http://err;
      proxy_redirect     off;
      proxy_set_header   Host             $host;
    }

Ну и все что остается, в апстрим положить реально существующий файл wrn.php, который и будет выполняться для всех суб-серверов стоящих за нашим Nginx.

 

В следующих частях будем рассказывать о капчах, базах данных, и поиске спама 🙂