spryt: странствующий вебмастер об авторе | контакты | PHP скрипты | Путешествия | Дешевые авиабилеты | Подкинуть деньжат

Интервью с Cheboor, разработчиком keys.so

Июль 4, 2016

Я большой любитель разных сервисов для вебмастеров и сеошников (с точки зрения разработки и заработка на них), хотя и мало какими пользуюсь, кроме своих. Поэтому я не смог упустить шанс выведать подробную информацию у автора одного из таких сервисов (известного в узких кругах), да и добротное интервью куда лучше штампованного рекламного поста) Хотя такой формат и не слишком мне привычен. Начнем-с:

Привет! Расскажи кратко о себе — уверен, большинство вебмастеров слышали или пользуются твоим сервисом keys.so, но лишь немногие знают, кто именно за ним стоит. Ты когда-нибудь вел блог?

Привет, меня зовут Дмитрий, в сети уже очень давно (первый сервер на колокейшен был взят в 2004 году), но блога никогда не вел. 33 года, программист, живу в Санкт-Петербурге. Наверно кто-то может меня помнить по проекту Smile SEO Tools — была такая программа для регистрации в каталогах.

Чем ты зарабатываешь на жизнь, и как к этому пришел?

Я успел поработать программистом в штате, поиграть в игру «собственная веб-студия», потом нырнуть в историю с shareware, пройти по тропе «заработок на сапе» и теперь оказался в текущей позиции, когда у меня есть несколько информационных сайтов и сервис keys.so. Но сейчас я не один, я работаю со своими партнерами, с которыми делятся и сайты, и сервис.

Дмитрий Cheboor

Старая добрая сапа =) Как пришел к идее создании такого сервиса — ведь на тот момент (октябрь 2015-го, если не ошибаюсь?) уже были конкуренты — база пастухова, spywords, сервисы для гугла и т.д. Что вообще предшествовало его появлению?

Прослушав марафон Смарта (осенью 2013) и сделав первый сайт по его технологии, я очень захотел разобраться, насколько много ребят серьезно подходят к вопросу производства таких сайтов, каков у них процент успешных проектов, стоит ли в это ввязываться.

У меня была неплохая база подсказок, база ключей из метрики и еще из нескольких источников. Не придумал ничего умнее, чем спарсить все топы, найти список «всех сайтов рунета», просканировать их на предмет меток adsense, сгруппировать-померять-сделать выводы. Сделал, померял, порадовался. Убедился в том, что надо нырять в контентники и допилил keys.so до состояния, когда он мог решать наши с ребятами задачи по сбору и кластеризации семантических ядер. Издержки на всю эту историю не нулевые, поэтому конечно хотелось как-то завернуть все в упаковку и продать кому-то еще. Сначала это были несколько знакомых, потом первые «честные» продажи (не знакомым людям), следом — договорились с Романом Пузатом о включении слайда keys.so в его марафон. В день релиза этого урока у нас был аврал, и мы убедились, что надо все доводить до более серьезной степени проработки.

Хоть конкуренты и есть – spywords, prodvigator, advodka, но на деле они про другое. Самая большая база у spywords и там 23 млн ключевых слов (когда я начинал кейссо – у них было 12 кажется, у меня – 60, сейчас – 76млн). Наверно для каких-то целей такого объема хватает. Для хорошей проработки ядра контентного сайта или даже для действительно проработанной кампании в Директе – явно недостаточно. А всякие плюшки в виде поиска сайтов одного владельца были совершенно никем не реализованы в таком объеме.

В общем у меня не было сильных сомнений в необходимости – это был собственный рабочий инструмент, которым мы делали свои сайты и на старте keys.so задача была переложить стоимость содержания этого инструмента на чужие плечи.

Меня самого сильно интересуют подобные сервисы, но все же в первую очередь — финансовая эффективность. Одно дело — сервис для себя и для знакомых, и совсем другое — успешный коммерческий продукт. Если я правильно понял, ты сам полностью создал сервис, или нанимал людей для некоторых задач? И самый главный вопрос — сколько сейчас платящих подписчиков, примерно?

Сервис в первую очередь под себя, поэтому вопросы финансовой эффективности долго оставались на втором плане. Сейчас они по-прежнему на втором плане, но начинаем работать над популяризацией сервиса, пробуем себя в маркетинге. Пока количество подписчиков не велико — около 100.

Весь код в конечном итоге написан мною, дизайн на аутсорсе. Один из моих партнеров просто гуру настройки серверов и он здорово помог как в вопросе подбора железа, так и в тюнинге mysql, совместно решалась часть технологических задач. В общем оказалось, что данных действительно много и когда их так много — это становится серьезной проблемой.

Сейчас поддерживаешь связь со Смартом/Пузатом? У Смарта все так же живой форум и новый марафон на подходе (правда, на форуме они собирают складчину на 30+ человек — очевидный признак того, что для таких вебмастеров цены все же высоковаты).

С Алексеем Смартом общаемся, правда, преимущественно не про keys.so. Во время его визита в Питер встречались, замечательно провели время, думаю о поездке в Самару, но вечно отодвигается. С Романом общение происходило как-то в деловом русле, думаю следующая встреча состоится на Кинзе, но вряд ли это будет какое-то личное общение. Найдется ли место для keys.so в рамках новых марафонов ребят я не знаю, но буду очень рад, если инструмент сочтут достойным )

По поводу складчин мы не переживаем, сейчас главная цель – популяризация сервиса.

Про поиск сайтов одного владельца — такие сервисы были и есть, многие даже открытые, но сейчас у тебя действительно очень много плюшек, которых нигде нет — поиска по Moevideo/Leadia и прочем (не хватает тизернета/бодиклика еще). А ситуации, когда код размещается только на внутренних страницах, а не на главной — тоже пробивается? База часто переиндексируется? (большая проблема таких сервисов — устаревшая информация)

my_sites

Так выглядит список сайтов с моим идентификатором адсенса на keys.so =)

Одно время модным способом сокрытия идентификатора было помещение его в отдельный js-файлик, например ads.js. большинство (точнее все сервисы, что видел я) такие ситуации разобрать не могли, роботы keys.so открывают все js, поэтому пробив сильно выше. И как ты правильно заметил — есть поиск и по другим сетям, список которых будет расширяться.

У keys.so есть три вида данных и все три имеют разную периодичность апдейтов:

  1. Частотности и биды ключей – стараемся обновлять данные раз в три месяца. Пока правда еще не было случая, когда база осталась бы неизменной в течение трех месяцев, т.е. апдейты проходили чаще;
  2. Результаты выдачи – декларируем срок годности 2 месяца, надеюсь будем управляться быстрее. Фактически же если сегодня данным по региону Москва три недели, то по региону Санкт-Петербург – одна неделя;
  3. Результаты сканирования доменов – в очередь на пересканирование домен встает по истечению трех месяцев с момента последнего сканирования. Новые домены встают в начало очереди. При этом сканирование у нас не всегда полностью меняет данные. Если наш робот видел на сайте идентификатор Adsense, а при следующем сканировании никакого Pubid не нашлось – старый удален не будет в течение шести месяцев. С каждого сайта мы открываем до 20 страниц, на каждой странице – все встреченные js. Т.е. если код только на внутренних – у нас есть все шансы его найти. Но роботы у нас довольно нежные – один сайт в один поток с совсем огромными таймауатами.

Получается, у тебя сейчас основной заработок все таки с информационных сайтов, несмотря на весьма неплохие результаты по подписчикам?

Да, пока основной источник дохода – сайты.

«данных действительно много» — да уж, я как-то собирал базу сайтов для рунета, для сохранения статистики — это явно цветочки по сравнению с тем, что у тебя) Для ощущения масштаба — сколько сейчас весит база mysql? Расскажи пару слов про стек используемых технологий.

Когда база в последний раз была единой она весила примерно 700гб на один регион, это с индексами. Теперь она разбита на несколько сотен баз, данные денормированы, многое дублируется. В общем шардинг во все поля. Думаю, сейчас объем порядка 800 гб на один регион и около 1.4тб на 2 региона.

Все прям на удивление просто. PHP + Mysql. Даже не MariaDB, которую попробовали, но в результате решили остаться на основной ветке. На клиенте совсем чуточка AngularJS. В порыве страсти был подход к задаче с MongoDB в качестве основного хранилища, первая версия роботов была написана на C++, но в результате от всего этого отказались в пользу более прозрачной системы, пусть и чуть более примитивной местами. В прошлой версии сервиса, т.е. две-три недели назад, одним из основных технологических моментов было использование Sphinx. Классная штука, но даже ее ампутировали, переиграв всю схему хранения данных и не только не упав в производительности, но даже выиграв раза в полтора-два.

Чем был обоснован такй выбор тарифной сетки и её возможностей? Стартовый тариф уже стоит довольно ощутимо, но при этом обладает весьма скромными возможностям (только собирать с единичных сайтов запросы/страницы, без группового анализа и поиска сеток сайтов). Базовый тариф, даже с учетом опта, будет подъемен только для веб-студии или оборотистых вебмастеров. Понятно, что такой ценой можно отсеять новичков и сократить нагрузку на сервер, но ведь это по сути приводит к вторичному рынку — люди берут доступ в складчину, или предоставляет вторичные услуги (а-ля сбора СЯ/выборки из базы). При этом есть софт с похожим функционалом для кеев, но при этом бесплатные (!!) — http://www.bukvarix.com/ например. Или ты вообще никак не анализировал это, а просто взял тарифы из спайвордса и чуть-чуть изменил?

Тарифы – посмотрели на конкурентов, сделали чуть дешевле, при этом в рамках тарифа дали чуть больше. Т.е. у условного «конкурента №1» маленький тариф стоит 1980р и там 5000 строк отчета за эти деньги – значит у нас 1500 рублей и 20 000 строк отчета. Большой тариф – 5000р – значит у нас примерно столько же, ведь функционала у нас сильно больше – и групповые отчеты просто безумно клевые 🙂 и поиск сетей конкурентов.

Я себя считаю весьма компетентным человеком в вопросе построения семантического ядра, сборе запросов и тд. При этом я реально не знаю, как построить ядро используя только Букварикс, базы Пастухова, MOAB или любую другую подборку ключей. Мне кажется, что это невозможно. Дело не в том, что базы хорошие или плохие, дело в том, что ты не знаешь, что в них искать.

А в подходе, который проповедует спайвордс, продвигатор, адводка и keys.so все просто – делаешь сайт про парники – скорми системе сайт teplicnik.ru и через 10 минут ты получишь супер-ядро, в котором будут такие слова, о которых ты не догадывался.

Про стоимость тарифов – имхо ты с другой стороны на это смотришь. Я считаю, что минимум 50% успеха контентного проекта – это его ядро. С помощью кейссо на Базовом тарифе, за 1 месяц я смогу наделать себе ядер на год вперед, вот без преувеличения. Подготовить одно ядро займет 10 минут, ну может 20. Конечно, это без кластеризации, без выделения рубрик, но это будет исчерпывающий список запросов тематики. Если я собираюсь делать относительно большой сайт, пусть на 300 статей. Наверно в среднем по рынку, сейчас себестоимость статьи с «публикацией чужими руками» выйдет в районе 500 рублей. Пусть 333, для удобного счета 🙂 В таком случае, подготовка всего сайта обойдется грубо говоря в 100 000 рублей. Если так, то 1 месяц Базового тарифа keys.so составит менее 5% от стоимости финального сайта. А правильное ядро – залог хорошего результата. В общем я уверен, что цена хоть и не бросовая, но весьма адекватна.

Ты так говоришь, как будто собрать ядро через кейссо это совсем просто)

Да, мне кажется, что это действительно довольно несложно. Если хочешь — можем сейчас попробовать собрать ключи под сайт какой-либо темы. Называй тематику или сайт-конкурент.

Ну, например, для сайта сейчас уже не очень актуальной тематики — свободных путешествий/таиланда, конкурент — life-trip.ru

https://www.youtube.com/watch?v=—oBvbROm9M

О, теперь понятней. Конкурентов для потенциальной покупки сайтов так искать куда проще) А как насчет гугла — они с яндексом все же на равных почти, у меня большинство сайтов имеют лучшие позиции в гугле, а не в яндексе. Не планируется его выдачу парсить?

Анализировать Гугл планируем, но это вопрос не сегодняшнего дня. Для информационных сайтов может быть доли двух поисковиков и соизмеримы, а для коммерции – Яндекс явно впереди. При этом мы сейчас пытаемся подстроиться под потребности контекстологов, а у них – непаханное поле – регионов в Яндексе много, адекватные данные (кроме кейссо) есть только для Москвы, хоть какие-то – еще для Питера. Сейчас выкатим десяток регионов, зададим новый тренд и уже следом можно будет переключиться на Гугл.

По поводу покупок сайтов – тут тоже кейссо может быть помощником – продавец рассказывает про перспективы роста, а ты видишь, что у сайта выраженных конкурентов нет, и 25% ключей дожаты в топ5 – роста ждать особо неоткуда. Говорят про «старый трастовый сайт» а все ключи глубже 10й позиции – наверно есть фильтры. Рассказывают про «первый сайт, хочу сделать новые» а у владельца 20 других площадок – может с этой что-то не то? Или предлагают слишком вкусную сделку и есть подозрения в мошенничестве, посмотри другие сайты, свяжись по контактам, указанным на них– вдруг предмет продажи угнали и пытаются быстро перепродать.

И базовый обзор сайтов доступен бесплатно, что тоже большой плюс (в том числе по предположению аудитории сайта, что иногда довольно сложно).

Ты говорил, что основной доход у тебя идет с информационных сайтов. Можешь немного описать свою «империю», стоит ли сюда соваться новичку? Ведь в том числе благодаря все более доступным инструментам и марафонам конкурентов становится всё больше, во многих тематиках очень горячо (со стороны). Как ты смог подняться? В паблике к сожалению довольно мало информации именно о серьезных вебмастерах, кроме буквально нескольких людей у всех на слуху.

У нас с партнерами все довольно скромно – порядка 30 сайтов, преимущественно строительной тематики. Почти все сайты сделаны с помощью keys.so – первые – с помощью маленького и слабенького внутреннего, последние – с помощью той версии, что в паблике.

Сейчас по моим наблюдениям рост сайтов стал более инерционным, если у новичка есть упорство и время – можно нырять, если хочется быстрых результатов, то вероятно лучше посмотреть в другие стороны. Я не думаю, что вход для новичков закрылся, но времена меняются и теперь надо больше требований предъявлять к качеству сайтов, к самому процессу их запуска.

Глядя на динамику развития сервиса (насколько я понял, в паблике он всего лишь полгода, а уже стам весьма востребован и прибылен) нет желания больше сосредоточится именно на создании сервисов/SaaS? Конечно, не будь изначально информационных сайтов и необходимости в ключах — не пришла бы в голову идея создать такой сервис. Но во все времена продавать лопаты было куда выгоднее, чем копать золото)

Да, конечно такие мысли крутятся. И если сейчас смотреть на мой рабочий день, то 75% энергии уходит в сторону keys.so, а сайты и остальное глубоко на вторых ролях. Сервисы – это красиво и клево, это работа с аудиторией, а не промывание тысяч уников в десятки кликов. Но технологически это сложнее. С сайтами все просто и понятно. Сделал, настроил, все. Дальше можно проплатить все домены-сервера, и уехать на два месяца, с сервисами так не получится. В общем пока сайты мне кажутся более предсказуемым и более стабильным видом деятельности.

Про лопаты – да, и у меня постоянно эта история в голове. Но что-то мне кажется, что в случае сайтостроения соотношение заработков другое. Да и основные продавцы лопат здесь – это не сервисы типа кейссо или мутагена, а биржи контента.

arb_direct

Сложнее, конечно, но на то мы и программисты)

Биржы контента конечно имеют большие обороты, но по чистому заработку сервисы с подпиской мало им уступают — даже имея аудиторию на порядки меньше. Саппорить несколько сотен знающих клиентов куда проще, чем тысячи исполнителей и заказчиков, зачастую неопытных.

Ты прав, чистых денег с бирж наверно не колоссальные количества, да и бирж то всего 4 грубо говоря (адвего, еткст, контентмонстр, турботекст), т.е. там видимо не разгуляться новичку) А саппорт — это мой персональный ад, как интроверту мне всегда хочется минимизировать общение с людьми.

Хм, можно наверное закругляться, и так объем приличный, и вроде бы интересные темы раскрыли)

Спасибо, Андрей, чет интервью оказывается интересная штука 🙂

Ага, особенно с интересными людьми, которые редко выходят в паблик)

keysso

Порекомендуй друзьям →

17 комментариев

  1. seoonly.ru

    Сервис однозначно крутой и достойный. Гроза и страшный сон спайа)))

  2. DimaX

    Неожиданно, но прочитал с интересом. Надо будет посмотреть на досуге этот сервис, а то иначе я никогда до этих «ядер» не доберусь, ибо вручную это нереально нудная работа, от которой я, собственно, и сбежал лет 10 назад на вольные хлеба с должности «сео специалист»)))

  3. СОК

    Чё за хня. Купил базовый тариф, хотел пробивать сайты конкурентов.
    «Владелец этого идентификатора очень помог нашему сервису, и в рамках наших договоренностей мы не можем показать сайты с данным идентификатором Google Adsense. Это единственный «особенный» идентификатор в нашей базе и других не предвидится.»

    Я понимаю что это Роман Пузат. Вопрос за что я плачу?!

    И есть ли альтернативные сервисы поиска сайтов по id adsense?

  4. Клад

    Самое главное, чтобы их роботы сайт не заебывали при сборе базы. Нагрузка не заметна, когда сайт маленький… А так при скане логов этой шушеры столько, хоть блокируй всех подряд.

  5. Дмитрий

    СОК, понимаю, что такой вариант многим покажется не оч симпатичным, но между тем, договоренности с Романом были заключены и я не в праве их нарушать.

    Если Вы считаете, что сокрытие информации о 215 из 23 271 742 сайтов (точнее, информации о том, что эти 215 сайтов тесно связаны между собой) является существенным недостатком сервиса — напишите нам в саппорт (support@keys.so) и мы найдем компромиссное решение. Такой идентификатор действительно один, все предложения скрыть данные пусть и на платной основе мы отвергаем.

    Клад, мы делаем все, чтоб наша шушера не была заметна в ваших логах — маскируемся под юзеров, качаем скрипты и картинки, но делаем все довольно аккуратно, не более 1 потока на IP, таймауты между запросами к страницам и в

  6. Клад

    Дмитрий, извини, если обидел «шушерой», часто на своих сайтах встречаю ботов, которым похеру на сканируемые сайты и их работоспособность. У них в приоритете собрать инфу и ключи. Если у вас с этим норм, то вы молодцы!

  7. Дмитрий

    Клад, все норм, никаких обид ShusheraBot — скоро во всех логах рунета)

    А ключи мы собираем не с сайтов. Мы взяли одну из лучших баз рунета объемом в 1.5млрд ключей, выбрали из нее топ 150млн ключей по частотности, проверили всему выбранному годовые частотности и удалили все мелкое, собрали в кучки все нечеткие дубли и выбрали из каждой кучки только одну, наиболее вероятную форму, удалили все лишнее, оставшемуся взяли в планировщике Директа ставки клики и прогнозы CTR. Получили отборные 76 097 218 фраз и спросили каждую в Яндексе, сохранили, посчитали результаты, показываем в keys.so, повторили тоже самое для других регионов, скоро дойдем до google.

    Две самые важные штуки забыл!
    Первое: 10 промокодов на 25% скидки:
    92395152972933
    09066258069677
    62003865698917
    51712192677334
    50788334202263
    39140065628968
    83956197109721
    08897343511097
    08159929905112
    92865289299069

    Второе: С радостью обменяем месячный доступ к keys.so на обзор сервиса у вас в блоге. Мы не просим дифирамбов и восхвалений — только объективный обзор, строго по делу, мы за честность. На все обзоры будет ссылка из готовящегося к публикации раздела, крутые обзоры попадут на главную. Если заинтересовало — велкам info@keys.so

  8. Spryt

    DimaX, угу) Но мне было больше интересен не сам сервис, а то, что кто-то успешно зарабатывает на SaaS в рунете, в сео, за полгода.

    И есть ли альтернативные сервисы поиска сайтов по id adsense?

    http://spyonweb.com

    Еще какой-то сервис был.

  9. СОК

    http://spyonweb.com
    Еще какой-то сервис был.

    Не работает сайт. У Семраша был еще давно, но почему-то убрали.

  10. modesco

    Наконец-то Дима вышел в паблик!
    Keys.so мощь! Недавно активно тестили его. У проекта великое будущее

  11. Егор

    Дмитрий, а что вы имеете ввиду, говоря про обзор? Допустим у меня нет блога манимейкерской тематики, но потестить месяцок бесплаьно хочется и обзор даже готов написать. В таком случае что делать?

  12. GG

    Хорошее интервью получилось. Продолжай в том же духе. Главное выбирать персон, которые «известные в узких кругах». Дмитрию спасибо за отличный сервис. Сижу на платном тарифе уже почти полгода.

  13. morixx

    Лучший сервис сбора ключей в рунете. Однозначно)

  14. 123

    У проекта великое будущее

    плачевное будущее, вместе с контентниками и загнется

  15. Арсений

    А какие есть сервисы сбора выдачи, наличия в индексе и позиции сайта по ключевику?

  16. Жека

    Спрут, разбань меня в чане)

  17. BigSnake

    Читал интервью с интресом =), сам пользуюсь данным сервисом, все классно.

Комментарий:

Андрей «Spryt» Гиацинтов (VK)
Email: me@spryt.ru

Путешествия:

Сейчас: Самара, Россия
Посещенные страны:
открыть все | закрыть все

Посмотреть на Google.Maps

Как дешево путешествовать по Азии

Как найти идею для сайта

Я зарабатываю:

Рубрики:

Итоги(129) Я(57) Блоггинг(48) Таиланд(44) Заработок(35) Философия(35) Бред(34) Путешествия(32) Georgy(21) Сателлиты(17) Малайзия(16) Колумбия(15) SEO(14) Непал(13) Мои проекты(11) вебдев(11) Чианг Май(10) Филиппины(8) Индонезия(8) Бангкок(7) Ява(7) Шри-Ланка(7) Домены(6) Краби(6) Борнео(6) Эквадор(6) скрипты(5) Паттайя(5) Лаос(5) Самуи(5) Камбоджа(5) Кордильеры(4) Каталоги(3) Обзоры блогов(3) Буржунет(3) Cameron Highlands(3) Вокруг Аннапурны(3) Покхара(3) Helambu trek(3) Гонконг(3) Велотрип(3) Вьетнам(3) Россия(3) Гаджеты(2) Бредовые идеи(2) Визы(2) Куала-Лумпур(2) Катманду(2) Сингапур(2) деревня(2)

Архив:

Поиск по блогу:

SEO анализ сайта:

Версия для компьютера | Переключить на мобильную версию