Конференции — странная штука. Вроде бы ходишь, отвечаешь на вопросы по своим проектам и планам, слушаешь что и как другие собираются делать, знакомишься и развиртуализируешься — в общем, весело проводишь время, в чем тут продуктивность — непонятно =) А потом приходишь домой, поспишь, мозг всю инфу дообработает — и бинго! К примеру, у меня планы были прям очень размытые, по многим направлениям, и чоткого-чоткого не было. Но я раз 15 отвечал о том, что вижу перспективу в бурж дорах (хотя сам же до этого считал, что слишком геморно их создавать), прослушал несколько докладов и личных впечатлениях от подобной работой, что уже сам начал задумываться — схерали я их не делаю оптом, а пытаюсь какие-то другие пилить.
Лирическое отступление — опять же, слушая доклады и восстанавливая старые истории, начал приходить к выводу — что вся соль в масштабировании. Создать 100 мелких проектов, каждый из которых в среднем что-то приносит, и получить профит — куда эффективней, чем создать ручками один проект и надеятся. И вся соль именно в автоматизации, делегирование, выстраивании процессов и т.д., и ниша тут вообще побоку. И очень многие топчики занимались именно этим — создавали сотнями статейники, покупали сотнями сайты, делали сотни-тысячи доров, и т.д — и уже потом переходили к крупным проектам. Тот, кто сделал 5-10 малостраничников и успокоился — заработали свои 50-100к рублей и все. Тот, кто сделал 300-500 малостраничников, пусть даже в среднем менее доходные — получили куда более существенный профит. И опять, ключевая способность — это делегирование, ибо ручками в одно лицо делать в случае масштабной работы — нереально, и быстро выгораешь (кто пробовал — тот знает). Оно может и не взлететь, разумеется — но если ничего не делать, то оно гарантированно не взлетит. Ну и не обязательно это именно 100 проектов — это может быть просто 10.000 статей например. И не обязательно серые проекты — белые тоже. Конец лирического отступления.
Так вот. Подумал я над всем этим, и решил — надо бы хоть небольшую сеточку сделать, а то несолидно как-то) Рабочий пример есть, через три месяца 100 уников в сутки, через полгода — 1к уников (дальше пока стопорится), доход $1 с килоуника в адсенсе, еще какую-то копеечку думаю с пушей можно будет получить. Емкость ниши — еще внукам хватит. Яндекса с его придирками нет, РКНа нет. Только Google, DMCA и баны в адсенсе =) 10 — несолидно, можно и ручками сделать, 1.000 — слишком много и затратно (одни домены сколько стоят..), а вот 100 в самый раз. Тут с одной стороны и затраты терпимые (не разорят, если все зафакапится), и профит в случае успеха ощутимый.
А что у нас там с рискам?
Блокировка монетизации через адсенс — но остаются пуши, а раз доры — то и всякие попапы-кликандеры накрайняк
Баны от гугла — гарантированно придут (это ж доры), но по факту аналогичные сайты живут годами
Не будет трафа — ну сорян, бывает, вернемся на завод =)
Абузы — DMCA достаточно мягко работает, регистратор-хостинг — абузоустойчивые
Заблокируют core-функционал — пока что предпосылок нет, и есть альтернативы с более низким качеством
Но есть разумеется и подводные камни, иначе этим бы занимался каждый, не правда ли =) В отличие от малостраничников, которые делаются копирайтерами и с текстовым контентом, и дорами, которые генерятся на автомате доргенами — здесь все несколько сложнее. На первые доры у меня ушло недели эдак две на то, чтобы все отладить и сгенерить сайты. И если по затратам каждый дор будет стоить несколько часов работы программиста — то он никогда не окупится.
Решение — раздробление задач и написание ПО, которое позволит просто толковому человеку (не программисту) создавать подобные сайты, а уж бекенд будет всю тяжелую работу делать. Ну и выкладывать сайт — тоже любой вебмастер справится по чек-листу. Опять же, написание такого ПО для создания 10 сайтов — нерентабельно. Для 100 сайтов — было бы нерентабельно, если бы я делегировал кодинг (а может и нет, но это однозначно затянет сроки, а этого бы не хотелось). Но оправданно, если я сам под себя напишу, отлажу, сгенерю первые 10 сайтов, пропишу все инструкции — и дальше уже просто подкидывать людей в систему, чтобы они делали что 30 сайтов в месяц, что 30 сайтов в день.
Сначала я прикинул, что стоимость сайта обойдется примерно в $100, плюс домен, и такую оборотку я не вывезу, надо будет искать инвестора/кредиты, и прочие сложности (оно конечно интересно всем этим заниматься, но это отдаляет от результата). Но потом подумал, что каждая дополнительная неделя кодинга будет уменьшать данную сумму вдвое, упрощая процесс (совсем его автоматизировать можно, но тогда качество сайтов существенно упадет). По ходу работ конечно видно будет, но мне кажется будет вполне реально уменьшить затраты до $30 на сайт вместе с доменом, что позволяет делать их на свои с достаточной скоростью. Тут в плюс еще и то, что достаточно много кода я уже сам написал, и мне проще будет разобраться.
Итого — месяц кодинга, месяц отладки и создания 10 доров самому с написанием инструкций, 3 месяца по 30 доров в месяц, и месяц на всякий случай. К сентябрю сеточка должна быть закончена, а так же будет видно, начали ли первые сайты давать первый траф — и надо либо останавливать конвейер, или дальше пилить/увеличивать обороты.
Расчеты профита простые — через полгода 1к уников на сайте, с монетизацией $1 с килоуника, 100 сайтов * 1к * 1$ = $100/день. Если мои влажные фантазии не оправдаются и на всю катушку сработает один из рисков — то я потеряю месяц на кодинг, и около $3.000 — то есть ниочем, я на кодеропроектах и неудачных покупках сайтов просрал гораздо больше. При этом ROI будет 100% в месяц (три раза ха) — то есть даже если я в 10 раз переоцениваю эффективность, все равно это будет выгодно. Зато научусь делегировать подобные задачи, управляться с сотней сайтов (сейчас у меня их всего 30 — и я только сейчас узнал с доклада Шакина, что есть сервисы для управления WP-сайтами с одного дашборда), какие тут возникают проблемы, как их можно решать, какой продукт можно для этого запилить и т.д. Если оправдаются — то получаем хороший буст по заработку, раскочегариваем конвейер на 1.000 сайтов, начинаем приторговывать сайтами на телдери, продаем софт, пилим инфокурс, отращиваем ЧСВ, рассказываем на серьезных щщах про успешный успех — ну то есть все как всегда =)
Тут можно было бы написать чуть подробней, что за ниша и какие тонкости — но нафига?) Я же не продаю все это кому-то и не завлекаю в нишу, её и так уже пара человек пылесосят и продают обучение с софтом. Отчетики как всегда в итогах месяца, кому интересно — можете до августа 2018-го промотать, когда я начал ими заниматься.
Наверное, один из самых мощных катализаторов роста дохода этого года для меня — въезжание в тему повышения RPM адсенса на сайте (доход на тысячу посетителей). В этом посте — небольшой обзор общих принципов, с помощью которых можно это осуществить.
1. Трафик
Это самое важное. Нет смысла активно работать над сайтом с 100 униками в день, или даже с 500, за редким случаем очень денежных тематик. На тесты будет уходить много времени, и даже если вы увеличите дохода в два раза — в абсолютных цифрах это будет все равно копейки. Поэтому сначала нужно научится как-то добывать трафик.
2. Конкуренты
Идите в серп и найдите десяток ваших конкурентов, и проанализируйте, как именно они размещают рекламу и какую. Запомните их методы. Зачастую их тип размещения появился после многократного тестирования, так что будет хорошей экономией времени ознакомится с ним.
Анализируйте лоты с Телдери, если у вас проф.статус и рейтинг 30+ — большая часть урлов открыта. Иногда продавцы присылают и срез по блокам, но это в основном уже покупателям. Очень много инсайтов по реально доходным вещам я узнал именно с лотов на телдери (которые при этом иногда даже не доходили до продажи), поэтому дважды подумайте, прежде чем продавать хороший сайт)) По тематикам сайтов — аналогично.
3. Сплиттесты
Базовый инструмент. Как узнать, какой блок прибыльней? Показывайте половине аудитории один блок, половине — другой. Да, одновременно — ошибкой будет неделю показывать один вариант и неделю другой. Если разница между вариантам существенна — то можно быстро заканчивать тест (но набрать минимум 10к показов), но чаще всего разница недостаточно существенная, и требуется более продолжительное тестирование. Иногда разница в платформах — на мобилках больше дохода приносит один блок, на десктопах — другой.
Как проводить сплиттесты? Можно ручками php-кодом, можно плагинами, можно сервисами типа RealBig — как удобней.
Сплиттест уже блоков не помогает? Тестируйте целиком лейауты, то есть все блоки на сайте.
4. Настройка аккаунта
После всего вышеперечисленного можно попробовать немного выжать из настроек. К примеру, включить/выключить деликатные категории, отключить категории, у которых много показов но мало дохода, менять цветовые гаммы у объявлений (делая их более контрастными, или наоборот, неотличимыми от сайта). Все это можно делать с помощью раздела экспериментов в адсенсе. Эффективность как правило не очень высокая (+5-10%), хотя иногда бывают хорошие продвижки.
Сюда же относится блокирование объявлений, но я в это не верю — невозможно заблокировать весь спам, разве что каждый день сидеть и чистить. А вот блокировка по урлам рекламодателей — уже интересней, но тут слишком много тонкостей)
5. Живой опыт
Не забывайте заходить на свой сайт — и с компьютера, и с телефона (обязательно!). Как выглядят рекламные блоки, не заезжают ли за экран, что там рекламируется, правильные ли отступы? Возможно, что адаптивный блок ограничен по размеру, и поэтому не может подгрузить самые доходные размеры блоков — значит нужно захардкодить через css больший размер. Может есть места на сайте, куда блок так и просится, но его там нет? Или наоборот, на сайте так много рекламы, что внимание пользователя распыляется.
6. Ограничения
Поисковые системы как правило лояльно относятся к контекстной рекламе. Но сам адсенс все же имеет ограничения, с которыми стоит ознакомится и регулярно перечитывать. К примеру, нельзя первый экран в мобилках закрывать баннером, или фиксировать объявление в сайдбаре, вводить пользователя в заблуждение. К счастью, саппорт гугла достаточно ленивый, в случай нарушения — достаточно его исправить и подать аппеляцию.
Аналогично с вниманием пользователя. Вы не заработаете, если будете размещать один крохотный баннер в подвале сайта. При этом мнение, что закладочная аудитория откажется от сайта из-за обилия рекламы — как правило ошибочно, популярные сайты наоборот часто жестят с рекламой, при этом удерживая внимание пользователей. Адблок так же уравнивает потребности.
————
Оптимизация никогда не останавливается. Сегодня наибольший доход приносят одни блоки, через год — другие. Рекламодатели постоянно подстраиваются под свою аудиторию, и гугл в этом помогает. Большая часть разных опытов и тестов оказывается неудачной, либо не играющей большой роли. Но даже в этом случае лучше прибавлять по 5% RPM каждый месяц, чем стоять на месте или падать. Хотя для неокорых сайтов я забиваю на всё это, и не меняю блоки годами =)
Так же стоит отметить, что для каждого сайта ситуация индивидуальна. Некоторые паттерны легко накладываются и переносятся, другие — нет. То что на одном сайте показывает хороший доход — на другом приносит копейки. Сайты могут быть в одной и той же тематике и с одинаковым шаблоном, но под совершенно разную аудиторию (к примеру, дети или их родители), что дает колоссальную разницу в доходе.
Иногда бывает, что всего лишь маленький нюанс в размещении блоков приводит к удвоению RPM или увеличению CTR до 20%:
Но именно поэтому важно иметь достаточно трафика — какой профит от работы по увеличению дохода сайт с 10$ в месяц? Дополнительные 10$, horray! Гораздо интересней вдвое увеличить доход от сайта, который уже приносит $300. Чем больше трафика на сайте, тем больше дохода принесут даже небольшое увеличение RPM на 5-10%.
Всем больших доходов!)
PS. Если у вас сайт с 3000+ уников в сутки, и вы готовы предоставить полный доступ (статы, адсенс, шаблон сайта) — могу поработать над увеличением его дохода. Работаю не со всеми сайтами (не со статейниками точно), стоимость работ — двухмесячная дельта.
В прошлом посте про долгосрочные планы многие продолжали указывать на недооценку рисков, дескать именно это погубит весь план работы на три года. Многие вспоминали сапу, фильтры яндекса, увеличивающуюся конкуренцию, некоторые предрекали вообще смерть сайтам/интернету. Попробуем разобраться, какие риски реальны, и как добиться их уменьшения.
UPDATE. Понял, что замахнулся на слишком обширную тему, поэтому в этом посте только риски полного падения посещаемости
Сразу отмечу, что курсы по управлению рисками в бизнесе не проходил, со страховщиками плотно не общался, все ниже написанное — лишь моё личное мнение и наблюдения.
«Глупость — это делать одно и то же раз за разом, ожидая разного результата» (с)
В контексте оценки рисков все состоит с точности до наоборот — чем чаще и дольше мы наблюдаем явление, тем большая у него вероятность снова повториться. Какова вероятность того, что завтра взойдет солнце? (с точки зрения наблюдателя на планете) Она не равна единице, но и учитывать данные риски при планирование выходных — не очень умная затея. Зато с погодой — все наоборот, тут точность прогнозов колеблется очень сильно.
Вернемся к сайтам. Чем дольше существует сайт — тем с большей вероятностью он продолжит существовать и иметь тот же трафик. Вы когда-нибудь видели говносайт, который приносит существенно много трафика (тысячи уников в день), и при этом живет достаточно долго (больше 3-х лет)? Такое происходит достаточно редко, так как кроме алгоритмов ПС учитывают и поведенческие факторы, и ручных асессоров, хотя какое-то время такие сайт живут. Таким образом сайт, которому 5 лет, и который дает условные 3000 уников в день — скорее всего еще несколько лет продолжит их давать (только если это не какой-то событийный трафик, или сайт приносит трафик только при активной работе).
Инерция тут чудовищна. Сайты могут постепенно угасать годами и десятилетиями, и в выдаче до сих пор живы сайты 10-летней давности и старше, с какой-то универсальной информацией (справочники и учебные данные, не устаревающая информация, полностью раскрытая). Да, конечно, они постепенно теряют аудиторию, конкуренты не спят, но это заведомо долгий процесс. Именно поэтому я предпочту сайты, которые имеет стабильные полторы тысячи уников уже несколько лет, распределенную между гуглом и яндексом, чем сайт, который поднялся до 3000 уников в прошлом месяце с яндекса.
Факт номер один: чем выше возраст сайта, тем меньше рисков, что он внезапно утратит трафик
Пройдусь по своим сайтам, по падению посещаемости:
10 лет — 5 — 3 — 5 — 8 — 6 — 9 — 11 — 6 — 9 лет
Средний возраст сайта — 7.2 года (кстати, в этом списке нет блога, он не особо посещаем). Кроме одного достаточно молодого сайта (и недавно появился еще один двухлетний) — все остальные имеют достаточную историю. Разумеется, риски для молодых сайтов выше, я держу это в уме.
Тактика покупки сайтов отличается от создания сайтов с нуля тем, что вы не только сразу получаете результат, но и тому, что сайты уже имеют возраст, и уже прошли начальную высокорисковую стадию, во время которой очень многие сайты прогорают. Разумеется, сайты надо подбирать соответствующие этим критериям, а не просто скупать все, что продают.
Подкрепляем реальными цифрами
А как же фильтры, спросите вы? Ну что ж, достаем из широких штанин анализатор трафика, и погнали. Возьмем данные 1.019.620 сайта из liarchive, собранную в июне 2017, и сравним её с показателями июня 2016 (учитывая баден баден). Мы ограничим посещаемость от 100 уников в день, и сравним только сайты, по которым есть данные в обоих месяцах — таковых окажется 81.548 сайтов, достаточно большая выборка. Что мы узнаем, сравнив изменение посещаемости за год?
38% сайтов увеличили свою посещаемость (10% — более чем в два раза)
31% сайтов удержали свою посещаемость в диапазоне 70-100% от годовой давности
17% — в диапазоне 50-70%
11% — в диапазоне 20-50%
2% сайтов упали в пять и более раз (меньше 20%)
Замечу, что это выборка лишь по данным LiveInternet, в базе могут быть неточности и левые сайты, и этот способ не учитывает возраст сайтов — только то, что год назад они набрали как минимум 100 уников в день. И все же согласно ней у среднего сайта 70% вероятность того, что ничего плохого с ним за год не случится — потеря трети посещаемости не является чем-то из ряда вон выходящим, это бизнес. Более того, возможно сайты вырастут, и это наиболее вероятный исход.
17% — это вероятность того, что вы накосячили с сайтом, и за год он растерял треть-половину аудитории, и 11% — больше половины или в три раза. Это, однако, тоже не смертельно, в два раза упал доход, но не пропал.
И лишь 2% — что вы совсем потеряете сайт. Чтобы понять, насколько это много, представьте, что вы купили 50 сайтов, каждый от 100 уников в день, самых разных тематик (в том числе какой-нибудь адалт, которые так же есть в выборке, и варез, и укоз), самых разных типов, и через год вы потеряете ровно один сайт. Станете ли вы беспокоится о таких рисках перед началом работы? Вероятность того, что вы совсем потеряете посещаемость на сайте, в 5 раз меньше вероятности того, что вы увеличите её в два и более раз за год.
Кстати, изначально я сделал такую же выборку по 18 тысячам сайтов январь 2016 — январь 2017 (у меня уже были эти базы, пока новые генерировались), и с выборкой сайтов с более 1000 уников в день. Цифры сходятся до погрешности в 1-2%. Сайтов, которые упали с 1000 уников совсем до нуля (не учитывая ограничение в 100 уников), по новой базе насчиталось аж 14%, но это так же многочисленные дропы, дорвеи, порносайты или просто удаление счетчика. Вряд ли кто-то станет удалять нормальный сайт.
Могут ли сайты хорошо упасть по посещаемости? Да, могут. Особенно новостные (перестают накачивать траф), порно, кино и прочий варез. Например, оцените такие сайты, как moevideo.net, politrussia.com или 1001eda.com. Бывает, что совсем сносит ПС траф — а иногда это просто ошибочные данные, как например у анекдотов.нет — по LI гроб, а не деле просто счетчик не на всех страницах, у майлру нормальные данные. Часто перегиб с монетизацией — когда в ход идет кликандер, вап-подписки или инсталлы.
И раз уж я показал сильно упавшие сайты, почему бы не привести и обратную сторону? Например, oppps.ru, infopedia.su и mysekret.ru. И я молчу про эпик вроде russian7.ru (статы открыты, раскачали за год с 30к уников до 400к уников в день).
Факт номер два: реальный риск полной потери посещаемости сайта очень низкий
Один раз достигнув какого-то уровня и закрепившись, сайт может держаться на нем годами. 86% вероятность, что посещаемость вырастет, либо упадет максимум в два раза за каждый год. Вы куда вероятней сохраните и увеличите посещаемость, чем потеряете её. Что конечно не отменяет частных случаев.
Суммируя:
Чем старше сайт, тем лучше (3 года — минимум)
Легальные сайты стабильней
Нельзя жестить с рекламой
Вовремя замечайте тенденции и адаптируйтесь (если ваш сайт неудобно читать с телефона — то вы будете терять эту часть аудитории)
Сильный перекос в сторону одной из ПС — больше рисков
Наличие закладочного/брендового трафика — ощутимый плюс
Если каждый покупаемый/создаваемый сайт рассматривать с позиции «будет ли он актуален через 3-5 лет?», удастся избежать очень многих ошибок, которые по цифрам кажутся привлекательными, а на деле — шлак, который выйдет из моды через 3 месяца, не успев окупится (как покемоны го).
Можно сколько угодно сетовать по поводу бана дорвеев или сеток однотипных сайтов, или десятках созданных сайтов, которые не могут набрать достаточную посещаемость, однако именно риск полной потери посещаемости для сайта весьма мал. Частичная — да, бывает, даже чаще чем рост, но это вполне вписывается в бизнес процессы.
В следующих постах поговорим о том, какие еще риски нависают над сайтами, и про главное оружие — диверсификацию, с помощью которой можно держать баланс между доходностью и этими рисками.
Почему-то благие идеи рекламы в блогосфере рано или поздно рушатся от дисбаланса или переходят в соседнее SEO-звено злоупотреблений) (ну или тихо умирают в безвестности, не решив проблему курицы и яйца =) Мне уже давно хотелось бы иметь под рукой сервис, с помощью которого можно было бы с одной стороны легко и ненапряжно проводить небольшие рекламные компании в блогах, и с другой — помогать новым интересным сервисам/проектам находить аудиторию. И наконец-то у меня дошли руки создать его самому — crowd.topsape.ru Заранее предупреждаю — сервис в глубокой бете, и текущий функционал существует больше для проверки востребованности данной идеи, чем на реальную продуктивную деятельность. Пока что это лишь скромненький помощник, а не реальный инструмент.
В чем суть? Я решил отойти от популярной схемы «нагнать на сервис блоггеров/вебмастеров, и дать рекламодателю выбирать» и работать с точностью до наоборот — собрать на сервисе предложения рекламодателей, а уже сами блоггеры могут выбрать что им приглянулось. В таком подходе есть и свои минусы, но мне он нравится куда больше — в рекламе в первую очередь заинтересован рекламодатель, а блоггеров обычно и так заваливают письмами с запросами на платные посты.
Плюс, конечно, тематическая направленность. В данный момент это только манимейкерская блогосфера — сайты, заработок, арбитраж и т.д. Все то, что собирается по аудитории тремя основными аггрегатороами и примерно 50-ю активными блогами в них.
Если у вас есть сервис/проект подобной тематики, и вам бы хотелось получить немного внимания от блогов — добро пожаловать) Вам нужно будет заполнить небольшую форму, в которых указать свои условия и контакты. Основной «товар» — это упоминания в блогах, постовые, минимальная цена на которые установлена в 100 рублей, максимальную указываете вы сами. Если мимопроходящий блоггер заинтересуется вашим объявлением — он так же через специальную форму укажет информацию о своем блоге и условиях, а сервис передаст его сообщение вам (и заявки на участия, и ответы блоггеров проходят модерацию). Можете сразу добавить мыло [email protected] в фильтры против спама, я пока не знаю, насколько хорошо он будет его проходить.
Что дальше делать с этими заявками — решать вам, в текущем варианте сервис умывает руки, вы сами договариваетесь и контролируете процесс установки ссылок и оплаты. Как я уже говорил — это пока что лишь помощник, а не инструмент, а уж в зависимости от востребованности будем двигаться дальше)
Блоггерам — еще проще, просто зайдите на главную, если нашли интересный сервис, которые не прочь пропиарить у себя в блоге — пишите через форму.
PS. Как всегда, использование инструмента определяется в первую очередь потребностями рынка. В таком формате можно собирать и бесплатные обзоры в обмен на плюшки, устраивать разборы полетов в комментариях и т.д. Посмотрим, к чему это приведет)
Смотрел я на лайт ридер, и думал — куда же еще можно применить внимание аудитории? И вспомнил старую идею про постовые для трафика, а не для ссылочного) На обмозговывание идеи ушли сутки, еще трое — на разработку (15-20 часов). Впервые начал делать проект с композером (свой микрофреймворк перестал устраивать, с Laravel разбираться не хотелось), подключил парочку упрощающих либ — PHRoute для роутинга, Plates как шаблонизатор, основной код котроллеров + вьюхи почти как раньше (только уже с автоподгрузкой классов). Сразу же сделал нормальную админку (обычно ленюсь), подключил Mailgun для рассылки транзакционных писем, jquery для разруливания ajax-запросов (в админке c data-параметрами. Обычно на чистом JS-е делал и onclick). Bootstrap для верстки всего — уже стандарт)
Изначально хотел делать сразу боевой сервис — с безопасными сделками, биллингом, внутренними сообщениями, платой за размещение объявления на сайте. Но вовремя одумался, и в итоге даже регистрацию отбросил, только «ленивое» запоминание данных (благо в случае чего можно быстро авторизировать пользователей через почту), и весь функционал по минимуму. Будет активность — можно будет дальше работать. Даже на такой маленький проект ушло 65кб кода и верстки, пусть и с дублированием — UI для людей требует кучи доп.проверок и кода, всякая машинерия с ботами и данными куда проще) Логику уведомлений на почту тоже пришлось делать с нуля, для мелкосервисов такой канал удержания приоритетен.
Упрощающих жизнь готовых библиотек много, но их еще надо найти и разобраться — если роутинг и шаблонизатор довольно быстро встали как влитые, то с другими пришлось повозится. CrudKit с большим трудом заработал, но вместо админки оказался совершенно неюзабельным. Очень много возни с генерацией и валидацией форм — в этот раз реализовал на стандартном HTML5 + filter_vars с флагами, но стоит попробовать Respect/Validation или GUMP. После написания понял, что хорошо так прокосячил с шаблонами для писем (нужно их сразу во вьюхи выделять), отказ от использования моделей тоже привел к большому дублированию mysql-PDO выборок. Но все равно неплохо иногда вот так с нуля делать минипроекты)
Нет, это не очередной мануал про установку Let’s encrypt сертификата — we need to go deeper)
В этом месяце я перевел на SSL + HTTP/2 три своих сайта, включая StoryFinder и IP-Calculator. Зачем? Потому что он есть у конкурентов, и потому что только так можно включить поддержу HTTP/2. Который в свою очередь увеличивает скорость загрузки сайтов для пользователей. Ну и мне просто нравится видеть зеленый значок рядом со своими сайтами, куда уже не воткнут рекламу провайдеры)
На стороне сервера
Начнем по порядку. Я сторонник платных сертификатов на 3 года, которые у GoGetSSL стоят аж $9,65 за все три года. Это на мой взгляд вполне адекватная цена, и без мороки с трехмесячными бесплатными сертификатами и их ограничениями. Зарегистрироваться, оплатить через вебмани, заполнить в CSR свои данные (и сохранить в отдельном файле .key ключ), подтвердить права на домен файлом, еще раз ввести свои данные — и через пару минут архив с сертификатом уже на почте.
У меня впски работают на nginx + php-fpm, без панели управления, поэтому я ставлю все вручную. В ISPmanager можно их загрузить из веб-интерфейса, в бегете — даже получить в один клик, как у остальных — не знаю. Так что изучаем справку у Comodo и заворачиваем cat-ом сертификат сайта и бандл с корневыми сертифкатами.
(это займет некоторое время, и нужно для усиления безопасности и прохождения SSL теста)
Теперь уже можно менять конфиг, но немного задержимся, чтобы поставить http2 и не возвращаться. Если у вас свежая система и nginx 1.10+ с —with-http_v2_module (проверяется с помощью команды nginx -V), то ничего делать не нужно. Если же нет — идем на оффсайт nginx, ставим репозитарии, и обновляем (возможно, придется побегать с бубном и удалить purge-м старую версию — забекапьте конфиги).
И затем уже для нужного сайта вносим в начало конфига что-то вроде:
Редирект с обычной http версии, работа через http2 (да, она включается так просто), и длинный непонятный список cipher-ов. Можно использовать другой список от weakdh, этот я взял с какой-то статьи на хабре. Дальше уже идет стандартные настройки для работы php.
Перезагружаем nginx, готово! Проверить можно на сайте SSL Labs.
Можно еще обновиться до PHP 7, это тоже ускорит сайты, но у меня слишком много старых сайтов =)
На стороне сайта
Если бы на этом настройка закончилась… Для того, чтобы сайт нормально работал через HTTPS, все свои скрипты и изображения он должен так же загружать через https. И если счетчики метрики и адсенс уже давно с универсальным урлом, то тот же LiveInternet на старых сайтах нужно будет обновить. Все подгружаемые js и css файлы должны вызываться с относительным адресом, либо протоколонезависимыми ( //site.ru/file.js например). Все ссылки так же нужно сменить на новые. Подгружаемые с других сайтов изображения, если сайт не поддерживает SSL, нужно загрузить к себе. Подгрузку изображений/шрифтов из файлов стилей так же нужно менять, если она жестко прописана. Ошибки Mixed Content проще всего отслеживать через консоль браузера в том же Chrome.
Современные CMS обычно в курсе таких перемен, менять придется только инфу в постах — автозаменой, есть такие плагины (а так же Really Simple SSL например для вордпресса). Но вот устаревшие или самопис — зависит от квалификации их написавшего. У меня все три сайта были на самописе, так что пришлось совсем немного поковыряться в шаблонах.
Еще один побочный эффект — при переходе с вашего сайта на «небезопасный» http сайт — будет затираться реферер, и в статистике не отобразится, откуда был переход («с закладок»). Лечится это довольно просто — нужно добавить блок head следующий код:
<meta name="referrer" content="origin">
Так же сбросятся к примеру счетчики репостов, привязанные к урлу страниц, иногда — плагин дискуса.
На стороне поисковых систем
Ничего. 301-й редирект вполне ясно дает понять, куда переехал сайт. В панелях вебмастера гугла ничего дополнительно не указывал, уже через пару дней урлы в серпе поменялись (в панельке тоже автоматом со временем меняются). В яндексе можно вручную поставить галочку «добавить https» в разделе «переезд сайта» — сам он долго соображает и не меняет в серпе протокол.
На трафике и позициях в первое время никаких изменений нет. Будут ли — большой вопрос, это не ключевой параметр, а лишь дополнительный. Но хуже от HTTPS точно не станет — учитывая, сколько шума наводит гугл. А так же благодаря HTTP/2 все изображения/стили/яваскрипты будут загружаться одновременно в одном соединении, что ускоряет загрузку сайтов (к слову, гугл включил его поддержку для своих сервисов, так же как вконтакте, википедия, твиттер и многие другие. Яндекс пока нет). Быстрее загрузка сайтов — лучше для пользователей, даже если это прирост всего на 10-30%. CSP для фильтрации левой рекламы так же становится не нужен.
Есть ли смысл переносить информационные сайты — а почему бы и нет? Ускорение загрузки лишним не будет. Благодаря SNI на одном IP адресе может быть сколько угодно https-сайтов. Хотя санкций скорее всего тоже не будет, ближайшие несколько лет точно.
PS. Все 8 ссылок в посте через HTTPS… Только у nginx нет явного редиректа, пришлось вручную проверить) Впрочем, большая часть айтишных сайтов, особенно связанная с безопасностью, работает через SSL. Сервисы и в рунете большей частью тоже на него перешли.
Я большой любитель разных сервисов для вебмастеров и сеошников (с точки зрения разработки и заработка на них), хотя и мало какими пользуюсь, кроме своих. Поэтому я не смог упустить шанс выведать подробную информацию у автора одного из таких сервисов (известного в узких кругах), да и добротное интервью куда лучше штампованного рекламного поста) Хотя такой формат и не слишком мне привычен. Начнем-с:
Привет! Расскажи кратко о себе — уверен, большинство вебмастеров слышали или пользуются твоим сервисом keys.so, но лишь немногие знают, кто именно за ним стоит. Ты когда-нибудь вел блог?
Привет, меня зовут Дмитрий, в сети уже очень давно (первый сервер на колокейшен был взят в 2004 году), но блога никогда не вел. 33 года, программист, живу в Санкт-Петербурге. Наверно кто-то может меня помнить по проекту Smile SEO Tools — была такая программа для регистрации в каталогах.
Чем ты зарабатываешь на жизнь, и как к этому пришел?
Я успел поработать программистом в штате, поиграть в игру «собственная веб-студия», потом нырнуть в историю с shareware, пройти по тропе «заработок на сапе» и теперь оказался в текущей позиции, когда у меня есть несколько информационных сайтов и сервис keys.so. Но сейчас я не один, я работаю со своими партнерами, с которыми делятся и сайты, и сервис.
Старая добрая сапа =) Как пришел к идее создании такого сервиса — ведь на тот момент (октябрь 2015-го, если не ошибаюсь?) уже были конкуренты — база пастухова, spywords, сервисы для гугла и т.д. Что вообще предшествовало его появлению?
Прослушав марафон Смарта (осенью 2013) и сделав первый сайт по его технологии, я очень захотел разобраться, насколько много ребят серьезно подходят к вопросу производства таких сайтов, каков у них процент успешных проектов, стоит ли в это ввязываться.
У меня была неплохая база подсказок, база ключей из метрики и еще из нескольких источников. Не придумал ничего умнее, чем спарсить все топы, найти список «всех сайтов рунета», просканировать их на предмет меток adsense, сгруппировать-померять-сделать выводы. Сделал, померял, порадовался. Убедился в том, что надо нырять в контентники и допилил keys.so до состояния, когда он мог решать наши с ребятами задачи по сбору и кластеризации семантических ядер. Издержки на всю эту историю не нулевые, поэтому конечно хотелось как-то завернуть все в упаковку и продать кому-то еще. Сначала это были несколько знакомых, потом первые «честные» продажи (не знакомым людям), следом — договорились с Романом Пузатом о включении слайда keys.so в его марафон. В день релиза этого урока у нас был аврал, и мы убедились, что надо все доводить до более серьезной степени проработки.
Хоть конкуренты и есть – spywords, prodvigator, advodka, но на деле они про другое. Самая большая база у spywords и там 23 млн ключевых слов (когда я начинал кейссо – у них было 12 кажется, у меня – 60, сейчас – 76млн). Наверно для каких-то целей такого объема хватает. Для хорошей проработки ядра контентного сайта или даже для действительно проработанной кампании в Директе – явно недостаточно. А всякие плюшки в виде поиска сайтов одного владельца были совершенно никем не реализованы в таком объеме.
В общем у меня не было сильных сомнений в необходимости – это был собственный рабочий инструмент, которым мы делали свои сайты и на старте keys.so задача была переложить стоимость содержания этого инструмента на чужие плечи.
Меня самого сильно интересуют подобные сервисы, но все же в первую очередь — финансовая эффективность. Одно дело — сервис для себя и для знакомых, и совсем другое — успешный коммерческий продукт. Если я правильно понял, ты сам полностью создал сервис, или нанимал людей для некоторых задач? И самый главный вопрос — сколько сейчас платящих подписчиков, примерно?
Сервис в первую очередь под себя, поэтому вопросы финансовой эффективности долго оставались на втором плане. Сейчас они по-прежнему на втором плане, но начинаем работать над популяризацией сервиса, пробуем себя в маркетинге. Пока количество подписчиков не велико — около 100.
Весь код в конечном итоге написан мною, дизайн на аутсорсе. Один из моих партнеров просто гуру настройки серверов и он здорово помог как в вопросе подбора железа, так и в тюнинге mysql, совместно решалась часть технологических задач. В общем оказалось, что данных действительно много и когда их так много — это становится серьезной проблемой.
Сейчас поддерживаешь связь со Смартом/Пузатом? У Смарта все так же живой форум и новый марафон на подходе (правда, на форуме они собирают складчину на 30+ человек — очевидный признак того, что для таких вебмастеров цены все же высоковаты).
С Алексеем Смартом общаемся, правда, преимущественно не про keys.so. Во время его визита в Питер встречались, замечательно провели время, думаю о поездке в Самару, но вечно отодвигается. С Романом общение происходило как-то в деловом русле, думаю следующая встреча состоится на Кинзе, но вряд ли это будет какое-то личное общение. Найдется ли место для keys.so в рамках новых марафонов ребят я не знаю, но буду очень рад, если инструмент сочтут достойным )
По поводу складчин мы не переживаем, сейчас главная цель – популяризация сервиса.
Про поиск сайтов одного владельца — такие сервисы были и есть, многие даже открытые, но сейчас у тебя действительно очень много плюшек, которых нигде нет — поиска по Moevideo/Leadia и прочем (не хватает тизернета/бодиклика еще). А ситуации, когда код размещается только на внутренних страницах, а не на главной — тоже пробивается? База часто переиндексируется? (большая проблема таких сервисов — устаревшая информация)
Так выглядит список сайтов с моим идентификатором адсенса на keys.so =)
Одно время модным способом сокрытия идентификатора было помещение его в отдельный js-файлик, например ads.js. большинство (точнее все сервисы, что видел я) такие ситуации разобрать не могли, роботы keys.so открывают все js, поэтому пробив сильно выше. И как ты правильно заметил — есть поиск и по другим сетям, список которых будет расширяться.
У keys.so есть три вида данных и все три имеют разную периодичность апдейтов:
Частотности и биды ключей – стараемся обновлять данные раз в три месяца. Пока правда еще не было случая, когда база осталась бы неизменной в течение трех месяцев, т.е. апдейты проходили чаще;
Результаты выдачи – декларируем срок годности 2 месяца, надеюсь будем управляться быстрее. Фактически же если сегодня данным по региону Москва три недели, то по региону Санкт-Петербург – одна неделя;
Результаты сканирования доменов – в очередь на пересканирование домен встает по истечению трех месяцев с момента последнего сканирования. Новые домены встают в начало очереди. При этом сканирование у нас не всегда полностью меняет данные. Если наш робот видел на сайте идентификатор Adsense, а при следующем сканировании никакого Pubid не нашлось – старый удален не будет в течение шести месяцев. С каждого сайта мы открываем до 20 страниц, на каждой странице – все встреченные js. Т.е. если код только на внутренних – у нас есть все шансы его найти. Но роботы у нас довольно нежные – один сайт в один поток с совсем огромными таймауатами.
Получается, у тебя сейчас основной заработок все таки с информационных сайтов, несмотря на весьма неплохие результаты по подписчикам?
Да, пока основной источник дохода – сайты.
«данных действительно много» — да уж, я как-то собирал базу сайтов для рунета, для сохранения статистики — это явно цветочки по сравнению с тем, что у тебя) Для ощущения масштаба — сколько сейчас весит база mysql? Расскажи пару слов про стек используемых технологий.
Когда база в последний раз была единой она весила примерно 700гб на один регион, это с индексами. Теперь она разбита на несколько сотен баз, данные денормированы, многое дублируется. В общем шардинг во все поля. Думаю, сейчас объем порядка 800 гб на один регион и около 1.4тб на 2 региона.
Все прям на удивление просто. PHP + Mysql. Даже не MariaDB, которую попробовали, но в результате решили остаться на основной ветке. На клиенте совсем чуточка AngularJS. В порыве страсти был подход к задаче с MongoDB в качестве основного хранилища, первая версия роботов была написана на C++, но в результате от всего этого отказались в пользу более прозрачной системы, пусть и чуть более примитивной местами. В прошлой версии сервиса, т.е. две-три недели назад, одним из основных технологических моментов было использование Sphinx. Классная штука, но даже ее ампутировали, переиграв всю схему хранения данных и не только не упав в производительности, но даже выиграв раза в полтора-два.
Чем был обоснован такй выбор тарифной сетки и её возможностей? Стартовый тариф уже стоит довольно ощутимо, но при этом обладает весьма скромными возможностям (только собирать с единичных сайтов запросы/страницы, без группового анализа и поиска сеток сайтов). Базовый тариф, даже с учетом опта, будет подъемен только для веб-студии или оборотистых вебмастеров. Понятно, что такой ценой можно отсеять новичков и сократить нагрузку на сервер, но ведь это по сути приводит к вторичному рынку — люди берут доступ в складчину, или предоставляет вторичные услуги (а-ля сбора СЯ/выборки из базы). При этом есть софт с похожим функционалом для кеев, но при этом бесплатные (!!) — http://www.bukvarix.com/ например. Или ты вообще никак не анализировал это, а просто взял тарифы из спайвордса и чуть-чуть изменил?
Тарифы – посмотрели на конкурентов, сделали чуть дешевле, при этом в рамках тарифа дали чуть больше. Т.е. у условного «конкурента №1» маленький тариф стоит 1980р и там 5000 строк отчета за эти деньги – значит у нас 1500 рублей и 20 000 строк отчета. Большой тариф – 5000р – значит у нас примерно столько же, ведь функционала у нас сильно больше – и групповые отчеты просто безумно клевые 🙂 и поиск сетей конкурентов.
Я себя считаю весьма компетентным человеком в вопросе построения семантического ядра, сборе запросов и тд. При этом я реально не знаю, как построить ядро используя только Букварикс, базы Пастухова, MOAB или любую другую подборку ключей. Мне кажется, что это невозможно. Дело не в том, что базы хорошие или плохие, дело в том, что ты не знаешь, что в них искать.
А в подходе, который проповедует спайвордс, продвигатор, адводка и keys.so все просто – делаешь сайт про парники – скорми системе сайт teplicnik.ru и через 10 минут ты получишь супер-ядро, в котором будут такие слова, о которых ты не догадывался.
Про стоимость тарифов – имхо ты с другой стороны на это смотришь. Я считаю, что минимум 50% успеха контентного проекта – это его ядро. С помощью кейссо на Базовом тарифе, за 1 месяц я смогу наделать себе ядер на год вперед, вот без преувеличения. Подготовить одно ядро займет 10 минут, ну может 20. Конечно, это без кластеризации, без выделения рубрик, но это будет исчерпывающий список запросов тематики. Если я собираюсь делать относительно большой сайт, пусть на 300 статей. Наверно в среднем по рынку, сейчас себестоимость статьи с «публикацией чужими руками» выйдет в районе 500 рублей. Пусть 333, для удобного счета 🙂 В таком случае, подготовка всего сайта обойдется грубо говоря в 100 000 рублей. Если так, то 1 месяц Базового тарифа keys.so составит менее 5% от стоимости финального сайта. А правильное ядро – залог хорошего результата. В общем я уверен, что цена хоть и не бросовая, но весьма адекватна.
Ты так говоришь, как будто собрать ядро через кейссо это совсем просто)
Да, мне кажется, что это действительно довольно несложно. Если хочешь — можем сейчас попробовать собрать ключи под сайт какой-либо темы. Называй тематику или сайт-конкурент.
Ну, например, для сайта сейчас уже не очень актуальной тематики — свободных путешествий/таиланда, конкурент — life-trip.ru
О, теперь понятней. Конкурентов для потенциальной покупки сайтов так искать куда проще) А как насчет гугла — они с яндексом все же на равных почти, у меня большинство сайтов имеют лучшие позиции в гугле, а не в яндексе. Не планируется его выдачу парсить?
Анализировать Гугл планируем, но это вопрос не сегодняшнего дня. Для информационных сайтов может быть доли двух поисковиков и соизмеримы, а для коммерции – Яндекс явно впереди. При этом мы сейчас пытаемся подстроиться под потребности контекстологов, а у них – непаханное поле – регионов в Яндексе много, адекватные данные (кроме кейссо) есть только для Москвы, хоть какие-то – еще для Питера. Сейчас выкатим десяток регионов, зададим новый тренд и уже следом можно будет переключиться на Гугл.
По поводу покупок сайтов – тут тоже кейссо может быть помощником – продавец рассказывает про перспективы роста, а ты видишь, что у сайта выраженных конкурентов нет, и 25% ключей дожаты в топ5 – роста ждать особо неоткуда. Говорят про «старый трастовый сайт» а все ключи глубже 10й позиции – наверно есть фильтры. Рассказывают про «первый сайт, хочу сделать новые» а у владельца 20 других площадок – может с этой что-то не то? Или предлагают слишком вкусную сделку и есть подозрения в мошенничестве, посмотри другие сайты, свяжись по контактам, указанным на них– вдруг предмет продажи угнали и пытаются быстро перепродать.
И базовый обзор сайтов доступен бесплатно, что тоже большой плюс (в том числе по предположению аудитории сайта, что иногда довольно сложно).
Ты говорил, что основной доход у тебя идет с информационных сайтов. Можешь немного описать свою «империю», стоит ли сюда соваться новичку? Ведь в том числе благодаря все более доступным инструментам и марафонам конкурентов становится всё больше, во многих тематиках очень горячо (со стороны). Как ты смог подняться? В паблике к сожалению довольно мало информации именно о серьезных вебмастерах, кроме буквально нескольких людей у всех на слуху.
У нас с партнерами все довольно скромно – порядка 30 сайтов, преимущественно строительной тематики. Почти все сайты сделаны с помощью keys.so – первые – с помощью маленького и слабенького внутреннего, последние – с помощью той версии, что в паблике.
Сейчас по моим наблюдениям рост сайтов стал более инерционным, если у новичка есть упорство и время – можно нырять, если хочется быстрых результатов, то вероятно лучше посмотреть в другие стороны. Я не думаю, что вход для новичков закрылся, но времена меняются и теперь надо больше требований предъявлять к качеству сайтов, к самому процессу их запуска.
Глядя на динамику развития сервиса (насколько я понял, в паблике он всего лишь полгода, а уже стам весьма востребован и прибылен) нет желания больше сосредоточится именно на создании сервисов/SaaS? Конечно, не будь изначально информационных сайтов и необходимости в ключах — не пришла бы в голову идея создать такой сервис. Но во все времена продавать лопаты было куда выгоднее, чем копать золото)
Да, конечно такие мысли крутятся. И если сейчас смотреть на мой рабочий день, то 75% энергии уходит в сторону keys.so, а сайты и остальное глубоко на вторых ролях. Сервисы – это красиво и клево, это работа с аудиторией, а не промывание тысяч уников в десятки кликов. Но технологически это сложнее. С сайтами все просто и понятно. Сделал, настроил, все. Дальше можно проплатить все домены-сервера, и уехать на два месяца, с сервисами так не получится. В общем пока сайты мне кажутся более предсказуемым и более стабильным видом деятельности.
Про лопаты – да, и у меня постоянно эта история в голове. Но что-то мне кажется, что в случае сайтостроения соотношение заработков другое. Да и основные продавцы лопат здесь – это не сервисы типа кейссо или мутагена, а биржи контента.
Сложнее, конечно, но на то мы и программисты)
Биржы контента конечно имеют большие обороты, но по чистому заработку сервисы с подпиской мало им уступают — даже имея аудиторию на порядки меньше. Саппорить несколько сотен знающих клиентов куда проще, чем тысячи исполнителей и заказчиков, зачастую неопытных.
Ты прав, чистых денег с бирж наверно не колоссальные количества, да и бирж то всего 4 грубо говоря (адвего, еткст, контентмонстр, турботекст), т.е. там видимо не разгуляться новичку) А саппорт — это мой персональный ад, как интроверту мне всегда хочется минимизировать общение с людьми.
Хм, можно наверное закругляться, и так объем приличный, и вроде бы интересные темы раскрыли)
Спасибо, Андрей, чет интервью оказывается интересная штука 🙂
Ага, особенно с интересными людьми, которые редко выходят в паблик)
Жизненный цикл сайтов — штука странная. Какие-то живут годами, набирая аудиторию, другие — в одночасье её лишаются и исчезают. Разумеется, вебмастерам хочется иметь сайты первого типа, которым не страшны изменения в алгоритмах ПС, которые стабильно приносят доход и не дают причин для волнений. В последнее время такой «тихой гаванью» стали считаться статейники, на которые очень многие переключились — как на создание с нуля, так и на скупку. Но что в долгосрочной перспективе?
Но сначала определим, что является характерными чертам статейников (да и, в целом, вообще говносайтов):
Источники трафика: только ПС (>90%), еще хуже — только одна ПС (Гугл или Яндекс)
Число просмотров на посетителя: меньше 1.5
Возвраты посетителей: меньше 20% («постоянная аудитория» в LI, сравните «новые» и «посетители за день»)
Нет никакой разницы, уникальный ли шаблон на сайте, поддерживает ли он адаптивность, насколько устарели данные, есть ли в статьях фотографии, уник или копипаст, и прочее. Главное — это именно поведение посетителей на сайте. В худшем приближении статейник представляет собой сайт на вордпрессе, с сотней-другой постов по какой-то тематике, без комментариев, у которого весь траф с ПС с преобладанием яндекса (70:30 с гуглом), числом просмотров на посетителя 1.3, и все посетители — новые (90-97%).
Да, эти сайты собирают трафик, посетители читают статьи, кликают на рекламу, приносят доход. Это вполне выгодное вложение. Но что дальше? А ничего. Каждый день создаются новые статейники, вбрасывая в сеть миллионы знаков очередного рерайта. Посетители даже не вспомнят ваш сайт, если он чуть сдвинется в серпе, а в случае каких-то санкций от ПС (за агрессивную монетизацию например) сайт фактически прекратит существование (как прекратили существование сателлиты под продажу ссылок). Вопрос не в том, произойдет ли это — а в том, когда это произойдет. Может, через год. Может, через три. А может и через месяц.
О, я уже слышу «пользователям нужны ответы на их вопросы». Да, разумеется. Но вы уверены, что статейники предоставляют лучший контент? В интересующей меня тематике ответы на все вопросы я получаю либо на сайтах с документацией (php.net, htmlbook.ru), либо на stackoverflow.com. Все чаще я натыкаюсь на wikihow.com — хотя он не так популярен в РФ. Прослойку экспертного контента занимают профессиональные ресурсы и блоги, где не место рерайту или копирайту, а курировать такие проекты вебмастеру — слишком накладно. Что остается? Разный треш в виде женских сайтов, кулинарии, стройки, медицины и т.д., в который с радостью бросаются неофиты. И даже в них уже есть жирные лидеры, обросшие лояльной аудиторией и доверием поисковиков.
Какой выход? Самому становится тематическим лидером, разумеется. А для этого придется вкладываться в сайт — причем не в статьи и числа на счетчике, как многим привычно, а в бренд, в технические дополнения, в социалки, всё по взрослому. Когда 30-50% посетителей — вернувшиеся (неважно, из ПС или из закладок). Когда сайт обрастает обратными трафовыми ссылками с форумов, которые оставляют сами пользователи. Когда вам выгодней продавать рекламу напрямую, а не через ПП.
Или же заниматься сервисами/платформами. Это еще более гиморней и затратней, но в итоге это дает большую автономность и масштабируемость. Более лучший сервис со временем перетягивает аудиторию на себя — как это случилось с пикабу, который относительно быстро обошел старую гвардию полуварезных развлекательных сайтов на DLE — с удобным функционалом, дизайном и редакторской политикой. В то время как тот же башорг, застряв в прошлом, продолжает терять аудиторию. Се ля ви.
Развлекалово не тянет? Пожалуйста, хабр и прочие продукты TM. Вопросы и ответы? Ответы.майл собирают 87м посетителей в месяц — это пятый по посещаемости сайт в рунете (согласно рейтингу LI). Популярный кулинарный сайт на 800к уников в день — кто пишет рецепты? Пользователи. Аггрегаторы (к примеру, цен на товары) тоже не особо страдают от недостатка посетителей. Фактически, если зайти в рейтинг LI и начать листать сайты — большая часть на первых страницах либо наполняется пользователям, либо сервисы/платформы, либо событийные.
Мы люди маленькие, нам достаточно и небольших сайтов — да, конечно. Различных тематик — сотни, постоянно появляются новые инфоповоды, гиганты не всегда это отслеживают. В одном рунете больше 15к сайтов с посещаемостью больше килоуника в день — так что почему бы и нет. Интернет он большой, в каких-то тематиках нет бОльшого размера аудитории, да и мало какие вебмастера мыслят в масштабах сотен тысяч посетителей (или хотя бы десятков).
И возвращаясь к теме статейников — если ваши сайты по профилю поведения пользователей не отличаются от дорвеев, как долго будет продолжаться праздник? Не задумывались, почему при очевидной простоте перехода на сайты под бурж (ключи/СЯ уже есть, работа ведется и так с фрилансерами-копирайтерами, просто заменить русскоязычных на англоязычных, или вообще засадить обычных переводчиков с филфака) все продолжают жрать кактус работать в рунете с копеечными ценами на клики? Ответ прост — потому что Яндекс позволяет вам это делать (обратите внимание на первый пункт — у многих статейников не просто весь траф с ПС, он еще и идет только с Яндекса), в отличие от гугла (с которыми по общему трафику в рунете разница небольшая — всего на 5% меньше, чем у яндекса). Рунет отстает от буржунета в SEO на 3-5 лет — считайте сами дальнейшие перспективы.
Такие дела. Не забывайте про диверсификацию.
PS. Для любителей аналитики — найдите самый популярный сайт в рунете, который будет соответствовать критериями статейника/говносайта выше) Для проверки можете использовать liarchive.ru — там данные и по посещаемости, и по просмотрам на посетителя, и по постоянной аудитории. Подсказка — это женский статейник на 80 килоуников, который их поднял за полгода (и с открытой статой). В основном всех срубает на 30-40к в день, тематики стандартные — женская, медицина, новости.
Я очень часто занимаюсь анализом сторонних сайтов (для покупки, рекламы, анализа ниш и т.д.), и очень часто счетчик LiveInternet есть, данные на счетчике показываются, но сами статы закрыты. Конечно, можно прикинуть примерную посещаемость (данные за 24 часа и за 31 день), но этого не всегда достаточно — могут быть спады в выходные, динамика может быть негативной, ну и вообще неудобно. Учитывая, что более чем 70% сайтов статы закрывают — становится грустно. Однако — сами цифры не счетчиках закрывают около 5% сайтов, поэтому появилась идея для сервиса, который каждый день будет собирать статистику за 24 часа для каждого сайта и сохранять её для анализа. Сказано — сделано:
Основная проблема возникла не с самого считывания стат, а с получением списка сайтов. В рейтинге LI участвует 700к сайтов — это всего лишь половина сайтов со счетчиком. Поэтому пришлось затариваться базами и проверять, проверять, проверять — базы ЯКа, DMOZ, топ 1м алексы, доноры сапы, все RU и SU домены (наиболее затянутое — пришлось чекать 5м доменов). В итоге удалось получить список из 1,094,925 сайтов с открытым счетчиком LI, для которых уже больше месяца и собираются данные. Все еще остается 400к неучтенных сайтов, но все же покрытие неплохое, и все более-менее посещаемые и публичные сайты в базу попали.
Кроме того, на основе этих данных я попытался рассчитать уровень «постоянной аудитории» для сайтов. Благодаря сервису мы имеем реальную среднюю посещаемость в день, а с публичных данных счетчика — число уникальных посетителей в месяц. Сравнивая их, мы получим число посетителей, которые посещают сайт регулярно (к примеру, посещаемость топсапы — 1000 уников в день, уникальных посетителей в месяц же только 16к. Из этих данных получается, что 500 человек заходит на сайт регулярно — что подтверждается данными на странице «постоянная аудитория», а так же по «числу новых посетителей»). Только все это доступно для любых сайтов с отображением статистики на счетчиках, поэтому не нужно гадать, что перед тобой — статейник по ПС или сервис с аудиторией.
Из технической информации — опрос счетчиков начинается в 10 вечера, и продолжается около полутора часов (250 сайтов в секунду). Работает на старом добром PHP, с использование библиотеки RollingCurl, в 20 потоков (можно выше, но впска не резиновая, незачем заваливать la). Графики на Google JS charts мегатормозные, серверных либ — совсем мизер, с отвратительным UI. Поэтому пришлось мучить уже deprecated Google Images Chart API, чтобы все работало быстро и было красиво. Сервис все еще в бете (не настроено регулярное добавление свежих сайтов и доменов, нет поддержки кирилических доменов), но предложения и сотрудничество приветствуется.
Второй вариант использования — это выборки сайтов по параметрам, но этот сервис в паблик скорее всего не выйдет. Так же как выборки посещаемости за более длительное время (когда они наберутся конечно). Се ля ви)
PS. Уже подумал, а стоит ли вообще делать сервис открытым.. Ведь чем больше людей о нем узнает — тем больше людей будет закрывать отображение статистики на счетчиках (я уже так давно делаю для нужных сайтов), не исключено и повышенное внимание со стороны самого LiveInternet. С другой стороны, многие сайты уже и так закрыли статы, а аудитория у блога не настолько большая, чтобы это как-то сильно повлияло. Пусть будет одним сервисом для анализа сайтов больше =)
Вы наверное замечали в статитике LI в графе «переходы на другие сайты» кучу непонятных доменов вроде x8k.ru, quick-searcher-sng-v2.com или *.xyz? Причем на сайте ничего такого нет и в помине, никаких вирусов, ничего. Откуда же они все берутся?
Все просто. Помните инсталлы, которые ушлые вебмастера забрасывают юзерам? С ними в систему устанавливаются многочисленные тулбары, малвари и даже целые браузеры. Вы же не думаете, что люди их написавшие просто так платят по 2500 рублей за 1000 установок их софта? Разумеется нет. Но если в открытую красть деньги со счета в сбербанке слишком палевно и подпадает под УК, то просто добавлять на посещаемых сайтах рекламу — совершенно безопасно. Конечно, их возможности ограничены, но они могут на любой сайт встроить свой js, который может делать что угодно — заменять ваш адсенс код тизерам, ставить попап с рекламой, кликандер, что угодно. Не забывайте — в LI лишь палятся те сайты, которые сами используют LI (что глупо). На моем сайте развлекательной тематики 10-30% юзеров оказались заражены такой фигней (на секундочку забудем, кто именно подсовывал им инсталлы).
Конечно, такой возможностью пользуются не только злоумышленники — есть и вполне «белые» плагины и расширения браузера, которые с помощью такого яваскрипта делают полезные вещи. Например, советник яндекса, или плагин от Evernote. Но в большинстве случаев это именно малвари. И, к сожаелению, SSL тут не спасет — половина этой малвари грузится через https, а внедрение происходит на уровне браузера.
В идеальном мире сами браузеры должны заниматся защитой пользователей (а грамотные пользователи не попадутся на такие вещи — поэтому на сайтах с более-менее продвинутой аудиторией такой проблемы нет). Но увы, разве что Яндекс.Браузер делает какие-то шаги. В некоторых случах поисковые системы даже накладывают санкции за такие вещи (впрочем, никогда с этим не сталкивался, лишь на основе сообщений на форумах) — особенно если это касается развлекательных сайтов с хорошей аудиторией. Но даже без этого часть пользователей ваших сайтов скорее всего видит не один аккуратненький баннер адсенса, а вакханалию из полурабочего сайта, заваленного шок-тизерам. Что напрямую влияет и на ваш собственный доход, и на отношение пользователей.
Но что же делать? Все просто — все таки данный софт действует в рамках браузерных ограничений, которые предписывают ему следовать кое-каким правилам. Если сайт указывает, что нельзя загружать любые js файлы, кроме как с собственного домена — то так оно и будет. Тоже самое касается изображений и стилей. Да, всего лишь) Называется данная технология Content Security Policy.
Первый пациент — это сервис с 5000 уников в сутки довольно развлекательной тематики. Каждый день 150 человек переходили на левые сайты через такие расширения (повторюсь, это только среди тех идиотов, которые использовали LI на своих TDS для перенаправления посетителей). С установкой CSP каждый день блокировалось 10.000 случаев подгрузки левых JS-файлов (во первых, каждый пользователь загружал несколько страниц, каждый раз вызывая блокировку. Во вторых, при просмотре одной странице к ней могли попытаться подгрузится 5-10 файлов — даже не знаю, как они решают конфиликты между собой, если каждый из них будет вешать кликандер =). Вот выборка самых популярных доменов за три дня:
Как видите, полный фарш — и Яндек.Советник (метабар), и маркетгид, и quick-searcher, даже google analytics подгружают (на сайте его нет). И это только вершина айсберга, еще часть скриптов грузится через data:base64 (они тоже блокируются, видны в таблице), и еще часть — инлайны, который увы не блокируются (если запретить — тот же адсенс не разместишь).
Но переходим к технической части. Для блокирвки всего этого хлама нужно, чтобы сайт отдавал браузеру заголовок «Content-Security-Policy» со списком настроек и разрешенных хостов. Например, вот так (разрешен адсенс, LI, метрика, VK/FB/Twitter), через PHP:
(ВНИМАНИЕ! Этот код указан в качестве примера, его работоспособность и безопасность никак не гарантируется. Более того, тут много лишнего, часть исключений дублируется и т.д. Я не спец, мне главное чтобы ехало)
Зачем одновременно http и https? Увы, некоторые браузеры не понимают разницы, и если написать только домен (стандарты это разрешают), загрузку через SSL блокируют (это хорошо видно в репортах). Вам же не хочется, чтобы у энного процента посетителей не грузился адсенс? Так же данный заголовок можно добавить через .htaccess, что-то вроде такого (максимально параноидальный — все загрузки вне самого домена блокируются, даже статистика не будет работать):
Headers set Content-Security-Policy "default-src 'self'"
Вообще, настройка правил — дело тонкое и слегка муторное. Для начала устанавливаете чистый заголовок (одним из методов выше) с «Content-Security-Policy-Report-Only«. Он предназначен для тестирования, и ничего не блокирует — зато в консоли бразуера (ФФ => Инструменты => Веб разработка => Веб консоль, Shift+Ctrl+K, в хроме аналогично) будет выдавать сообщение о каждом заблокированном ресурсе и какая именно директива нарушена. Добавляем в исключения, запускам опять, правим, и так пока все будет ОК. Очень муторно, учитывая что каждый норовит подгружать свои ресурсы из кучи источников, и нужно разрешение и для фреймов, и для скриптов, и для js. Но чем проще сайт и меньше используется сторонних инструментов — тем проще, на один из сайтов добавил только counter.yadro и всё) И наоборот, для сайтов с UGC-контентом часть придется разрешать на все домены (картинки например). Проверить, установлен ли заголовок, можно в тех же веб-инструментах, вкладка сеть.
После того, как настроили — убираете «-Report-Only», и вауля — все ненужное блокируется. Для собирания отчетов — добавляете еще «report-uri /csp.php» (это не обязательно, но желательно — для проверки, не накосячили ли где). Пример такого обработчика, а так же более подробное разъяснение разных директив — http://zabolotskikh.com/tips/content-security-policy/ [RU] (мой пост — лишь введение для новичков, полноценный FAQ выходит за рамки статьи), а всякие полезности и RFC — на http://www.cspplayground.com/ [EN].
А теперь самое главное — а какой же эффект от всего этого? Хотелось бы конечно сказать, как офигенно увеличился доход/CTR, но этого нет, пока что все в пределах статистической прогрешности. Пользователи тоже не стали от радости строчить хвалебные комменты. Переходы на левые сайты конечно полностью пропали, но профита от этого не прибавилось.
Тем не менее, один неожиданный эффект все же проявился — трафик с яндекса за три дня увеличился вдвое, на +500 уников в сутки. Мне кажется, тут дело в том, что на сайте установлена метрика, а левые скрипты подгружали в том числе маркетгид и другую нехорошую рекламу. Исчезла реклама — Яндекс убрал фильтры. Возможно, это просто совпадение с недавним АПом, может это краткосрочное явление — кто его знает) В конце месяца узнаем. На двух других сайтах изменений нет (но там и трафика куда меньше, и нет дисбаланса гугла и яндекса). Но все же если у вас сайт с 5к+ уников в сутки, а число переходов на левые сайты зашкаливает — попробуйте использовать CSP. Хуже от этого точно не будет (если правильно настроите и не заблочите что-то важное), а пользователям будет удобней пользоваться сайтом.
PS. Есть мысль сделать под это дело сервис (автоматическая генерация CSP под нужды пользователя, галочкам напротив установленных скриптов — адсенс/метрика/LI), но решил пока ограничится вводным постом. Во первых, мне еще курить и курить RFC, чтобы понять и найти оптимальные решения, а во вторых — неясно, востребовано ли это. Топик на серче хоть и активен, но в основном единичные энтузиасты, у некоторых весьма хорошие результаты (там же можно найти примеры кода), а сами сайты из категории 30-50к уников в сутки и выше. Сам я про CSP уже давно слышал, но руки дошли прикрутить только сейчас. Если эффект для яндекса подтвердится — буду ставить на все сайты по умолчанию (хотя, например, на блоге или топсапы это почти бесполезно — мало кто будет работать в интернете с расширениями, мешающими этой работе).
Впервые с убунтой я познакомился еще с версии 7.10 (2007-й год соответственно), потихоньку ковырялся и пробовал другие дистрибутивы линукса (и даже фряху и солярку), а затем и совсем пересел с винды. Сейчас уже лет пять как основная и единственная ОСь — убунту, даже в дуалбуте ничего нет, а последняя используемая винда — XP. Когда-то давно я уже писал подобный пост, однако с тех пор много воды утекло) Рабочий стол выглядит вот так уже много лет:
Ubuntu 12.04 + Gnome + Unity. Док внизу — Cairo Dock, незаменимая вещь (unity в этом плане — УГ). Стандартный набор софта — Firefox, Sublime Text, FileZilla, Skype, Rescue time, всё кроссплатформенное.
Но есть кое-какие коррективы.. Во первых, кипер вебмани. Мини версии (mini.webmoney.ru) и enum-авторизации хватает для большинства задач, но не для всех (у мини версии ограничения — например, только один кошелек каждой валюты). Поэтому приходится держать виртуальную машину на Virtualbox с виндой исключительно для кипера (впрочем, это так же удобно для безопасности и переноса ключей — можно просто таскать на флешке весь виртуальный хард).
Во вторых, фото. Для обработки фотографий я использую GIMP, для каталогизации и экспорта из камеры — Shotwell. Обе они конечено очень далеко по функционалу от Adobe Lightroom, но для не слишком тонкой работы вполне годятся (а мне только оно и нужно — поправить баланс белого, повысить резкость, усилить цвета, кадрировать и уменьшить). Однако нормальных редакторов raw-файлов под линуксом можно сказать что нет. Они есть, но они жутко неудобные и тормозные, либо платные. В итоге я просто перестал снимать в raw (все равно флешка на камере маленькая), и до сих пор снимаю в JPG =) Не то чтобы оптимальное решение, но для меня этот вопрос не так критичен.
Но плюсы конечно перешивают минусы. А самое главное — это десятки мелочей. К примеру — кто бы знал, насколько удобней переключение раскладки повесить на Caps Lock?) Что куда проще загрузить всю музыку в Rhythmbox, и выбирать исполнителей просто написав их имя в строке (по той же схеме работает iTunes), а не переключаться между бесконечными папками и плейлистами в AIMP. И переключать треки простым Fn+F8/F10, так же как и громкость. Консоль всегда доступна одним нажатием по F12 (Guake Terminal). Но, как ни странно, самое привычное и незаметное для комфорта глаз — это шрифты. TrueType сглаживание творит чудеса (после установки соответствующего пака шрифтов, разумеется). Не знаю, может это в винде как-то настраивается, но когда я смотрю, как выглядит текст на винде — мои глаза начинают кровоточить.. Хотя кому-то наоборот такое сглаживание может показаться непривычным)
Но это еще не все, нет) Например, управление сетью. Все доступно в одном всплывающем меню — и подключения по WiFi, и через 3G-модем (без доп.софта, который поставляют операторы), и VPN. Просто выбираешь что нужно и оно работает, без кучи настроек в десятках окнах. И это касается не только сети — большинство подобных вещей решаются весьма интуитивно.
Так же, как веб девелоперу, мне нужно нормальное рабочее окружение. Сюрприз — вся установка серверного софта идентична (на впсках я так же заказываю Ubuntu Server или Debian). Не важно — Apache, Nginx, PHP-FPM, Node, RoR, Sphinx, весь серверный софт ставится без проблем, нет никаких отличий в рабочем окружении на локалке и на продакшене. Хотя денвер в этом плане сделал огромный скачок по удобству, но до такой нативности ему как до луны пешком. Я до сих пор помню, сколько было мороки с файлами .htaccess, корявой установкой кодировки файлов и CHMOD. А тут все сайты спокойно лежат в /home/spryt/www, домены автоматом подключаются апачем. И для SSH подключения достаточно консольной команды, а не сторонних клиентов (хотя если вам удобней PuTTY — пожалуйста, можете использовать её).
Как происходит установка софта в Ubuntu? Вы либо вводите в консоли что-то вроде «sudo apt-get install firefox», либо открываете центр приложений, выбираете в нужной категории софт и нажимаете «установить». Или, в некоторых случаях, перед этим добавляете репозитарий в систему (тоже пара строчек копипаста в консоль) Всё. После установки кодеков на виндовом ноутбуке у меня каким-то образом установилось сразу три браузера, дополнительные рекламные плагины к ним, два анитивируса (один из которых так и не получилось удалить) и еще какие-то чистильщики рекламы/реестра. Хотя я скачивал с оффициального сайта (вроде бы, их сейчас не так просто отличить), и всегда отключал галочки напротив установки доп.софта. И это я, с десятком лет за компом.. В линуксе такое в принципе невозможно. Тут нет 1000 и 1 места, куда можно засунуть программу в автозагрузку, нет реестра с тысячами веток, можно посещать любые сайты без опасения за свою ось.
Зависает ли линукс? Да, бывает. Где-то раз в полгода, особенно из-за перегрева. Софтом повесить — очень сложно, хотя изредка на некоторых видео VLC может зафризить систему секунд на 30 (что решается проигрыванием этих видео через smplayer), или хром на 40-50 вкладках начинает фризить браузер целиком (именно из-за этого я перешел на ФФ), но чтобы повесить ОСь — нет, крашится само приложение.
Производители софта уже давно держат в уме пользователей убунты, и различный софт делается сразу под все платформы. Телеграм, например. Хотя рост аудитории идет довольно медленно — сейчас в рунете 1,1 миллиона людей используют различные unix-дистрибутивы. Не так много, но за два года это число выросло на 60%. Для типовых офисных задач Ubuntu подходит идеально, при куда меньшей стоимости владения — некоторые это используют.
Даже большинство старых игр вполне запускается из под вайна, если это критично (только быстродействие снижается). И Rosetta Stone, и покерные клиенты, и даже фотошоп. Только iTunes не поднялся, так что не знаю, как это обходят владельцы айфонов)
Но все же, Ubuntu не совсем для домохозяек. Хотя решение некоторых проблем найти куда проще, особенно если искать на английском, для некоторых вещей нужно понимать, как работает ОСь, править конфиги, разбираться почему не ставится какой-то пакет и т.д. С каждыми релизом таких проблем все меньше, но они все еще есть (даже буквально сейчас — оказалось, что при открытом контекстном окне Управления сетью PrintScreen не работает. Только на 7-м результате в гугле нашлось решение — запустить скриншот с задержкой, «gnome-screenshot —delay=7»).
——————-
Хотел бы я сказать, что тема поста связана с купленным сайтом, но увы, фейл) Вообще за две недели практически ничего полезного не сделал, оффлайн-заморочки. Впрочем, сайты есть не просят, рекламодатели находят меня сами, так что с финансовой стороны все нормально (на топсапе продал рекламы на 10к+ рублей, и скоро должна прийти выплата с адсенса).
Смотрю House of Cards, жестокие политические игры, залип)
