У світі існує безліч пошукових систем. Першою з них була Yahoo!, яка з'явилася у далекому 1994 році.

Зараз найпопулярнішим пошуковиком є Google. Як свідчать червневі дані, йому віддають перевагу 92,47% користувачів.

Його найближчий конкурент – Bing від Microsoft. Хоча, на думку Google, найчастіше у Bing запитують: "Де завантажити Google?".

У Китаї популярна Baidu, у Росії – Яндекс, а серед людей, які турбуються за свої персональні дані, – DuckDuckGo, що працює на відкритому коді за принципом збереження анонімності.

Утім, незабаром на ринок вийде ще один гравець: пошукова система від творців Ahrefs, яка в найближчому майбутньому може стати "вбивцею Google".

Ahrefs – це сервіс, який допомагає власникам сайтів та SEO-фахівцям визначати основних конкурентів, аналізувати продукт, знаходити причини низького рейтингу у видачі та підвищувати якість пошукового трафіку.

У 2010 році Ahrefs створив Дмитро Герасименко – уродженець Ніжина на студент КПІ, який у 2012 році переїхав до Сингапуру і почав розвивати свою компанію там. За даними Owler, зараз вона заробляє близько 66,4 млн дол на рік.

Як буде працювати новий пошуковик, завдяки чому він може нав'язати боротьбу глобальному монополісту та коли він почне працювати? На ці та інші запитання відповідає CEO Ahrefs Дмитро Герасименко.

— Как и почему возникла идея создать поисковик, когда есть Google, у которого более 90% рынка? Почему захотелось выйти на этот путь конкуренции?

— Для меня этот путь всегда был интересный, но я не понимал, зачем делать поисковик, когда есть Google. Он бесплатный, там все классно, все хорошо работает.

Но так как на нашем основном проекте (SEO-сервисе – ЕП), мы очень много работаем с вебмастерами (люди занимающиеся техническим обслуживанием сайтов – ЕП), то видим, какие у них проблемы с Google.

Например, он начинает убирать некоторые веб-сайты из результатов поиска и все больше и больше добавляет свои сервисы. Они пытаются все строить вокруг себя и не дают трафик другим.

В какой-то момент возникла мысль: как это можно сделать лучше? Например, почему бы не компенсировать тем, кто пишет контент? Есть этот контраст, когда они (Google – ЕП) используют контент Википедии у себя в результатах поиска.

Но мы видим, что Википедия каждый год показывает баннер "Дайте нам 5 долларов, чтобы мы оплатили свои сервера", а Google зарабатывает 160 миллиардов долларов в год, используя контент Википедии. И как бы все ok. А мне кажется, это не ok.

First one is obviously privacy and it was discussed so much that I will switch to the second one - profit share.
Google is making $100B from its search service. Imagine they suddenly implement 90/10 profit share model sending $90B per year to publishers who create content.

— Dmitry Gerasimenko (@botsbreeder) March 27, 2019

Идея с поисковиком зародилась с мыслями об интернете, о котором мы все мечтали. Когда по поисковому запросу отображаются самые топовые знания, а не реклама, на которой Google просто зарабатывает.

Это еще и история с несправедливостью, ведь создатели контента, которые работают над качеством материала, проверяют его, должны зарабатывать за свой труд непосредственно через бизнес-модель "90 на 10".

джерело: Ahrefs

— Как будет работать модель "90 на 10"?

— На веб-страницах, когда вы создаете блог или новостной сайт, нужно будет разместить ID автора. Тогда наш кроулер (crawler – программа, которая систематически делает запросы в интернете для создания веб-индекса, хранилища копий всех веб-страниц в интернете – ЕП) увидит этот ID и пропишет, что этот контент ваш.

Самая интересная задача проекта – найти критерий оценки контента, чтобы создатели получали справедливую плату. Мы планируем ввести "метрику полезности" контента, чтобы определить сумму выплаты по модели распределения прибыли.

Создатели будут получать 90% от всей рекламной прибыли поисковика в зависимости от полезности созданного ими контента. Мы планируем делиться прибылью со всеми создателями контента, вне зависимости от сферы его применения – будь то шоппинг-обзор или энциклопедические знания.

— Будете ли вы как-то "трекать" пользователей и выдавать им более релевантный контент, условно, смотреть на их предыдущие поисковые запросы?

— Мы не хотим "трекать". Изначально мы хотим сделать так, чтобы у нас не было истории пользователей. Конечно, сами запросы нам надо где-то хранить, чтобы мы могли улучшать наш результат поиска.

Нам нужно знать, что люди вообще ищут, но мы не хотим создавать историю запросов человека, не хотим, чтобы была возможность отследить, что вы искали. Поэтому мы изначально отрезаем информацию, которая может вас идентифицировать, и дальше обрабатываем у себя в системе без этой информации.

Тут нужно четко разделить персональную информацию пользователя и поисковые запросы.

Поисковые запросы – это информация, которую пользователь вбивает в поисковую строку, чтобы мы понимали, каких запросов больше, каких меньше, как работать с рекламодателями, как улучшать алгоритмы.

Персональная информация, которую Google и другие поисковые системы собирают и хранят, чтобы продавать ее рекламодателям и компаниям для исследований, – это другая история.

То есть информация о том, кто вы такой, чем занимаетесь, как зовут вашу собаку, каковы ваши предпочтения в любых сферах жизни, у нас не будет храниться, и мы не будем передавать ее никаким третьим лицам.

— Так, как работает DuckDuckGo?

— У DuckDuckGo есть проблема: они не индексируют интернет целиком. Поэтому когда к ним приходит запрос, он дальше уходит в Bing, Яндекс, еще куда-то. Потом они собрали эти результаты и вам отдали лучшее. То есть запрос, который приходит от вас, уходит в несколько компаний и вам нужно им доверять.

Чем мы лучше с точки зрения приватности? Мы строим свой дата-центр, у нас свои сервера, которые принадлежат нам, мы используем клауд. То есть эти данные не уходят от нас никуда. Получается, у нас больше контроля.

— Справятся ли ваши сервера с большим объемом информации?

— Да. Это то, чем наши разработчики занимаются. Они пытаются сделать хорошее качество результатов, при этом чтобы оно было подъемно для нас.

Ни одна компания, никакие стартапы не строят дата-центры и сервера, это очень дорого. Это нужно поддерживать, на это нужна невероятная экспертиза, нужно нанимать людей, которые в этом разбираются, а их очень мало на рынке.

Чтобы создать новую компанию или какой-то продукт, все используют клаудовские сервера, которые принадлежат Amazon или Google. По сути, это передача информации, которая хранится на чужих серверах, работает и обрабатывается. В этом есть определенный риск.

Мы уже инвестировали около 50 миллионов долларов, чтобы развернуть наш дата-центр. Увидев его, можно представить себе, какие надежды компания вкладывает в проект поисковика.

джерело: Ahrefs

— Это очень большая инвестиция. А где находится дата-центр?

— Есть один в Европе, в Нидерландах, и новый, там, где большая часть поиска, – в Сингапуре. Планируем еще один открывать в США, еще один – в Европе, чтобы быть ближе к пользователям.

джерело: Ahrefs

— Вернемся к персональным данным. Вы не храните информацию о пользователе, хранятся только поисковые запросы без привязки к личной информации. Будут ли результаты в таком случае релевантными?

— Будут. Когда вы вводите поисковый запрос, по нему уже можно определить, что релевантно. Не обязательно знать, что вы искали две недели назад, чтобы показать релевантный результат.

Релевантность – это то, над чем мы работаем. Наша первая цель – достичь качества, как у Bing, а потом будем стремиться к Google.

По поводу влияния персональных данных на качество результатов для конкретных юзеров. Если я не ошибаюсь, персональная информация пользователя не сильно влияет на органическую поисковую выдачу, потому что есть понятные параметры оценки качества контента.

Например, если ты смотришь какой-то новостной запрос, информационный, энциклопедический, Google оценивает информацию, которую он выдает, по определенным параметрам: сколько сайтов сослалось на эту информацию, насколько там проверенная информация, насколько актуальная, не устаревшая.

То есть история с выдачей далека от персональных данных. На персональных данных работает реклама.

— Суть монетизации Google как раз в рекламе, на которой они зарабатывают миллиарды. А как вы будете монетизировать свой поисковик, если инвестируете много денег и будете отдавать 90% создателю контента?

— Если Google зарабатывает 100 миллиардов, то, скажем, 10 миллиардов более чем достаточно, чтобы обеспечивать этот сервис. На счет зарабатывать – примерно аналогичным образом показывать рекламу в результатах поиска.

Еще разница в том, что Google – это огромная компания с огромным количеством бенефициаров, инвесторов и заинтересованных людей, которые просто тем, что существуют, зарабатывают огромную часть прибыли компании.

Ahrefs – немножко другая компания. У нас пока работает всего 80 человек. Мы никогда не привлекали инвестиций. То есть нет людей, которые заинтересованы в том, чтобы положить себе в карман побольше прибыли.

Да, будут какие-то операционные затраты на содержание серверов, команды. Но если прибыли получается так много, то с головой можно покрыть операционные затраты и получить очень и очень неплохой доход.

У Google непосредственно поисковой системой занимается относительно небольшая часть команды. Они больше тратят на то, чтобы ежегодно запускать 20-30 стартапов.

Там другая структура затрат и прибыли. Она очень сильно отличается от того, что происходит в Ahrefs. Поэтому мы можем себе позволить отдавать 90% прибыли.

В этом и есть проблема. Все на рынке может измениться только с приходом новой компании, которая начнет действовать по новым принципам. Мы хотим предложить эту новую бизнес-модель.

— Как вы будете работать с создателями контента? Это будут существующие криэйтеры или новые, которым будете присваивать номера?

— Любой владелец сайта сможет добавить у себя эту разметку на странице и сказать, что этот контент мой, я хотел бы получать с него profit share.

Изначально у нас доход от рекламы будет небольшой, но и людей, которые разместили этот идентификатор у себя, тоже будет мало. Поэтому мы сможем нормально компенсировать им все.

С ростом дохода по рекламе люди будут обращать на нас больше внимания, будет больше людей, которые будут размещать этот идентификатор. Мы планируем расти нормальным темпом по двум направлением: приход денег и кому их нужно распределять.

— Когда планируется тестовый запуск?

— Тестовый запуск уже идет. С сентября Google заставили в Европе на Android добавлять альтернативные поисковики. С сентября наш поисковик уже там. Мы уже собираем каких-то пользователей и по их запросам видим, что люди ищут, какие у нас результаты поиска, и продолжаем их улучшать.

Мы не хотим привлекать очень много посетителей, пока не будем уверены в нашей релевантности. Не хотим, чтобы люди пришли, увидели, разочаровались и больше не пришли. Так что можно назвать это "предтестированием".

джерело: Ahrefs

— Когда планируется запуск основного тестирования?

— Для этого у нас есть метрики, которые мы отслеживаем. У нас есть цифра, начиная с которой мы запускаем следующий этап, делаем ребрендинг нашего робота.

Сейчас это удается более скрыто держать. Мы индексируем под нашим ahrefs-брендом, как делали уже больше десяти лет, но после ребрендинга много-много людей это увидят и это уже будет такой мини-лонч.

— Как бы вы оценили в процентах готовность проекта к запуску и демонстрации его миру?

— Так как Ahrefs – частная и независимая компания, на наши проекты нет ни финансового, ни управленческого давления. Поэтому релиз поисковика подвязан исключительно под техническую готовность продукта к тестированию широкой аудиторией, а не к каким-то конкретным датам.

На данный момент мы опираемся на метрику релевантности выдачи, чтобы понимать готовность поисковика.

Если перевести готовность на проценты, то на данный момент готовность поиска – где-то 87%. Месяц назад было 60%.

Несмотря на скорость, с которой мы двигаемся, мы не беремся прогнозировать релиз даже внутри компании, потому что результаты выдачи – это очень субъективная метрика.

— Какое имя будет у вашего робота?

— У нашего робота уже есть довольно недурное имя на рынке: Ahrefs-бот. Он второй по эффективности после Google.

За десять лет существования компании Ahrefs, которая занимается СЕО-оптимизацией сайтов, мы построили бот, который ходит по сайтам, собирает веб-индекс, то есть копию всего интернета, миллиарды страниц.

Весь этот массив знаний наш бот собирает, хранит и как-то "процессит". По сути, этот бот дает нам очень неслабое технологическое преимущество, чтобы построить видимого конкурента Google.

— Веб-индексы?

— Есть три индекса: Google, Microsoft и наш. Если поискать в Google разные поисковики, то 90% из них либо берут результаты из Google, меняют брендинг и показывают их как свои, либо берут у Bing, потому что Microsoft их даже продает, это официально.

Можно купить результаты Bing, добавить свой брендинг и зарабатывать с рекламы самостоятельно, но есть нюанс: надо зарабатывать больше, чем ты тратишь на покупку этих результатов.

Нам повезло с тем, что первый продукт Ahrefs был, по сути, первой ступенью, которая органически переходит к построению поисковика.

Сейчас мы наработали технологически интеллектуальную базу, которая позволяет с большим преимуществом дальше заниматься красивыми проблемами, оптимизировать эти вещи.

— Запускаться будете под именем Ahrefs?

— Нет, поисковик будет построен командой Ahrefs, но название будет другое. Пока что на уровне маркетинга тестируем разные названия, искали что-то, что бы хорошо передавало нашу философию.

Оказалось, что не так просто найти свободный домен, который подходит под концепцию твоего продукта, название, которое не переплеталось бы с существующими компаниями и игроками. То есть пока с названием не торопимся.

— Все потраченные на проект деньги – ваши. Собираетесь ли вы брать какие-то инвестиции со стороны?

— Бизнес-модель нового поисковика не предполагает участия инвесторов. Планируется, что система будет работать самостоятельно. Поскольку рынок креативной экономики сильно растет, нет явной потребности в привлечении денег.

Ahrefs никогда не привлекала инвестиций. У компании за десять лет уже есть навык зарабатывать и эффективно тратить свои деньги.

— Google тоже хотела делать profit-sharing поисковик Neeva, но там планировалась схема "80 на 20". Была информация, что они к вам приходили, хотели скооперироваться, но вы им отказали.

ЕП: До анонсу проєкту Ahrefs з компанією зв'язалися екскерівники Google. Вони хотіли вивчити можливість використання даних сервісу в процесі розробки пошуковика Neeva. Він платний, у ньому нема реклами, а в основі його моделі лежить profit-sharing у співвідношенні 20 на 80. У Ahrefs майбутнім конкурентам відмовили.

— Там не 80 на 20, там 20 на 80. Мы с ними общались. Они хотели с нами коллаборироваться, получить доступ к нашим данным. Поскольку мы, очевидно, идем в сторону конкурирования, то у нас коллаборации не получилось.

Из интересного: именно после нашего общения у них появилась идея profit-share. До этого они были сфокусированы на поисковике по подписке. Приятно, что мы смогли "продать" идею profit-share и нашим конкурентам.

джерело: Ahrefs

— Как вы планируете продвигать свой проект? Bing платил своим пользователям за то, чтобы они им пользовались. Какая у вас будет стратегия?

— Наша бизнес-модель содержит большой маховик раскрутки.

Если мы платим создателям контента за их контент, то им выгодно рассказывать про наш поисковик. Это как с Facebook: один друг пригласил второго, а потом, если у тебя все друзья в Facebook, тебе тоже туда хочется.

Создателям выгодно, чтобы пользователи читали их через нашу поисковую систему. Для пользователя это ничего не меняет, а для создателя контента очень сильно меняет. Хотя для пользователя это безопасность его данных.

Еще одна штука, которую мы нащупали в процессе работы над поисковиком: многим медиа необходимо устанавливать paywall. Медиа просят: подписывайтесь на нас, это условный donation (пожертвование – ЭП) за наш классный контент.

Самый лучший контент спрятан от широкой аудитории, потому что медиа действительно нужно зарабатывать.

С моделью profit-sharing медиа, которые реально работают над какими-то глубокими исследованиями, расследованиями, смогут зарабатывать и давать классную информацию более широкой аудитории.

То есть из интернета должен уйти кликбейт, аффилиатные (реферальные) ссылки.

Плюс под paywall уйдет премиум-контент, потому что паблишеры закрывают свою задачу, если они зарабатывают с контента. При этом у них нет потребности его прятать.

В таком случае как можно большее количество читателей будет иметь доступ к самому лучшему контенту через наш поисковик, потому что у него такая бизнес-модель. Эта история может "выстрелить" и поменять много вещей.

— Когда ждать ваш поисковик?

— Как я уже говорил, у нас есть критерии. Я очень надеюсь, что мы сделаем ребрендинг нашего робота, скажем, до ноября. А вот по поводу следующего этапа мне пока сложно сказать.

Здесь опять-таки разница бизнес-моделей. У нас нет внешних инвесторов или заинтересованных лиц, которые приходят и говорят: "Когда?". И мы такие: "Ok, работаем на то, чтобы в ноябре появилось".

Мы будем "релизить" продукт, который будет достаточно хорош. У нас есть возможность не упираться в какие-то сроки. Когда увидим, что все работает так, как мы хотим, тогда будет релиз.