База категорированных интернет-ресурсов SkyDNS DB

Компания SkyDNS, лидер на рынке облачной фильтрации Рунета, предлагает доступ к своей базе категоризации интернет-сайтов и интернет-сервисов для всех заинтересованных разработчиков. Сфера применения данных, предлагаемых нашей компаний, простирается от использования в системах контент-фильтрации и блокировки вредоносных интернет-ресурсов (в форумах, социальных сетях и т.п.) до использования в любых системах, где требуется точная категоризация интернет-ресурсов и их отдельных страниц, таких как:

Для доступа к нашей базе мы предлагаем различные варианты, основным из которых является API категоризации. API категоризации сайтов предназначено для того, чтобы предоставить разработчикам и сторонним системам быстрый и легкий способ получения данных из базы категорированных сайтов SkyDNS. API предназначено для интеграции с другими системами, где требуется проверка категорий сайтов (системы фильтрации, рекламные системы и т.п.). API категоризации сайтов использует стандартную спецификацию JSON для обработки запросов.

Инфраструктура доступа к API является облачной и распределена по нашим облачным серверам контент-фильтрации, что обеспечивает быстрый отклик из любой точки интернета и 100% отказоустойчивость сервиса.

База сервиса контент-фильтрации SkyDNS ежедневно обновляется и содержит более 10 млн сайтов. Источниками пополнения базы являются собственные данные компании SkyDNS, включающие систему машинного обучения и службу модераторов, а также различные  публичные и закрытые источники фидов по безопасности (фишинг, зараженные сайты, управляющие сервера ботнетов и т. д.).

Каждый внешний источник постоянно проверяется на предмет качества. Данные из внешних источников по специальным алгоритмам, исключающим дублирование и ошибки категоризации отдельных источников, объединяются в единую базу сервиса SkyDNS.

Помимо этого важной частью базы сервиса являются ресурсы, вручную добавленные модераторами, как по обращениям пользователей (ежедневно более 500 новых сайтов), так и по собственным спискам (гарантированная работа инфраструктурных сервисов и программ).

Система машинного обучения на текущий момент содержит в индексе более 100 млн. сайтов и более 450 млн. отдельных страниц и в настоящее время работает в бета-режиме. Собственная ферма серверов-краулеров ежесуточно добавляет в индекс от 10 до 15 млн. новых страниц. В 2016 году был завершен полноценный переход на систему категоризации методами машинного обучения, в ближайшее время планируется перейти к базе на основе категоризации отдельных страниц (URL-база).

Статистика покрытия категоризатором российских доменов (апрель 2018 г.):
.ru — 2 690 280;
.рф — 51 614;
.su — 130 261

Варианты подключения к SkyDNS DB

На текущий момент нами предлагается 2 варианта подключения к базе категоризации SkyDNS:


Интерактивный режим через Categorization API позволяет наиболее быстро произвести подключение к базе категоризации из любого типа приложений и языка программирования. Распределенная структура серверов Categorization API позволяет обслуживать десятки тысяч удаленных точек подключения к API (отдельные приложения или шлюзы).

В целом для снижения нагрузки и ускорения работы ваших приложений нами рекомендуется использование промежуточного сервера, который производит кеширование запросов на вашей стороне до 12 часов. В частности такая схема реализована в рамках интернет-шлюза ИКС Сервер.

Доступ через бинарные файлы предлагается нами для высоконагруженных систем, обрабатывающих от 50,000 пользователей на одном узле, и требует написания библиотеки для чтения бинарных файлов. Нами предоставляется подробная документация по формату бинарных файлов для написания необходимого кода в вашем приложении.

Стоимость использования базы категорированных интернет-ресурсов

В зависимости от варианта организации доступа к базе категоризации предлагаются разные схемы лицензирования доступа. Стоимость доступа к Categorization API считается по числу запросов к API.

Стоимость использования бинарных файлов является договорной и зависит от числа конечных пользователей базы категоризации и сферы использования базы.

Наши клиенты

Запрос на использование базы SkyDNS

Настоящим в соответствии с Федеральным законом № 152-ФЗ «О персональных данных» от 27.07.2006, отправляя данную форму, Вы подтверждаете свое согласие на обработку персональных данных.

Мы, ООО «СкайДНС», гарантируем конфиденциальность получаемой нами информации. Обработка персональных данных осуществляется в целях эффективного исполнения заказов, договоров и пр. в соответствии с «Политикой конфиденциальности персональных данных».

Узнать больше

Если вы желаете получить дополнительную информацию об этом решении, оставьте свои контакты и данные о компании.

Мы свяжемся с вами, и отправим данные о стоимости системы (включая индивидуальное коммерческое предложение), вариантах лицензирования, а также техническую информацию по этому решению.

В случае принятия положительного решения о внедрении, мы предоставим вам тестовый доступ, и поможем произвести интеграцию с вашими системами.

Скачать руководство по работе с SkyDNS Categorization API