База категорированных интернет-ресурсов SkyDNS DB
Компания SkyDNS, лидер на рынке облачной фильтрации Рунета, предлагает доступ к своей базе категоризации интернет-сайтов и интернет-сервисов для всех заинтересованных разработчиков. Сфера применения данных, предлагаемых нашей компаний, простирается от использования в системах контент-фильтрации и блокировки вредоносных интернет-ресурсов (в форумах, социальных сетях и т.п.) до использования в любых системах, где требуется точная категоризация интернет-ресурсов и их отдельных страниц, таких как:
- DLP-системы,
- антивирусы,
- системы учета рабочего времени,
- системы RTB и контекстной рекламы,
- поисковые системы и т.п.
Для доступа к нашей базе мы предлагаем различные варианты, основным из которых является API категоризации. API категоризации сайтов предназначено для того, чтобы предоставить разработчикам и сторонним системам быстрый и легкий способ получения данных из базы категорированных сайтов SkyDNS. API предназначено для интеграции с другими системами, где требуется проверка категорий сайтов (системы фильтрации, рекламные системы и т.п.). API категоризации сайтов использует стандартную спецификацию JSON для обработки запросов.
Инфраструктура доступа к API является облачной и распределена по нашим облачным серверам контент-фильтрации, что обеспечивает быстрый отклик из любой точки интернета и 100% отказоустойчивость сервиса.
База сервиса контент-фильтрации SkyDNS ежедневно обновляется и содержит более 10 млн сайтов. Источниками пополнения базы являются собственные данные компании SkyDNS, включающие систему машинного обучения и службу модераторов, а также различные публичные и закрытые источники фидов по безопасности (фишинг, зараженные сайты, управляющие сервера ботнетов и т. д.).
Каждый внешний источник постоянно проверяется на предмет качества. Данные из внешних источников по специальным алгоритмам, исключающим дублирование и ошибки категоризации отдельных источников, объединяются в единую базу сервиса SkyDNS.
Помимо этого важной частью базы сервиса являются ресурсы, вручную добавленные модераторами, как по обращениям пользователей (ежедневно более 500 новых сайтов), так и по собственным спискам (гарантированная работа инфраструктурных сервисов и программ).
Система машинного обучения на текущий момент содержит в индексе более 100 млн. сайтов и более 450 млн. отдельных страниц и в настоящее время работает в бета-режиме. Собственная ферма серверов-краулеров ежесуточно добавляет в индекс от 10 до 15 млн. новых страниц. В 2016 году был завершен полноценный переход на систему категоризации методами машинного обучения, в ближайшее время планируется перейти к базе на основе категоризации отдельных страниц (URL-база).
Статистика покрытия категоризатором российских доменов (апрель 2018 г.):
.ru — 2 690 280;
.рф — 51 614;
.su — 130 261
Варианты подключения к SkyDNS DB
На текущий момент нами предлагается 2 варианта подключения к базе категоризации SkyDNS:
- В интерактивном режиме через Categorization API. API не предназначено для доступа к нему конечных пользователей интегрируемой системы, а должно запрашиваться с промежуточного сервера интегрируемой системы.
- Бинарные файлы с ежедневным обновлением. Бинарные файлы содержат хеши ресурсов и предназначены для использования в высоконагруженных системах, где требуется категоризация ресурсов в реальном времени.
Интерактивный режим через Categorization API позволяет наиболее быстро произвести подключение к базе категоризации из любого типа приложений и языка программирования. Распределенная структура серверов Categorization API позволяет обслуживать десятки тысяч удаленных точек подключения к API (отдельные приложения или шлюзы).
В целом для снижения нагрузки и ускорения работы ваших приложений нами рекомендуется использование промежуточного сервера, который производит кеширование запросов на вашей стороне до 12 часов. В частности такая схема реализована в рамках интернет-шлюза ИКС Сервер.
Доступ через бинарные файлы предлагается нами для высоконагруженных систем, обрабатывающих от 50,000 пользователей на одном узле, и требует написания библиотеки для чтения бинарных файлов. Нами предоставляется подробная документация по формату бинарных файлов для написания необходимого кода в вашем приложении.
Стоимость использования базы категорированных интернет-ресурсов
В зависимости от варианта организации доступа к базе категоризации предлагаются разные схемы лицензирования доступа. Стоимость доступа к Categorization API считается по числу запросов к API.
Стоимость использования бинарных файлов является договорной и зависит от числа конечных пользователей базы категоризации и сферы использования базы.
Стоимость использования SkyDNS DB:
- Базовая стоимость: 3 000 000 рублей в год.
- Расчет стоимости зависит от объема запросов и категорий.
- Возможна дополнительная плата за превышение количества запросов или специфические категории.
Уточните стоимость и получите дополнительную информацию, связавшись с менеджером SkyDNS DB.
Наши клиенты


Запрос на использование базы SkyDNS
Узнать больше
Если вы желаете получить дополнительную информацию об этом решении, оставьте свои контакты и данные о компании.
Мы свяжемся с вами, и отправим данные о стоимости системы (включая индивидуальное коммерческое предложение), вариантах лицензирования, а также техническую информацию по этому решению.
В случае принятия положительного решения о внедрении, мы предоставим вам тестовый доступ, и поможем произвести интеграцию с вашими системами.