База категорированных интернет-ресурсов SkyDNS DB

Компания SkyDNS, лидер на рынке облачной фильтрации Рунета, предлагает доступ к своей базе категоризации интернет-сайтов и интернет-сервисов для всех заинтересованных разработчиков. Сфера применения данных, предлагаемых нашей компаний, простирается от использования в системах контент-фильтрации и блокировки вредоносных интернет-ресурсов (в форумах, социальных сетях и т.п.) до использования в любых системах, где требуется точная категоризация интернет-ресурсов и их отдельных страниц, таких как:

• DLP-системы,
• антивирусы,
• системы учета рабочего времени,
• системы RTB и контекстной рекламы,
• поисковые системы и т.п.

Для доступа к нашей базе мы предлагаем различные варианты, основным из которых является API категоризации. API категоризации сайтов предназначено для того, чтобы предоставить разработчикам и сторонним системам быстрый и легкий способ получения данных из базы категорированных сайтов SkyDNS. API предназначено для интеграции с другими системами, где требуется проверка категорий сайтов (системы фильтрации, рекламные системы и т.п.). API категоризации сайтов использует стандартную спецификацию JSON для обработки запросов.

Инфраструктура доступа к API является облачной и распределена по нашим облачным серверам контент-фильтрации, что обеспечивает быстрый отклик из любой точки интернета и 100% отказоустойчивость сервиса.

База сервиса контент-фильтрации SkyDNS ежедневно обновляется и содержит более 10 млн сайтов. Источниками пополнения базы являются собственные данные компании SkyDNS, включающие систему машинного обучения и службу модераторов, а также различные  публичные и закрытые источники фидов по безопасности (фишинг, зараженные сайты, управляющие сервера ботнетов и т. д.).

Каждый внешний источник постоянно проверяется на предмет качества. Данные из внешних источников по специальным алгоритмам, исключающим дублирование и ошибки категоризации отдельных источников, объединяются в единую базу сервиса SkyDNS.

Помимо этого важной частью базы сервиса являются ресурсы, вручную добавленные модераторами, как по обращениям пользователей (ежедневно более 500 новых сайтов), так и по собственным спискам (гарантированная работа инфраструктурных сервисов и программ).

Система машинного обучения на текущий момент содержит в индексе более 100 млн. сайтов и более 450 млн. отдельных страниц и в настоящее время работает в бета-режиме. Собственная ферма серверов-краулеров ежесуточно добавляет в индекс от 10 до 15 млн. новых страниц. В 2016 году был завершен полноценный переход на систему категоризации методами машинного обучения, в ближайшее время планируется перейти к базе на основе категоризации отдельных страниц (URL-база).

Статистика покрытия категоризатором российских доменов (апрель 2018 г.):
.ru — 2 690 280;
.рф — 51 614;
.su — 130 261

Варианты подключения к SkyDNS DB

На текущий момент нами предлагается 2 варианта подключения к базе категоризации SkyDNS:

• В интерактивном режиме через Categorization API. API не предназначено для доступа к нему конечных пользователей интегрируемой системы, а должно запрашиваться с промежуточного сервера интегрируемой системы.
• Бинарные файлы с ежедневным обновлением. Бинарные файлы содержат хеши ресурсов и предназначены для использования в высоконагруженных системах, где требуется категоризация ресурсов в реальном времени.

Интерактивный режим через Categorization API позволяет наиболее быстро произвести подключение к базе категоризации из любого типа приложений и языка программирования. Распределенная структура серверов Categorization API позволяет обслуживать десятки тысяч удаленных точек подключения к API (отдельные приложения или шлюзы).

В целом для снижения нагрузки и ускорения работы ваших приложений нами рекомендуется использование промежуточного сервера, который производит кеширование запросов на вашей стороне до 12 часов. В частности такая схема реализована в рамках интернет-шлюза ИКС Сервер.

Доступ через бинарные файлы предлагается нами для высоконагруженных систем, обрабатывающих от 50,000 пользователей на одном узле, и требует написания библиотеки для чтения бинарных файлов. Нами предоставляется подробная документация по формату бинарных файлов для написания необходимого кода в вашем приложении.

Стоимость использования базы категорированных интернет-ресурсов

В зависимости от варианта организации доступа к базе категоризации предлагаются разные схемы лицензирования доступа. Стоимость доступа к Categorization API считается по числу запросов к API.

Стоимость использования бинарных файлов является договорной и зависит от числа конечных пользователей базы категоризации и сферы использования базы.

Наши клиенты