Рейтинг провайдеров

[gul_tech]

Приношу извинения за долгое молчание - как-то много работы было.

Сделал рейтинг провайдеров по запросу: http://asrank.happy.kiev.ua
Вот Рейтинг провайдеров RU&UA за 20-26 августа.
Из существенных дополнений (помимо того, что теперь можно самостоятельно смотреть рейтинг с нужными параметрами) - можно запрашивать список роут-ликов, содержащих указанную AS в пути. Может быть полезно. Если надо - можно выдавать не только путь, но и убежавшие по нему префиксы.
О найденных неточностях (не те апстримы, правильный путь определён как роут-лик и т.п.) сообщайте, буду разбираться и дотачивать алгоритм.

Конечно, планов по доработке ещё много. Информация за историю находится в процессе обработки - постепенно будет появляться информация о более старых данных. Cвежие добавляются автоматически.

Comments

[(Anonymous)]

Павел,

отличная штука. Еще раз поздравляю!

Несколько пугает удивительная стабильность позиций операторов последнего времени. Как будто это не живой организм, а манекен. А при попытке просмотреть истрию и доподлинно зная, какие были межоператорские изменения связей, обнаружил, что

1) эти переключения почему-то отсутствуют. А они были не пиры, а явные апстримы с множеством транзитных путей. Но не показывает алгоритм. Их можно найти по BGPlay. Хотя одни и те же данные исходные данные. А здесь не нахожу, как будто алгоритм видит не всю таблицу маршрутизации... Буду еще смотреть, отпишу конкретику.
2) встречаются дни с "взорвавшимися" апстримами. Кажется, на 16 июля у GLBX 1500 апстримов. И у всех остальных тоже сотнями. Глобальных роутликов, раскорячивающих весь Интернет, в это время вроде бы не было.
3) UAR я пологаю все-таки украинский провайдер, а не европейский. Вернуть бы его в лоно.
4) очень интересна фича с роутликами. Но не понятно, как отличить попытки поднять маршрут от долговременноuj устойчивого маршрута. Нужно бы высвечивать время существования роутликов. И роутлик с большим количеством хопов при существовании короткого правильного альтернативного маршрута и не роутлики вовсе, там трафика нет... Критичность их для маршрутизации вообще и для рейтинга видимо очень различна.

Вообще очень интересная штука. Полагаю, что многие найдут удовольствие и пользу от ее исследования.

Спасибо!

А.Кипчатов

[gul-kiev.livejournal.com]

> А здесь не нахожу, как будто алгоритм видит не всю таблицу маршрутизации... Буду еще смотреть, отпишу конкретику.

Да, приведите, пожалуйста, пример, чтобы я знал хоть, что искать и куда смотреть.
Стабильность - что ж, может, так и есть? ;-) Отчасти её можно объяснить тем, что при формировании данных за сутки берутся таблицы через каждые два часа, из них считается среднее, потом данные, отличающиеся от среднего более, чем на три среднекватратичных отклонения, считаются ошибочными и отбрасываются, после чего считается среднее от оставшихся (метод "три сигма" (http://zamak.ru/static/21-vyjavlenie-promakhov.html)). Таким образом, кратковременные скачки (до 2-4 часов) оказываются отброшены из рассмотрения (но в последней колонке, где кол-во апдейтов, они, конечно, посчитаны).

> встречаются дни с "взорвавшимися" апстримами.

Есть такое. :( При обработке данных за июнь и июль в программе была ошибка, которая привела к некорректному отображению количества и списка апстримов. Зарядил обработку их заново - дня через три всё должно стать нормально. В другие месяцы должно быть всё хорошо. Спасибо за сообщение.

UarNet - исправил, спасибо.

Показывать время существования роутликов - согласен, полезно. Сделаю.
То, что они бывают более или менее критичные - разумеется, но в любом случае их нужно исключать при формировании рейтинга, и в любом случае роутлики через своих клиентов надо устранять, даже если там небольшой трафик - это ошибка в конфигурации роутера. Как отличить роутлик от валидного пути - задача действительно непростая и не всегда разрешимая, почему мне и интересны случаи, когда валидный маршрут ошибочно показывался как роутлик. Могу описать алгоритм определения роутликов, если интересно.

[nv74.livejournal.com]

извиняюсь
объясните как пользоваться рейтингом, чтоб посмотреть точное количество клиентов провайдера?

и насколько это достоверные данные?

[gul-kiev.livejournal.com]

Количество непосредственных клиентов (с BGP) - degree минус upstreams минус peering. Degree - общее количество замеченных связей с другими AS, upstreams - количество апстримов, peering - количество паритетных линков.
Количество прямых клиентов (включая клиентов клиентов, т.е. клиентский конус) без учёта их размеров - колонка ASes.

> насколько это достоверные данные?

За исходные данные были взяты таблицы роутинга, собираемые на routeviews.org (http://routeviews.org) примерно с 30 разных точек в мире и свободно доступные там по ftp (суммарный объём bz2-архивов - около терабайта). Описание алгоритма, используемого для обработки - вот (http://gul-tech.livejournal.com/1436.html). Сам софт открытый, доступен через cvs, точная ссылка там указана. Конечно, от ошибок никто не застрахован, но получаемые результаты довольно стабильны по времени, что говорит в пользу применяемого софта и алгоритма. Отсутствие подтасовок гарантируется открытостью - каждый может проверить результаты самостоятельно.

Конечно, нужно понимать применимость самих выбранных критериев. Они лишь косвенно говорят о количестве проходящего (проданного) трафика или, тем более, об обороте или доходе провайдеров. В частности, тут учитывается только IP Transit и только клиенты с собственными AS - предоставление транспорта (L2, MPLS) тут никак не учитывается, хотя его доля может быть заметной.