Влияние жесткого диска на скачивание файлов

[s5836]

Уважаемые форумчане!
Ответьте мне пожалуйста, на несколько вопросов.

Допустим, я закачал файл весом 7 ГБ на файлообменник. Соответственно он закачался на жесткий диск на сервере (в единичном варианте, или еще продублировался куда, я не знаю). Смогут ли этот файл с жесткого диска одновременно скачивать скажем 500 человек (именно одновременно). Хватит ли ресурсов одного жесткого диска? Влияет ли скорость чтения жесткого диска на скачивание в этом случае? Или для таких целей используются RAID-массивы (если да, то могут ли они работать в связке (сотни и тысячи RAID-массивов) и обслуживать бесконечное кол-во запросов)? Есть ли какие-то лимиты, пределы? Ведь все-равно все расчитано на максимальную нагрузку. Частенько при скачивании файлов с файлообменника в ссылке на скачивание вижу, что файл раздается с разных серверов. Как такое возможно? Он раздается с одного жесткого диска, а сервера лишь выступают посредниками, которые выдают канал скорости на скачивание?

Взять к примеру видео на ютубе. Я закачал ролик и тут же его смотрят 100 миллионов пользователей (другой пример - прямые трансляции). Каким образом эти 100 млн пользователей будут смотреть это видео? С одного сервера или с нескольких? Видео будет дублироваться сразу на все сервера, или по мере увеличения нагрузки?

Может быть файлы/видео по мере увеличения нагрузки кэшируются на локальный (региональный) сервер (если таковые имеются) в соответствии с местоположением пользователя?

Всегда была интересна фраза - мы не ограничиваем скорость скачивания / загрузки данных для наших клиентов (Яндекс.Диск, бывший Яндекс.Народ). Если у сервера канал 1 Гигабит в секунду и он полностью забит, каким образом другие пользователи могут качать с него? Подключаются дополнительные скоростные каналы к этому серверу?
Объясните мне, люди добрые, как работает вся эта система.
Заранее спасибо.

P.S. от 12.08.13: Позвольте раскрыться: я знаю, как работает данная система, просто мне интересно, насколько об этом осведомлены пользователи интернета. Провожу специальное исследование! Спасибо вам за ответы!
Топик можно удалить.

[geka2002]

Доброго!
Давайте просто возьмем дверь. Дверь между двумя комнатами/залами. Никто не ограничивает доступ народу из одной комнаты в другую. Но! Но есть ширина двери (канал сервера). Люди могут проходить через дверь - одно скорость, могут пробегать, проезжать, пролетать. Одновременно через дверь с любой скоростью, допустим, может пройти 3 человека. Остальные будут ждать! И ждать тем дольше, чем ниже скорость. Так же и с доступом на любой сайт.

[s5836]

А ка же система распределения нагрузки и возможные зеркала файла?

[kazimir]

по подобной схеме работают и торенты . я раздаал и с моего жёсткого файл одновременно качали 300чел.

[geka2002]

s5836

Зеркала - это и есть еще одни двери в комнату, а точнее в другую комнату но с аналогичной мебелью! Зеркала же располагают на других серверах. Начали качать с оригинала - медленно (Много посетителей) - ушли на одно из зеркал (получили доступ к той же информации но через другую дверь или же зашли в комнату с аналогичным содержимым). Торенты - это вообще множество дверей. И они постоянно открыты.

[s5836]

geka2002

Что скажете на счет этого:

Система распределения нагрузки автоматически определяет, что ресурсов осталось немного и уже для другого пользователя генерирует ссылку на скачивание с другого сервера (или автоматически перекидывает во время скачивания, сверяя контрольную MD5-сумму).

Я пробовал в разное время скачать один и тот же файл с Яндекс.Диска, в 4 случаях из 10 наименование сервера в ссылке на скачивание было другим.

В свое время на Яндекс.Народе при скачивании через менеджер закачек загрузку можно было поставить на паузу, изменить наименование сервера на другой (например локального: filestore-samara-narod.yandex.ru на filestore-novosib-narod.yandex.ru) и продолжить скачивание. Таким образом, если скорость была маленькая, можно было подобрать тот сервер, где скорость больше.

P.S. Позвольте раскрыться: я знаю, как работает данная система, просто мне интересно, насколько об этом осведомлены пользователи интернета. Провожу специальное исследование! Спасибо вам за ответы!
Топик можно удалить.

[Ment69]

просто мне интересно, насколько об этом осведомлены пользователи интернета » Тут не та аудитория.

[Amigos]

насколько об этом осведомлены пользователи интернета. »кому интересно знать, как устроена и работает канализация?
Только сантехникам. Остальным достаточно того, что она просто работает.

[lxa85]

s5836, здесь нельзя явно сказать, как работает данная система. Нельзя в том плане, что не известная расчетная нагрузка, кол-во пользователей/скорость. Не известны ресурсы компании, ее бюджет. Или мы не задумываясь берем HiLoad системы с неограниченными ресурсами?

[s5836]

lxa85

В примере я указал такие сервисы как Яндекс.Диск, YouTube, поэтому гипотетически HiLoad имеет место быть.

[Amigos]

s5836, тогда другой вопрос, вы с какой целью интересуетесь?

хоте продавать такие услуги?
или наоборт, есть желание купить?

[s5836]

Amigos

Да, есть желание купить. Провожу исследование (для себя), может кто еще что знает.
Топик можно удалить.

[geka2002]

Amigos »

Иногда полезно знать и жильцу. Сантехники могут попасться недобросовестные!

s5836P.S. от 12.08.13: Позвольте раскрыться: я знаю, как работает данная система, просто мне интересно, насколько об этом осведомлены пользователи интернета. Провожу специальное исследование! Спасибо вам за ответы! »

Рад был помочь!