Дата-центри Google на перфокартах

Якщо зберігати дані на перфокартах, наскільки великим буде сховище дата-центру Google?

- Джеймс Зетлен

Ємність перфокарти - 0,57 твіти.

Мабуть, Google може зберігати більше даних, ніж будь-яка інша організація на Землі.

• АНБ (Агентство національної безпеки),
• УНР (Національне управління військово-космічної розвідки США),
• NGIP (Національне агентство геопросторової розвідки),
• ЦРУ (Центральне розвідувальне управління США),
• Шлюмберже (Найбільша нафто-сервісна компанія),
• Tencent (Китайська телекомунікаційна компанія),
• Шеврон (Енергетична компанія в США, одна з найбільших корпорацій в світі).

Втішний приз отримують:

• Amazon (Величезний, але, швидше за все, не настільки, наскільки Google),
• Facebook (Досить масштабний, швидко росте, але все ще грає в догонялки),
• Microsoft (Володіє мільйоном серверів [1], ↲ Data Center Knowledge: Балмер: «У Microsoft мільйон серверів» . ↳ хоча ніхто, здається, не знає, навіщо).

Давайте спробуємо з'ясувати, як багато обчислювальних потужностей у Google.

Майстер-клас від грошей

Почнемо з грошового сліду. Основні витрати Google - витрати на будівельні матеріали [2] ↲ Я не включаю вартість надзвичайно дорогого будівлі, яке вони купили в Нью-Йорку. ↳ - іноді налічують понад 12 мільярдів доларів [3]. ↲ Data Center Knowledge: Будівельний бум дата-центрів Google триває: 1,6 мільярда доларів інвестицій за 3 місяці . ↳ Найбільші дата-центри Google коштують від півмільярда до мільярда доларів, значить, їх навряд чи більше 20.

У себе на веб-сайті [4] ↲ Розташування дата-центрів . ↳ Google підтверджує наявність дата-центрів в наступних місцях:

1. Округ Берклі шт. Південна Кароліна.
2. Консіл-блафс шт. Айова.
3. Атланта шт. Джорджія.
4. Округ Мейз шт. Оклахома.
5. Ланор шт. Північна Кароліна.
6. Делзіл шт. Орегон.
7. Гонконг.
8. Сінгапур.
9. Тайвань.
10. Хамина, Фінляндія.
11. Сен-Гіслен, Бельгія.
12. Дублін, Ірландія.
13. Киликура, Чілі.

До всього іншого, вони, мабуть, управляють декількома іншими великими дата-центрами (іноді через дочірні компанії), включаючи:

1. Емсхавен, Нідерланди.
2. Гронінген, Нідерланди.
3. Будапешт, Угорщина.
4. Вроцлав, Польща.
5. Рестон, Віргінія.
6. Додаткові вузли неподалік від Атланти, Джорджія.

Їх обладнання також працює в десятках, а то і сотні інших місць поменше по всьому світу.

Майстер-клас від енергії

Щоб дізнатися, скільки серверів запущено в Google, ми можемо зазирнути в їх рахунок за електрику. На жаль, ми не можемо просто прокрастися в дата-центр і подивитися на лічильник [5]. ↲ Або, стривайте, можемо? Хтось повинен спробувати. ↳ Замість цього доведеться трохи покопати.

Компанія розкрила відомості, що в 2010 році вони споживали в середньому 258 мегават потужності [6]. ↲ Google використав 2 259 998 МВт⋅ч електроенергії в 2010 році , Що відповідає середньому споживанню в 258 мегават. �� На скільки комп'ютерів цього вистачить?

Нам відомо, що дата-центри Google вельми ефективні. Лише 10-20% енергії витрачається на охолодження і інші накладні витрати [7]. ↲ Google: Ефективність: Як ми це робимо . ↳ Щоб уявити, скільки енергії використовує кожен сервер, ми можемо подивитися на концепт «дата-центру в контейнері» 2005 року. Не цілком ясно, чи використовують вони ці контейнери на практиці - можливо, це лише застарілий експеримент, - але він дає нам уявлення про те, що вони вважають (або вважали) розумним енергоспоживанням. Відповідь: 215 ват на сервер.

Судячи з цих цифр, в 2010 році під управлінням Google знаходилося близько мільйона серверів.

З тих пір вони неабияк виросли. До кінця 2013 року сума грошей, вкладених в дата-центри, перевищить витрати 2010 року в три або чотири рази. Компанія уклала договір на придбання понад триста мегават потужності тільки для трьох вузлів [8] ↲ Google: Придбання чистої енергії . ↳ - це вже більше, ніж всі її енерговитрати 2010 року.

Грунтуючись на енергоспоживанні серверів і оцінці грошових витрат, я б припустив, що Google зараз використовує (або скоро буде використовувати) від 1,8 до 2,4 мільйона серверів.

Але що являють собою ці «сервери» в дійсності? Google може ставити божевільні експерименти, запускаючи пульти з сотнею ядер або сотнею дисків. Якщо припустити, що кожен сервер має пару [9] ↲ Десь від 2 до 5 . ↳ двотерабайтний дисків, ми отримаємо майже 10 ексабайт [10] ↲ Як нагадування - порядок такий: кіло, мега, гіга, тера, пета, екса, Зетта, йотта. Ексабайт - це мільйон терабайт. ↳ активного сховища, підключеного до працюючих кластерам.

10 ексабайт

Виробники жорстких дисків для комерційного використання щорічно відвантажують таких сумарною місткістю до 8 ексабайт [11]. ↲ IDC: Дохід світових виробників зовнішніх дискових систем зберігання знижується другий квартал поспіль . ↳ Сюди необов'язково відносяться компанії на кшталт Google, але, так чи інакше, у Google напевно високий попит на світовому ринку жорстких дисків.

Гірше того: через гігантської кількості підконтрольних Google дисків черговий з них «вмирає» кожні кілька хвилин [12]. ↲ Едуардо Пінейро, Вольф-Дітріх Вебер і Луї Андре Барроса «Тенденції відмови системи дисків великої чисельності» . ↳ Це не дуже затратно, щоб стати проблемою - за великим рахунком, вони просто стають краще в заміні дисків, - але дивно розуміти, що працівник Google, запускаючи код, буде знати: коли виконання закінчиться, на одному з комп'ютерів, де код працював, ймовірно, відмовить жорсткий диск.

Накопичувачі на магнітних стрічках в Google

Звичайно, це стосується тільки накопичувачів, приєднаних до працюючих серверів. А як щодо «заморожених»? Хто знає, скільки даних Google - або хто-небудь ще - зберігає в підвальних архівах?

У телефонному інтерв'ю 2011 року з Полом Мехом з SMB Tech і Саймоном Андерсеном з Tandberg Data вони проговорилися [13], ↲ SMB Tech: Чи підходить магнітна стрічка малому і середньому бізнесу? ↳ що Google - найбільший споживач картриджів з магнітною стрічкою і набуває їх близько 200 000 на рік. Припустивши, що вони збільшили закупівлі з тих пір, як розширилися, можна додати ще кілька ексабайт архіву на магнітній стрічці.

Збираємо все воєдино

Припустимо, що ємність Google - 15 ексабайт, або 15 000 000 000 000 000 000 байт.

Перфокарта зберігає близько 80 символів, а в коробці 2000 карт:

Чотирьох коробок перфокарт вистачить усім.

П'ятнадцяти ексабайт перфокарт вистачить, щоб покрити мою батьківщину, Нову Англію, шаром товщиною близько 4,5 кілометра. Це в три рази більше, ніж товщина крижаного покриву над регіоном в останній льодовиковий період.

Ілюстрація люб'язно надана з дозволу xkcd.com.

Здається, це багато.

Однак це ніщо в порівнянні зі сміховинними заявами в деяких новинах про дата-центрі АНБ в штаті Юта.

Дата-центр АНБ

Агентство національної безпеки будує дата-центр в штаті Юта. Засоби масової інформації заявляють, що він може містити до йоттабайт даних [14], ↲ CNET: АНБ зберігає йоттабайт даних в дата-центрі штату Юта . ↳ що явно абсурдно.

У подальших новинах вони поміняли свою думку, кажучи про те, що об'єкт може містити тільки близько 3-12 ексабайт [15]. ↲ Forbes: За кресленнями сміховинно дорогого дата-центру в штаті Юта можна припустити, що він містить менше даних, ніж очікувалося . ↳ Ми також знаємо, що підприємство витрачає приблизно 65 мегават [16], ↲ Salt-Lake City Tribune: Дата-центр АНБ в Блаффдейле НЕ буде пожирати харчування Юти . ↳ що порівнянно зі споживанням великої дата-центру Google.

Кілька заголовків замість того, щоб вибрати ту чи іншу оцінку, анонсували, що об'єкт може містити «від ексабайта до йоттабайт» даних ... [17] ↲ Dailykos: Дата-центр в штаті Юта зберігає від 1 ексабайта до 1 йоттабайт даних . ↳ Це приблизно як говорити «вважають, що втекла змія була довжиною від 1 міліметра до 1 кілометра».

Подальше розкриття секретів Google

За допомогою багатьох хитрощів можна розкопати інформацію про роботу Google. За іронією долі, чимала їх частина вимагає використання самого Google - від пошуку оголошень про вакансії в дивних містах до використання пошуку по зображеннях, щоб знайти просочилися в мережу фотографії з мобільника після відвідування дата-центру.

Однак найкращим прийомом для виявлення секретних технічних споруд Google може бути той, який розкрив колишній працівник Google talentlessclown на сайті reddit [18]: ↲ reddit: Чи може r / Australia допомогти знайти дата-центр Google в Сіднеї? Здається трохи таємничим ... .

Найлегший спосіб знайти дата-центр Google, в якому працюють люди, - запитати таксистів і доставщиків піци.

В цьому є щось піднесене. Google створив, напевно, найбільш складний апарат зі збору інформації в історії ... але люди, які знають більше за все про них, - це розвізники піци.

Хто устережёт самих сторожів?

Quis mulgere ipsos lac homines?

[#] �� Приблизний переклад з латині: «Хто доїть молочників?» Натяк на вислів з попереднього абзацу, що є усталеним перекладом фрази «Quis custodiet ipsos custodes?». - Прим. пер.

Мабуть, Domino's [#]. ↲ Гра слів: Domino's - популярна мережа піцерій; в той же час натяк на слово Domini (Всевишній). - Прим. пер.