Case study: LiveJournal’s Memcache

[olgagermany]

Engineers working on the blogging system LiveJournal started to look at how their sys-
tems were using their most precious resource: the RAM in each web server. Live-
Journal had a problem. Their website was so popular that the number of visitors using
the site continued to increase on a daily basis. The only way they could keep up with
demand was to continue to add more web servers, each with its own separate RAM.
To improve performance, the LiveJournal engineers found ways to keep the results
of the most frequently used database queries in RAM, avoiding the expensive cost of
rerunning the same SQL queries on their database. But each web server had its own
copy of the query in RAM; there was no way for any web server to know that the server
next to it in the rack already had a copy of the query sitting in RAM.
So the engineers at LiveJournal created a simple way to create a distinct “signa-
ture” of every SQL query. This signature or hash was a short string that represented a
SQL SELECT statement. By sending a small message between web servers, any web
server could ask the other servers if they had a copy of the SQL result already exe-
cuted. If one did, it would return the results of the query and avoid an expensive
round trip to the already overwhelmed SQL database. They called their new system
Memcache because it managed RAM memory cache.
Many other software engineers had come across this problem in the past. The con-
cept of large pools of shared-memory servers wasn’t new. What was different this time
was that the engineers for LiveJournal went one step further. They not only made this
system work (and work well), they shared their software using an open source license,
and they also standardized the communications protocol between the web front ends
(called the memcached protocol). Now anyone who wanted to keep their database from
getting overwhelmed with repetitive queries could use their front end tools.

Comments

[p-a-s-h-a2.livejournal.com]

Это не абстрактные "Engineers", а , собственно, avva, далее цитата:

Десять лет назад я написал программу, трудами которой вы пользуетесь прямо сейчас, и много раз каждый день. Каждый раз, когда вы заходите в Фейсбук, Твиттер, Ютюб, Википедию, и вообще почти любой большой сайт сегодняшнего веба, эти сайты пользуются программой, которую я написал 10 лет назад, чтобы показать вам то, что вам нужно.

(ее написал не только я, и вообще сама идея этой программы принадлежит Брэду Фицпатрику, а не мне. Основная заслуга его. Но общий дизайн программы, большая часть ее кода, ее стабильность, быстрота исполнения, устойчивость к огромным нагрузкам и простота протокола - это все делал я, и это помогло, полагаю, ей так широко распостраниться и стать столь популярной и повсеместно используемой).

Мысль об этом юбилее наполняет меня не столько гордостью, сколько меланхолией. Десять лет назад я написал программу. Ее популярность и влияние в том, что касается больших веб-сайтов с динамическим контентом, презвошло все ожидания. Никто не мог предсказать, что так случится, а оно вот так случилось. Почти наверняка все, что я сделал после этого, и все, что сделаю в будущем, никогда не сравнится с этой программой по числу людей, жизни которых оно как-то затронет. Слова, которые я напишу. Программы, которые запрограммирую. Дела, которые сделаю. Что-то из этого будет важным, конечно, для меня самого, для близких и друзей. Но если говорить о человечестве в целом, это будет незначительно в сравнении с несколькими сотнями строк кода на C, которые я написал тогда.

Десять лет назад я написал программу. Уже написал.

[p-a-s-h-a2.livejournal.com]

т.е. avva, он ведет блог достаточно активно и сейчас, как и в 2013 году и в 2003-м...

[olgagermany.livejournal.com]

о, интересно, не знала. сейчас читаю пару книжек по NoSQL - очень интересно. прямо всё на глазах происходило :-)