Системные баги под нагрузкой, или Как мы пытались найти баг в ядре ОС

Когда production-база данных крупного и важного приложения падает с SegFault'ом, то кроме ругани на кривые руки разработчиков ничего больше не возникает. Потом база снова падает и еще раз падает. Только вот падает в разных местах, при разных обстоятельствах, и никакой зацепки нет.

Такая ситуация случилась у клиентов Postgres Professional, и с этого началась история поиска причины длиной в целый год.

Расскажем, какие проблемы появлялись, как мы учились воспроизводить дефект, как наступали на детские грабли и чем это все закончилось (или не закончилось).