Ситуация с местами заключения в конце XIX века лучше, чем обычно, не была: тюрем было три, но все они находились в разных местах и были весьма малы и стары. Первые мысли о новостройке генерал-губернатор высказал в 1891 году, при этом указывалось, что хорошо бы там расположить и женскую тюрьму, и больницу, и исправительный дом, поскольку 10 июня 1900 года вышел закон, ограничивавший высылку провинившихся в Сибирь. Всего новое заведение должно было вмещать более 900 арестантов.
Город ответил предложением земли на Александровских высотах, но время шло, и вскоре участок уже не был имуществом самоуправления. Тогда оно в 1902 году передало Главному управлению тюрем территорию, где Центральная тюрьма стоит и в наши дни, и дело пошло быстрее. Эдгар Фризендорф разработал проект, с мастером Кришьянисом Кергалвисом договорились о ведении работ. Здания были готовы в 1905 году.
Это были четыре корпуса: главный — с 24 камерами на 598 мест и церквями трёх основных конфессий, второй — с 58 одиночными камерами и 48 камерами ночной изоляции, в третьем помещалась больница с операционным залом – на 115 мужчин и 15 женщин для заключённых всей Риги, четвёртый занимала женская тюрьма. Рядом расположились мастерские, которые сразу же после постройки были дважды расширены: в 1908-09 и 1914 годах, оттого они вмещали 1 507 человек — при том, что камеры были рассчитаны только на 1 180 заключённых. Весь комплекс состоял из 15 зданий на 5,9 гектарах и обошёлся в 1 341 287 золотых рублей. Особым преимуществом считалось наличие центрального отопления.