Чтобы почтить память врача И. К. Шварца, в 1859 году его друзья и пациенты стали собирать деньги на строительство детской больницы, но необходимую сумму так и не набрали. Деньги пролежали 20 лет, пока в 1879 году не прочитали завещание рижского купца Джеймса Армистеда, в котором он на это полезное дело завещал 200 000 золотых рублей. Тогда дума призадумалась и решила, что строить нужно не маленькую больницу только на оставленные деньги, как думалось сначала, а полноценное лечебное заведение с привлечением капитала города. Так получилось, что построенная больница оказалась очень современной и большой по тем временам, с аппаратурой производства крупнейших немецких фирм.
Была инициатива в то время очень кстати, поскольку уровень детской смертности — 105 из 1000 детей умирали, так и не отметив пятилетие — был слишком высок для цивилизованного города.
Городская дума участвовала землёй в 15 980 квадратных саженей и 106 656 рублями и 66 копейками, остальные 315 000 рублей получили из денег Армистеда и Щварца. Строительство велось четыре года: с первых работ 10 июня 1895 года до открытия 17 сентября 1899 года — первых пациентов приняли 20 сентября. Их приняли шесть отделений: внутренних болезней, хирургическое, скарлатинное, дифтерийное, инфекционное и амбулаторное. За это брали деньги по следующим расценкам: первого класса — 2,5 рубля в день, второго класса — 1,5 рубля в день, в общей палате третьего класса — 0,75 рублей в день. Платили все: даже сопровождавшие детей; лишь матери младенцев освобождались от этой обязанности. Со временем, правда, у города нашлись деньги на содержание нескольких десятков бесплатных мест для бедных пациентов.
Здания строили по проекту главного архитектора города Рейнгхольда Шмеллинга, поскольку результаты конкурса думу не удоволетворили. На момент открытия там было одно административное здание с надписью «James Armistead», которое сохранилось прямо при входе в больницу, три одноэтажных деревянных барака и шесть кирпичных, одно- и двухэтажных зданий. Потом этот комплекс усердно дополняли: последний, девятиэтажный, корпус сдали в 1971 году.