В отдельных комнатах богатых бюргерских домов подчас встречались высокохудожественные произведения, но показать их людям было негде — пока в 1773 году одна такая многопрофильная коллекция, завещанная городу врачом Николаусом Химзелем, не стала предком нынешнего Музея истории Риги и мореходства. Со временем музей разросся, и в 1816 году пришлось потеснить Городскую библиотеку: родился Городской кабинет искусств.
Вскоре и в библиотеке стало тесно: в 1866 году магистрат приобрёл у коллекционера Доменико де Робиани собрание работ — новое помещение нашлось три года спустя. В 1872 году и комнаты в нынешней Первой гимназии стало мало, следом в 1879‑ом музей ушёл из тесного Верхнего зала Политехникума. Наконец, до открытия предмета этой статьи картины разместились в доме №4 по современному бульвару Калпака — тогда это был дом Керковиуса, сейчас там библиотека Латвийского университета.
У Керковиуса были неплохие условия для произведений искусства: относительно просторные помещения с благоприятным микроклиматом; всё же Август Холандер, председатель Рижского общества любителей искусств и член магистрата, с 1874 года продвигал идею строительства отдельной галереи. Даже прошёл международный конкурс, в котором победил берлинец Рудольф Шпеер. В 1895 году такое же задание дали рижанину Вильгельму Нейману, тот выдвинул мысль о месте нынешнего Национального театра — но когда состоялся очередной международный конкурс, осталось лишь впустую раздать премии и понаблюдать за занятой стройплощадкой.
Современное место было выбрано в 1899‑ом, тоже не без препятствий. Эспланада в те годы была пустырём в руках военных. Резолюция же царя от 26 декабря 1875 года гласила: на плацу можно строить разве что собор, но не более того, и спорить было непросто. Генерал-майор Суворцев предложил строить позади театра. Дело пошло только после неоднократного вмешательства министра внутренних дел и обещания Рижской думы поднять уровень местного Марсова поля до столичного аналога. «Высочайшее соизволение» строить музей и дом Биржевого коммерческого училища, позднее ставший Академией художеств, было получено 10 января 1902 года.
Проектировал всё тот же Нейман, искусствовед и директор музея с момента открытия вплоть до смерти в 1919 году. Первоначальные эскизы изображали здание со входом у перекрёстка и крыльями по обеим прилегающим улицам; фасад виднелся в натуральном камне. Уже через полгода проект повернули параллельно Николаевской улице, а стены оштукатурили. Окончательный вариант был представлен ровно через год после получения разрешения строить, 14 сентября 1905-го Городской музей искусств открылся.
Здание стоило 240 000 рублей: пришлось экономить. Например, задуманные изначально из песчаника колонны фасада стали кирпичными, а внутренние на самом деле лишь отделали под красный гранит, а внутри — металл.
Первые десять лет музей арендовало всё то же Рижское общество любителей искусств. Его члены, а так же группы школьников, художники и воспитанники художественных школ ходили бесплатно — в среднем они составляли около пятой части годового количества посетителей. Мастерская Августа Грубера под Кёльном сделала копии античных скульптур — сейчас они в Музее зарубежного искусства. Картины, чтобы не рябило в глазах, обозначали лишь номера из каталога.
Музей работал и во время войны, даже устроив одну благотворительную выставку в пользу сестёр милосердия Красного креста — с 5 апреля по 15 мая 1915 года.
6 марта 1919 года Нейман скончался, и вскоре его место занял Вилхелмс Пурвитис. При нём осмотр постоянной экспозиции стал бесплатным, что сохранили и латвийские власти по уходу большевиков. Тогда же вновь активизировались желающие видеть пристройку: первые идеи возникли ещё при открытии основного здания. В 1923 году подобной агитацией занимался Янис Яунсудрабиньш, тогда же Объединение независимых художников организовало лотерею в этой связи — и тоже ничего не построило. Спустя четырнадцать лет Пурвитис повторно и столь же безуспешно обращался в Городскую думу.
В 1936 году скульпутор Буркардс Дзенис создал памятник Янису Розенталсу возле музея. Впоследствии с него несколько раз снимали кисточку.
В то время Городской художественный музей был чем‑то вроде антагониста Государственного художественного музея в Рижском замке. Тот открылся в 1920 году на основе собраний художников, которых Нейман не пускал выставляться у себя. Пришедшая советская власть в 1941 году решила их объединить, поместив русских и латышских-латвийских мастеров на Валдемара, а иностранцев — в замок. Нацисты помешали планам, и слияние завершилось лишь в 1946‑ом.
У немцев же были свои задумки: теперь это был «Deutsches Landesmuseum» из собраний как картин, так и экспонатов исторического музея. Получилась откровенная пропаганда, которая не устраивала даже власти, и музей вернули как было. Параллельно значительная часть залов использовалась под склады санитарных принадлежностей и карт — тем не менее за исключением 250 квадратных метров разбитых стёкол здание серьёзные повреждения не получило. Многие картины, напротив, вывезли или развесили в местных госучреждениях ради украшения помещений. Большинство потом удалось вернуть.
С концом войны вновь заметили нехватку помещений: картин становилось всё больше, а здание на треть становилось складом — к семидесятым. Наконец, в 1986‑ом музей получил ещё один дом — «Арсенал». Сбылась восьмидесятилетняя мечта.