Первое известное здание будущего Агенскалнса и всего левобережья было построено в 1226 году — это мельница святой Марии. Примерно через столетие появились и первые усадьбы рижан, их поля и натуральные хозяйства, имущества городских монастырей. Только тогда это ещё не был Агенскалнс: отставной судья по фамилии Аген поселился в своей усадьбе лишь в XVII веке. Его потомки уже подыскивали себе другое место проживания, а в Агенхофе жил то господин Граве, то господин Шварц, давший построенному в 1850 году небольшому домику на углу Кришьяна Валдемара и Даугавгривас последнее название — Шварценгоф. А посёлок всё время так и оставался горой имени старинного вершителя судеб.
Он возник одовременно с усадьбой у пересечения улиц Нометню, Межа и Сетас, а уже в конце того века там существовала одна из трёх латышских школ Пардаугавы. В 1697 году там была оборудована городская печь для обжига кирпича — главный поставщик стройматериалов для домов внутренней Риги. Одновременно там могли делать 40 000 кирпичей: для сравнения, подобное учреждение в Елгаве ограничивалось только 25 000. С XVIII века на месте нынешней больницы имени Страдыня имелось Лагерное поле, где находились летние лагеря рижского гарнизона, которые исчезли ещё в 1880‑ых годах, но оставили след в виде улицы Легеру, ныне знакомой нам как Нометню.
Войны не щадили рижские предместья: 11 раз их пожирали языки пламени с 1599 по 1812 год, а ведь были пожары и ранее — и большинство не делало исключение для Агенскалнса. Тем не менее, посёлок рос, и в 1853 году в Агенскалнсе было в два с половиной раза больше построек, чем в 1788-ом: 294 и 112 соответственно; к концу XIX века застройка дошла уже до Тукумской железной дороги. В ту далёкую пору центром района считалась площадь около перекрёстка улиц Калнциема и Даугавгривас, где находилась переправа. Неподалёку был также Агенскалнский парк, любимое место отдыха рижан, а рядом с ним находились рыночная площадь и почтамт на улице Сетас. Примерно там же, в начале улицы Даугавгривас, располагался второй полицейский участок Риги, а также многочисленные кабаки и трактиры.
В конце 19 века стала складываться регулярная планировка кварталов, которая поныне усматривается в районе улицы Баложу. Думали о выпрямлении улиц и перед Первой Мировой войной, даже был построен один семиэтажный дом, рассчитывая на продление улицы Нометню. Так он и стоит, как чужак, выходя своим фасадом во двор, а брандмауэром — к улице.
Нынешний центр района возле Агенскалнского рынка стал образовываться на стыке веков. Уже в 1890 году на улице Херманя был построен Сиротский дом, в 1910 году — 2-ая городская больница (ныне больница имени Страдыня), в тот же период возвели новые павильоны рынка и католическую церковь святого Альберта (1900 год, архитектор Оскар Бар) на улице Лиепаяс, возле которой позже появились одни из двух межвоенных примеров блокированных домов Риги. В 1905 году по улице Шонеру (ныне Бариню) пустили маршрут трамвая. Единство Агенскалнса нарушило продолжение улицы Слокас до Шонеру в 1930 году. Оживленное движение искусственно разрезало район на две части.
Однако бóльшие перемены Агенскалнс пережил уже после войны, когда на месте Агенскалнского леса был построен жилмассив Агенскалнские сосны, а многие фабричные корпуса, появившиеся в XIX веке вместе с самими производствами, дополнены некрасивыми пристройками (хотя, конечно, трудно судить, были ли старые корпуса пригляднее).
В состав Третьего, Митавского, предместья Агенскалнс вошёл 24 декабря 1786 года с севера и в 1828 году южнее, возле улиц Маза Нометню и Марупес.