Сын мелкопоместного польского дворянина-шляхтича, владельца хутора Дзержиново (15 км от Ивенца), преподавателя гимназии Эдмунда-Руфина Иосифовича Дзержинского (одно время служившего в мужской гимназии в Таганроге и преподававшего математику юному Антону Чехову). Мать — Хелена Дзержинская, дочь профессора Игнатия Янушевского. 

Был сторонником вступления Литовской социал-демократической партии в Российскую социал-демократическую рабочую партию и последователем Розы Люксембург в национальном вопросе. В 1900 г. участвовал в работе первого съезда Социал-демократии Королевства Польского и Литвы (СДКПиЛ). 

С 14 апреля 1921 по 6 июля 1923 — Народный комиссар путей сообщения РСФСР. С 6 июля 1923 по 2 февраля 1924 — Народный комиссар путей сообщения СССР. Руководил восстановлением технической базы железных дорог, организовывал ритмичность работы железнодорожного транспорта, решительно боролся с хищениями, бесхозяйственностью, коррупцией и взяточничеством.

20 июля 1926 г. на пленуме ЦК, посвящённом состоянию экономики СССР, Дзержинский произнёс двухчасовой доклад. Из-за нервного срыва ему стало плохо. В тот же день он скончался от сердечного приступа 

На доме № 64, по улице Дзержинского, установлена мемориальная доска А. И. Хацкевичу — активному участнику борьбы за установление Советской власти на Борисовщине.

Ранее часть улицы Дзержинского от рынка в сторону Березины называлась "улица Полынская", а от рынка в сторону СШ №1 "улица Московская".