Алексей Петрович Ермолов родился в семье мценского уездного предводителя дворянства, происходившего от приехавшего в 1506 г. в Москву татарина Арслана Мурзы. Образование он получил в Благородном пансионе Московского университета. В 1794 г. Ермолов стал участником подавления Польского восстания; за отличия при штурме Праги он был награжден орденом Святого Георгия 4-й степени. Двумя годами позже Алексей Петрович участвовал в Персидском походе.
С 1801 г. Ермолов назначен командиром конно-артиллерийской роты. Он участвовал в кампаниях 1805 г. и 1806-1807 гг. С августа 1807 г. - командир 7-й артиллерийской бригады в составе дивизии генерала Дохтурова. За отличия в сражении при Гут-тштадте и Пассаге награжден орденом Святого Георгия 3-й степени. В сражениях при Гейльсберге и Фридланде командовал артиллерией левого фланга. Он был произведён в генерал-майоры.
С мая 1811 г. Ермолов командовал гвардейской артиллерийской бригадой, а позже - одновременно гвардейской пехотной бригадой (лейб-гвардии Измайловский и Литовский полки). С марта 1812 г. он - командир гвардейской пехотной дивизии. После начала Отечественной войны 1812 г. по настоянию М.Б. Барклая-де-Толли Ермолов заменил Ф.О. Паулуччи на посту начальника Главного штаба 1-й Западной армии. Ближайший помощник Барклая-де-Толли, противник отступления. Во время Бородинского сражения фактически выполнял обязанности начальника штаба М.И. Кутузова. Лично возглавил контратаку 3-го батальона Уфимского пехотного полка на занятую французами «батарею Раевского», был ранен.
После сражения исполнял обязанности начальника штаба соединенных армий. На совете в Филях 1(13) сентября Ермолов выступал против оставления Москвы и предлагал дать французам сражение. Он отличился в сражениях при Малоярославце, Вязьме, Красном. В 1812 г. Ермолова назначили командиром усиленного отряда. С 21 ноября - исполняющий обязанности начальника штаба 1-й Западной армии. С 19 декабря 1812 г. - командующий артиллерией действующей армии. После неудачного сражения при Лютцене Ермолова обвинили в нераспорядительности и перевели на пост командира 2-й гвардейской пехотной дивизии.
В сражении при Кульме Ермолов возглавлял 1-ю гвардейскую дивизию, а после ранения генерала А.И. Остермана-Толстого принял его корпус. С 1814 г. Алексей Петрович командовал Обсервационной армией на австрийской границе. В 1815 г. - командир гвардейского корпуса. По окончании кампании Ермолов был награжден орденом Святого Георгия 2-й степени. С 1816 г. он назначен командующим Отдельным Грузинским (с 1820 - Кавказским) корпусом, управляющим гражданской частью в Грузии, Астраханской и Кавказской губерниях, чрезвычайным послом в Персии. Во время русско-турецкой войны 1826-28 гг. вступил в конфликт с генералом И.Ф. Паскевичем, подал в отставку «по домашним обстоятельствам». В 1831 г. Ермолов стал членом Государственного совета. В 1837 переименован в генералы от артиллерии. Во время Крымской войны в 1855 г. он был избран начальником ополчения в 7 губерниях, но из-за разногласий с командованием покинул пост. Умер 11 апреля 1861 г. в Москве и по завещанию похоронен в Орле, рядом с отцом, в церкви Троицкого кладбища.