Альфа-банк учреждён 20 декабря 1990 года в форме товарищества с ограниченной ответственностью, а лицензию Центрального банка Российской Федерации на осуществление банковских операций получил в январе 1991 года. В августе 1991 года Альфа-банк начал обслуживание первого корпоративного клиента.

В июне 1992 года Альфа-банк получил от ЦБ РФ внутреннюю и расширенную валютные лицензии, после чего компания открыла свои первые счета «ностро» в шести иностранных банках, в декабре того же года в Москве открылось его первое отделение.

В апреле 1993 года банк получил генеральную лицензию ЦБ РФ на осуществление банковских операций, а также стал членом ММВБ. В октябре того же года Альфа-банк становится официальным дилером Банка России по операциям с ГКО и ОФЗ Министерства финансов РФ.

В дальнейшем банк поступательно развивался: в 1993 году он присоединился к платежной системе Union Card, в 1994 году — к системе SWIFT и карточной системе MasterCard/Europay.

Также в 1994 году Альфа-банк становится первым российским банком, открывшим дочерний банк в Казахстане. В июле 1994 года генеральная лицензия Альфа-банка была дополнена разрешением на проведение операций с драгоценными металлами.

В 1995 году банк открыл представительство в Лондоне.

В 1996 году Visa International сделала Альфа-банк своим полноправным участником. В июле 1996 года Альфа-банк аккредитован на участие в программе FIDP (Программе развития финансовых учреждений), проводимой Мировым Банком и Европейским Банком Реконструкции и Развития, и курируемой совместно Министерством финансов, и Центральным банком Российской Федерации. В августе 1996 года Центральный банк России предоставил Альфа-банку право вести счета типа «С», открываемые для иностранных инвесторов и позволяющие участвовать на рынке государственных обязательств России.

В феврале 1997 года Альфа-банк смог привлечь синдицированный кредит на сумму 40 млн $, что стало первым шагом к выходу банка на западные рынки. В марте 1997 года Альфа-банк был назначен уполномоченным банком, осуществляющим размещение первого выпуска еврооблигаций Российской Федерации, номинированного в немецких марках. В июле 1997 года Альфа-банк стал первым частным российским банком, выпустившим Еврооблигации. В декабре этого же года Центральный банк Российской Федерации выдал Альфа-банку лицензию на осуществление брокерской и дилерской деятельности, а также лицензию на проведение операций по доверительному управлению ценными бумагами, и депозитарной деятельности. В этом же году банк продолжил свое расширение, открыв офисы в Санкт-Петербурге и Самаре.

В январе 1998 года банк изменяет свою юридическую форму с общества с ограниченной ответственностью на открытое акционерное общество. В июле того же года было осуществлено слияние «Альфа-банка» и группы компаний «Альфа-капитал». Банк относительно безболезненно преодолел экономический кризис 1998 года, не прекратив выплаты вкладчикам и исправно погашая купоны по еврооблигациям.

В апреле 1999 года Альфа-банк вошел в список уполномоченных банков-агентов и заключил в рамках Государственной Программы льготного кредитования сельхозтоваропроизводителей и предприятий АПК кредитных договоров на сумму более 1 млрд рублей.

В 2000 году Альфа-банк первым из российских банков объявил о выпуске собственных Евробондов на $150-200 млн. В октябре того же года Альфа-банк первым среди российских банков начал выпуск виртуальных карт Eurocard-MasterCard для расчетов в интернете.

В марте 2001 года Альфа-банк открыл дочернюю компанию Alfa Capital Markets (USA) Inc., задачей которой стало обслуживание корпоративных клиентов и инвесторов в США, Канаде и Латинской Америке, со специализацией на портфельных инвестициях и консультировании по вопросам прямых инвестиций в Россию. В марте 2001 года Альфа-банк запустил в эксплуатацию первую очередь Call-Center, осуществлявший справочную поддержку владельцев пластиковых карт.

Серьёзные трудности руководству и владельцам Альфа-банк пришлось перенести в июле 2004 года. Банк столкнулся с высоким оттоком вкладчиков (всего банк потерял около 20 % частных клиентов, державших деньги на депозитах) и ввёл 10%-ю комиссию за преждевременное изъятие вкладов (позднее суммы этой комиссии были возвращены вкладчикам). Совокупный отток средств составил для банка около 650 млн $, и его акционерам пришлось помогать «Альфа-банку» личными средствами. Позднее руководство банка обвинило газету «Коммерсантъ» в разжигании паники вокруг банка и обратилось в суд. Арбитражный суд Москвы удовлетворил иск Альфа-банка к издателю газеты «Коммерсантъ» ЗАО «Коммерсантъ. Издательский дом» о защите деловой репутации.

В октябре 2005 года Альфа-банк аккредитован при Агентстве по страхованию вкладов.

В марте 2008 года Альфа-банк выступил организатором первого в России размещения нового для российского фондового рынка инструмента — биржевых облигаций.

В декабре 2010 года Альфа-банк одним из первых в России выпускает специальное банковское приложение для смартфонов и коммуникаторов на операционной системе Android.

В сентябре 2019 года Альфа-банк первым в России запустил сервис BaaS (banking as a service).