Родился 15 марта 1930 в Витебске, Белоруссия. Имя получил в честь Жана Жореса, основателя газеты L’Humanite и лидера французской социалистической партии.
Довоенные годы провёл в Сталинграде, Новосибирске, Барнауле и Ленинградской области. Во время Великой Отечественной войны семья Алфёровых перехала в Свердловскую область и после её окончания в разрушенный войной Минск.
Окончил с золотой медалью среднюю школу №42 в Минске и поехал поступать в Ленинград, в ЛЭТИ. В 1952 окончил Ленинградский Электротехнический институт имени В. И. Ульянова (ЛЭТИ) (факультет электронной техники), куда был принят без экзаменов.
С 1953 работал в Физико-Техническом Институте имени А. Ф. Иоффе, где был младшим научным сотрудником в лаборатории В.М. Тучкевича и принимал участие в разработке первых отечественных транзисторов и силовых германиевых приборов.
В 1970 году Алферов защитил диссертацию, обобщив новый этап исследований гетеропереходов в полупроводниках, и получил степень доктора физико-математических наук. В 1972 году Алферов стал профессором, а через год — заведующим базовой кафедрой оптоэлектроники ЛЭТИ.
С начала 1990-х годов Алферов занимался исследованием свойств наноструктур пониженной размерности: квантовых проволок и квантовых точек. С 1987 по май 2003 — директор СПбГЭТУ, с мая 2003 по июль 2006 — научный руководитель.
Кандидат ф.-м.н.наук (1961), доктор физико-математических наук (1970). Профессор ЛЭТИ (1972). В 1990-91 гг. — вице-президент АН СССР, председатель Президиума Ленинградского научного центра, академик АН СССР (1979), затем РАН, почётный академик Российской академии образования. Вице-президент РАН, председатель президиума Санкт-Петербургского научного центра РАН.
Автор более пятисот научных работ, трех монографий и пятидесяти изобретений.
Лауреат Нобелевской премии — «За развитие полупроводниковых гетероструктур для высокоскоростной и оптоэлектроники», (Швеция, 2000);
Награжден орденами СССР: Орден Знак Почёта (1959), Трудового Красного Знамени (1975), Октябрьской Революции (1980), Ленина (1986) , а также орденами Российской Федерации «За заслуги перед Отечеством» I- III степеней (1999 — 2005)