В 1978 году окончил экономический факультет МГУ имени Ломоносова по специальности "экономист-математик". Работал научным сотрудником во Всесоюзном научно-исследовательском институте системных исследований АН СССР и ГКНТС.
В 1980 году он перешел в Главное валютно-экономическое управление Министерства финансов СССР, где на разных должностях проработал 11 лет.
Попутно Жуков окончил высшие экономические курсы при Госплане СССР, а в 1991 году - школу бизнеса Гарвардского университета для высших менеджеров и государственных служащих.
До августа 1991 года он был членом КПСС.
В 1991 году Жуков занял должность вице-президента внешнеэкономического акционерного общества "Автотрактороэкспорт". В 1990-1993 годах он являлся депутатом Бауманского районного Совета народных депутатов Москвы.
В 1993 году Жуков был избран депутатом Государственной думы первого созыва от Преображенского избирательного округа города Москвы. Жуков работал в парламентском комитете по бюджету, налогам, банкам и финансам, возглавлял подкомитет по валютному регулированию, внешнему долгу, драгоценным металлам и камням.
В 1994-1999 годах Жуков был членом совета директоров Инвестиционного банка "Восток-Запад".
В декабре 1995 года Жуков вновь был избран депутатом Госдумы, где вошел в состав депутатской группы "Российские регионы". В январе 1996 года он стал заместителем председателя парламентского комитета по бюджету, налогам, банкам и финансам. В мае 1998 года Жуков был утвержден председателем бюджетного комитета Госдумы, а также стал членом Наблюдательного совета Сбербанка РФ.
В том же году он был избран заместителем председателя комиссии Госдумы по рассмотрению инвестиционных проектов особой народнохозяйственной и социальной значимости и был включен в состав Межведомственной комиссии по оптимизации государственного оборонного заказа. В 1998 году Жуков руководил работой по принятию Бюджетного кодекса и Налогового кодекса России.
В феврале 1999 года Жуков стал членом Национального банковского совета при Центральном банке России - представителем Госдумы РФ. В мае 1999 года ему был предложен пост заместителя председателя правительства РФ, курирующего экономическую политику, но Жуков от предложения отказался.
В сентябре 1999 года Жуков вошел в состав совета директоров Государственной корпорации "Агентство по реструктуризации кредитных организаций" ("АРКО"). В декабре того же года он был избран депутатом Госдумы третьего созыва как представитель блока "Отечество - Вся Россия". В Думе Жуков стал членом депутатской группы "Регионы России" и вновь возглавил парламентский комитет по бюджету и налогам.
7 декабря 2003 года Жуков был избран депутатом Госдумы четвертого созыва, где вошел во фракцию "Единая Россия". 29 декабря 2003 года он был избран одним из двух (вместе с Любовью Слиской) первых вице-спикеров нижней палаты Федерального Собрания РФ.
В марте 2004 года, после роспуска предыдущего кабинета под руководством Михаила Касьянова, Жуков был назначен заместителем председателя правительства России Михаила Фрадкова. В июне того же года Жуков стал членом совета директоров ОАО "Российские железные дороги" (РЖД), а в июле был избран его председателем.
В сентябре 2004 года Жуков возглавил правительственную комиссию по проведению административной реформы, в ноябре - вошел в состав Высшего совета "Единой России" и стал членом бюро Высшего совета партии.
В июле 2005 года по распоряжению премьер-министра Жуков был снят с должности председателя правительственной комиссии по проведению административной реформы и выведен из ее состава.
В августе 2005 года он был повторно избран председателем совета директоров ОАО "Российские железные дороги".
В октябре 2005 года занял должность заместителя председателя Совета по реализации приоритетных национальных проектов при президенте РФ.
В ноябре 2005 года он перестал быть единственным вице-премьером после назначения еще двух заместителей председателя правительства - Дмитрия Медведева (первый заместитель) и Сергея Иванова (заместитель премьера - министр обороны).
В феврале 2007 года у Фрадкова появился четвертый заместитель - вице-премьер Сергей Нарышкин, а Сергей Иванов был повышен до первого вице-премьера, оставив пост министра обороны. После распределения полномочий между своими заместителями, Фрадков поручил Жукову курировать макроэкономику, инвестиционную политику, деятельность естественных монополий, координировать статистику, вопросы страхования и налогообложения, а помимо этого - отвечать за развитие физической культуры и спорта.
Также было решено, что Жуков будет замещать первого вице-премьера Медведева во время его отсутствия на работе.
12 сентября 2007 года правительство Фрадкова отправилось в отставку, и Жуков стал временно исполняющим обязанности вице-премьера. 14 сентября на посту главы правительства был утвержден Виктор Зубков, а 24 сентября стал известен новый состав кабинета: Жуков сохранил за собой пост вице-премьера.
В октябре 2007 года Жуков занял второе место в региональном списке кандидатов в депутаты от "Единой России" в Москве на выборах в Государственную думу РФ пятого созыва (список возглавил столичный мэр Юрий Лужков). После победы партии на выборах, состоявшихся 2 декабря 2007 года, Жуков остался в правительстве, отказавшись от депутатского мандата.
10 декабря 2007 года Жуков был назначен председателем правительственной комиссии по оценке результативности деятельности федеральных и региональных органов исполнительной власти.
7 мая 2008 года Медведев вступил в должность президента России. В тот же день правительство сложило свои полномочия. В соответствии с указом нового главы государства, членам кабинета министров, в том числе и Жукову, было поручено продолжать исполнять свои обязанности впредь до формирования нового кабинета. Через несколько дней стало известно, что Жуков сохранил пост вице-премьера в правительстве Владимира Путина.
20 мая 2010 года Жуков был избран президентом Олимпийского комитета РФ.
За плодотворную законодательную деятельность в 2001 году Жуков получил благодарность президента Путина, а в 2003 году его указом был награжден орденом Почета.
В 2002 году патриарх Московский и всея Руси Алексий II наградил Жукова орденом Святого благоверного князя Даниила Московского.
Жуков является членом научно-редакционного совета Большой российской энциклопедии.
Он мастер спорта по шахматам, член Совета по спорту при президенте РФ (возглавляет финансово-экономическую комиссию). В 2003-2009 годах Жуков являлся президентом Российской шахматной федерации.
Жуков женат, его супруга Екатерина, юрист по образованию, занимается домашним хозяйством и благотворительностью - помогает детским домам Подмосковья.
Сын Жукова Петр - выпускник факультета права Высшей школы экономики. В апреле 2007 года проживающий и работающий в Лондоне Петр за участие в драке оказался на скамье подсудимых.