A história do filme começa em 1979, com um breve flashback sobre os momentos trágicos da Família Corleone. Michael Corleone está com 59 anos de idade e ainda se sente culpado pelo desenrolar dos acontecimentos. Seu irmão adotivo, Tom Hagen, está morto. A propriedade dos Corleone em Lago Tahoe está abandonada.

Michael e Kay se divorciaram em 1959 e ele ficou com a custódia dos dois filhos, Anthony e Mary. Michael retorna a Nova Iorque, onde usa sua energia e poder para restaurar sua dignidade e reputação.

Michael criou e se tornou mantenedor de uma instituição de caridade, a Fundação Vito Corleone. Durante uma cerimônia na Catedral de Saint Patrick, presidida pelo arcebispo Gilday, Michael é agraciado com a comenda de Comandante da Ordem de São Sebastião.

Vincent Mancini, filho ilegítimo de Sonny Corleone (morto no primeiro filme), aparece na festa após a cerimônia. Ele se envolveu numa disputa com Joey Zasa, um perigoso chefão mafioso ligado aos Corleone. Michael acaba por apoiar Vincent e o convida a entrar para a família, enquanto isso Zasa se declara inimigo de Michael. Michael continua com seus planos e negocia com o Banco do Vaticano uma operação milionária, ajudado pelo Arcebispo Gilday.

Veja também:
O Poderoso Chefão
O Poderoso Chefão: Parte 2