John Elkann nasce a New York nel 1976, primogenito di Margherita Agnelli e del suo primo marito Alain Elkann, giornalista e scrittore italo-francese. I genitori divorzieranno nel 1981.
Ha un fratello, Lapo, e una sorella, Ginevra, e altri cinque fratelli nati dalle seconde nozze della madre con Serge Pahlen. Ha conseguito la maturità scientifica al Liceo Victor Duruy di Parigi e la laurea in Ingegneria Gestionale al Politecnico di Torino nel 2000. Durante il periodo universitario ha maturato esperienze di lavoro in numerose società del Gruppo Fiat, in Gran Bretagna, in Polonia e in Francia.
Nel 1997 Giovanni Alberto Agnelli, figlio di Umberto Agnelli e nipote di Gianni, muore di una rara forma di cancro a soli 33 anni, mentre si avviava a succedere allo zio a capo del Gruppo Fiat. John Elkann fu scelto lo stesso anno come suo successore.