Club Carragher entra a far parte delle giovanili del Liverpool ancora teenager, nonostante fosse un tifoso dei rivali cittadini dell'Everton. Nelle giovanili del Liverpool vince la FA Youth Cup nel 1996 in una squadra che aveva al suo interno anche il suo amico Michael Owen.
Nell'ottobre 1996 firma il suo primo contratto da professionista e tre mesi dopo esordisce in prima squadra nella semifinale della League Cup contro il Middlesbrough, entrando a sostituire Rob Jones. Poco dopo fa il suo debutto anche in Premiership entrando dalla panchina nel match contro il West Ham. La partita successiva contro l'Aston Villa lo vede titolare e lui ripaga la fiducia segnando il primo gol, proprio di fronte alla tribuna dei tifosi avversari.
A partire dalla stagione seguente Carragher si guadagna un posto fisso in prima squadra, e nel 1998-99 le sue ottime prestazioni in campionato gli valgono la prima convocazione in Nazionale. Durante questi primi anni Carragher viene utilizzato in tutti i ruoli della difesa, riuscendo sempre a dare il suo importante contributo alla squadra grazie alla sua versatilità. Ovunque ci fosse un "buco" in difesa Carragher era in grado di ricoprirlo, per la gioia del suo allenatore.
Nel gennaio 2002 è protagonista di uno spiacevole incidente nel pareggio in FA Cup contro l'Arsenal. Dagli spalti venne lanciata una moneta, e Carragher dopo averla raccolta decide di rilanciarla fra i tifosi. Per questo gesto si guadagna un cartellino rosso e una nota di biasimo dalla Football Association. Il suo anno sfortunato continua con un infortunio al ginocchio che gli impedisce di prender parte ai Mondiali di calcio di Giappone e Corea 2002 e lo tiene fuori anche i primi mesi della stagione successiva.
In questo periodo Carragher si trova a occupare la posizione di terzino destro ma nell'estate del 2003, l'acquisto del più offensivo Steve Finnan sembra debba costargli la perdita del posto da titolare. La battaglia per il posto sulla fascia però si interrompe alla quinta giornata di Premier, quando un tremendo tackle di Lucas Neill dei Blackburn Rovers F.C. gli costa una gamba rotta e sei mesi di infortunio. L'infortunio fu reso ancora più sgradevole dal fatto che né Neill né il manager del Blackburn Graeme Souness si scusarono per l'intervento assassino, causando l'ira di Gérard Houllier. Nella seconda parte della stagione Carragher torna comunque titolare e gioca altre 17 partite in Premiership.
Nella stagione 2004-2005 il nuovo manager Rafael Benítez lo sposta nel ruolo di difensore centrale dove forma con Sami Hyypiä una delle migliori coppie di centrali della Premiership. Alla fine di questa stagione, che vedrà il Liverpool trionfare in UEFA Champions League, Carragher è stato votato "Giocatore dell'anno del Liverpool" per le sue ottime prestazioni.
L'8 luglio 2005 firma un nuovo contratto di 4 anni con il Liverpool, assieme al compagno Steven Gerrard, legandosi di fatto a vita con i Reds. Le stagioni seguenti lo vedono sempre titolare, schierato come centrale al fianco di Hyppia o del nuovo arrivato della stagione 2006-07 Agger.
Nazionale Carragher fa il suo debutto con la nazionale Under-21 Inglese nel 1996 come centrocampista arretrato e diventando in breve il capitano della squadra. Con 27 presenze detiene il record di partite giocate con l'Under-21.
Il suo esordio in prima squadra è del 28 aprile 1999, entrando dalla panchina nella partita contro l'Ungheria. Il suo debutto da titolare avviene invece nel 2001 a White Hart Lane contro l'Olanda. A causa di un infortunio ha perso i mondiali del 2002, mentre per i Campionati europei di calcio 2004 viene convocato ma non riesce a giocare nemmeno una partita. Partecipa anche ai mondiali del 2006 e fa il suo esordio nella partita contro la Svezia, sostituendo durante il match l'infortunato Gary Neville.
Nei quarti di finale contro il Portogallo sostituisce Aaron Lennon nel secondo tempo ed è uno dei tre giocatori inglesi che si fanno parare il rigore da Ricardo Pereira. Carragher fu particolarmente sfortunato nell'occasione perché fu costretto a tirare il rigore due volte, dato che al primo tentativo, nella cui occasione era anche riuscito a segnare, aveva tirato prima che l'arbitro fischiasse.