Tras la muerte de su hermano menor Brian debido a que C.R.A.S.H. lo ha asesinado, CJ se siente culpable y deja el estado de San Andreas para ir a vivir a Liberty City. Allí se gana la vida en los bajos fondos como un vulgar ratero. Después de 5 años en la ciudad trabajando con Joey Leone, CJ recibe una llamada de Sean "Sweet" Johnson, su hermano mayor, informándole de que su madre acaba de ser asesinada. CJ regresa a Los Santos, pero es arrestado por los miembros del C.R.A.S.H, una unidad policial dedicada a la lucha contra los pandilleros, concretamente el Oficial Tenpenny y el Oficial Pulaski.
Estos le culpan del asesinato de un policía (que en realidad fue asesinado por Hernández, obligado por Tenpenny si no el lo mataba a Hernández), por lo que CJ es obligado a permanecer dentro de Los Santos, su ciudad natal, por ser sospechoso. Allí intenta investigar quién está detrás de la muerte de su madre, mientras consigue ganarse el respeto de su banda y dinero mediante variadas misiones. En una de ellas conoce a César Vialpando, el novio de su hermana Kendl, quien pronto se convierte en su amigo y punto de contacto para las carreras ilegales.
Mientras está haciendo misiones extorsionado por el C.R.A.S.H., César le avisa para que vea con sus propios ojos que Ryder y Big Smoke, compañeros de banda de los GSF y amigos de Carl desde la infancia, están relacionados tanto con Tenpenny como con los Ballas (la banda rival de los GSF) y con el Sabre verde que conducían los asesinos de la señora Johnson. Carl intenta entonces evitar que Sweet caiga en una trampa, sin embargo sólo consigue salvarle la vida, pues Sweet es herido y encarcelado, y Carl amordazado y secuestrado por el C.R.A.S.H.
CJ despierta en Angel Pine, un pueblo en medio del campo, y tras lograr contactar con su hermana y con César, conoce a Catalina. Tras una serie de atracos a negocios de la zona, Catalina termina siendo la "novia" de Carl, hasta que lo deja en paz por Claude (que no es otro que el protagonista de GTA III), a la par que CJ conoce a Wu Zi Mu, líder de una banda en San Fierro, en una carrera ilegal en las montañas.También conoce a un hippie "The Truth".
Precisamente en San Fierro es donde CJ abre un garaje, y tras varias misiones, consigue establecer contacto con la banda que colabora con Ryder, Big Smoke y los Ballas en el negocio de las drogas, el Loco Syndicate. Carl asesina uno a uno a sus miembros, hasta que consigue acabar con Ryder en una alocada persecución en lancha.
Una vez eliminada la banda, Carl busca venganza contra Big Smoke; sin embargo, alguien misterioso atrae su atención desde el desierto. Encaminando sus pasos hacia allí y dando pruebas de su valía, Carl consigue ver quién hay tras la misteriosa voz modificada del teléfono: Mike Toreno, a quien Carl había creído asesinar en su cruzada contra el Loco Syndicate. Toreno resulta ser miembro de una agencia de inteligencia extranjera, y le pide ayuda con varios asuntos que tiene pendientes, que llevarán a Carl, junto con Wu Zi Mu, al casino Four Dragons, en Las Venturas, mientras Toreno mueve hilos para liberar a Sweet.
Una vez en Las Venturas, Carl planea un golpe importante, se trata de robar el casino Calígula's Palace (basado en el Caesar's Palace de Las Vegas). Cuando lo consigue, Salvatore Leone, su dueño, promete vengarse. Mientras tanto, el C.R.A.S.H. está empezando a tener problemas con el FBI y la DEA, y requieren a Carl para recuperar un dossier que les inculpa directamente. Una vez acabado el trabajo, Tenpenny deja encargado a Pulaski el deshacerse de Hernández, compañero de la misma unidad reticente a participar en trabajos ilegales, y de Carl. Sin embargo, al matar a Hernández, Pulaski se distrae y Carl consigue hacerse con el control de la situación.
Tras perseguirle en moto, Carl acaba finalmente con la vida de Pulaski. Algo más tarde, un rapero muy conocido llamado Madd Dogg, al que Carl robó sus rimas, está al borde del suicidio. CJ, consigue salvarle la vida y se convierte en su mánager. Al mismo tiempo, Carl cumple sus últimas misiones para Mike Toreno, quien cumple su promesa y libera a Sweet de la cárcel.
Carl, junto con Sweet, Madd Dogg, César y Kendl, vuelve a Grove Street, su barrio en Los Santos, pudiendo comprobar que las bandas de la zona se han hecho con el control. Carl va ganando territorios hasta que asaltan la casa de Big Smoke, quien muere entre estertores. Tenpenny entra en escena y huye, pero Carl y Sweet lo persiguen hasta que queda moribundo. Carl Johnson consigue tomar el control de los bajos fondos de todo San Andreas y su banda, los GSF, dominan la ciudad de Los Santos.
