Johnson ganhou o campeonato de salto em fundura da Pacific Coast Conference em 1959 com uma exibição de 24 pés e 9 ¾ polegadas. Em 1960, ele conquistou a diadema de subida barreira da Associação Atlética de Universidades Ocidentais (AAWU) com uma corrida de 14,3 segundos. Johnson acrescentou um título da NCAA ao evento daquele ano, marcando um tempo de 14,0.
Johnson foi lateral, ponta dividida e resguardo do time de futebol americano da UCLA de 1958-1961. Ele registrou 39 corridas para 290 jardas (7,4 jardas por corrida) e fez 28 passes para 543 jardas (19,4 jardas por recepção), marcando quatro touchdowns. Johnson também retornou nove kickoffs para 230 jardas (25,6 jardas por retorno) e teve uma interceptação. Ele pegou um touchdown de 65 jardas de Billy Kilmer contra Utah em 1959, para o gol mais longo da campanha dos Bruins. As equipes de 1959 e 1961 venceram campeonatos AAWU.
Escolhido na primeira rodada do draft (sexto no universal) do San Francisco 49ers da National Football League (NFL) em 1961, Johnson jogou 16 anos nas fileiras profissionais. Ele finalmente encontrou um lar no lado defensivo da esfera, acumulando 47 interceptações na curso. Considerado um dos melhores defensores varão a varão da história da liga, Johnson foi eleito membro da equipe da dez de 1970 da NFL e recebeu sua jaqueta amarela porquê membro do Hall da Reputação do Futebol Profissional em 1994.
Além de sua habilidade na resguardo de passes, Johnson também continuou sendo uma ameaço ao recebê-los. Ele pegou 40 bolas para 690 jardas e quatro gols porquê recebedor do San Francisco. Johnson disputou 213 partidas – mais do que qualquer 49er na idade de sua aposentadoria. Ele foi quatro vezes All-Pro e conquistou cinco seleções do Pro Bowl.
Johnson veio para a UCLA vindo do Santa Monica College (SMC), onde também brilhou na quadra de basquete. Ele foi eleito Desportista do Ano da SMC no ano acadêmico de 1957-58, durante o qual foi classificado porquê All-Metropolitan Conference e registrou um tempo de 14,3 segundos para liderar todos os corredores de subida barreira do sul da Califórnia JC. Johnson veio de Kingsburg, Califórnia, e se formou na Kingsburg High School, sendo capitão de times de basquete, futebol americano e atletismo.
Jimmy Johnson era o irmão mais novo do Hall da Reputação do Atlético da UCLA e mito do atletismo Rafer Johnson, que venceu o campeonato olímpico de decatlo de 1960 antes de lançar uma série de esforços humanitários. A sobrinha de Jimmy Johnson, Jenny Johnson Jordan, é a atual técnica de vôlei de praia da UCLA. Johnson Jordan competiu nos Jogos Olímpicos de 2000 depois se realçar pela equipe indoor dos Bruins. Jimmy Johnson ingressou no Hall da Reputação Atlético da UCLA em 1994.