Pada tahun 1959, gerakan tersebut telah kehilangan banyak pendukung militannya. Nelson Mandela menghabiskan waktu 27 tahun di dalam penjara dari November 1962 sampai dengan Februari 1990.
Setelah itu dia mulai sadar bahwa melakukan protes tanpa kekerasan bukan satu-satunya cara untuk mencapai perubahan melainkan perjuangan dengan gencatan senjata.
Pada tahun 1961, Nelson Mandela mendirikan Umkhonto We Sizwe ( MK ). Cabang ANC bersenjata untuk mengakhiri Apartheid. Pada tahun 1961, Nelson Mandela mengatur pemogokan nasional untuk pekerja selama 3 hari.
Dia pun kembali di tangkap karena aksinya tersebut dan dia dijatuhi hukuman penjara selama 5 tahun. Pada tahun 1963, Nelson Mandela dan 10 pemimpin ANC di panggil ke pengadilan negeri setempat dan dijatuhi hukuman penjara seumur hidup.
Nelson Mandela dipenjarakan di Robben Island. Selama 18 tahun di penjara dia mengidap penyakit tuberkulosis di karenakan di penjara tersebut terkhusus orang berkulit hitam mendapat pelayanan yang sangat buruk dari pihak penjagaan.
Saat di penjara Nelson Mandela berhasil menyelesaikan Sarjana Hukumnya melalui sebuah program korespondensi Universitas London.
Pada tahun 1981, Agen Intelijen Afrika Selatan yang bernama Gordon Wonter mengatur rencana untuk pembebesan Nelson Mandela untuk menembakinya dan rencana tersebut pun digagalkan oleh Intelijen Inggris.
Nelson Mandela terus menjadi simbol perdamaian untuk orang berkulit hitam , sehingga orang berkulit hitam melakukan kampanye internasional untuk pembebasan Nelson Mandela dan aksi tersebut mendapat dukungan Internasional.
Pada tahun 1982, Nelson Mandela dan pemimpin ANC di pindahkan dari penjara sebelumnya menuju penjara Poolsmoor, penjara tersebut lebih dekat dengan pemerintahan.
Pada tahun 1985 presiden P.W. Botha menawarkan kepadanya pembebasan dengan sebuah syarat Nelson Mandela harus menghentikan perjuangan bersenjatanya mendengar syarat tersebut Nelson Mandela dan pemimpin ANC lainnya menolak mentah-mentah.
Dan mereka tetap pada pendirian akan terus melakukan perjuangan bersenjata, dengan semakin meningkatnya tekanan lokal dan Internasional untuk pembebasan Nelson Mandela.
