Namun, sudah lebih dari 150 tahun Perang Saudara/Sipil Amerika berakhir, namun ingatan tentang sisi yang kalah masih mengganggu dan bahkan membagi AS. Beberapa orang mengatakan bahwa gerakan penghapusan itu seperti "pembersihan historis", sementara yang lain percaya bahwa itu adalah "membawa keteraturan dari kekacauan." ("bringing order out of chaos.")
Seorang sejarawan pernah berkata, "Kita tidak hilang dari masa lalu, tapi masa lalu selalu melekat pada kita." Untuk menemukan jawaban atas masalah rasial, kita harus melihat kembali sejarah Amerika.
Pada saat awal Perang Saudara Amerika, militer Union mengalami serangkaian kekalahan. Untuk menyatukan orang-orang untuk berperang melawan pemilik budak di selatan Amerika, pada 22 September 1862, Presiden Abraham Lincoln mengeluarkan " Emancipation Proclamation/Proklamasi Emansipasi," yang mengatakan, "Pada hari pertama bulan Januari, pada tahun 1863, semua orang yang dipenjara sebagai budak dalam keadaan apapun atau negara bagian yang ditunjuk, orang-orang yang kemudian akan melakukan pemberontakan melawan Amerika Serikat, maka kemudian selanjutnya, sejak saat itu, dan selamanya bebas." ("That on the first day of January, in 1863, all persons held as slaves within any state or designated part of state, the people whereof shall then be in rebellion against the United States, shall be then, thenceforward, and forever free.")
Untuk merekrut lebih banyak tentara, Lincoln juga menekankan, "Dan saya selanjutnya menyatakan dan memberitahukan, bahwa orang-orang seperti itu memiliki kondisi yang sesuai, akan diterima dalam angkatan bersenjata Amerika Serikat ke dalam benteng garnisun, posisi, stasiun, dan tempat-tempat lain, dan untuk kendaraan manusia dari segala jenis layanan tersebut." ("And I further declare and make known, that such persons of suitable condition, will be received into the armed service of the United States to garrison forts, positions, stations, and other places, and to man vessels of all sorts in said service.")
Meskipun proklamasi hanya berlaku untuk negara-negara yang memisahkan diri dari pemerintah, dan tidak melibatkan sistem perbudakan di negara-negara yang berbatasan, hal ini secara mendasar mengubah sifat perang, dan "Proklamasi Emansipasi" menjadi bendera kemajuan dalam masyarakat Amerika.
Setelah perang sipil berakhir, amandemen ke-13 terhadap konstitusi AS, yang disahkan pada tahun 1865, secara resmi menghapuskan perbudakan di seluruh negara. "Proklamasi Emansipasi" yang dikeluarkan Presiden Lincoln selama perang sipil merupakan tindakan yang hebat.
Tapi semua orang tahu bahwa ketika Presiden Lincoln membuat "Proklamasi Emansipasi," tujuannya adalah untuk mempertahankan Union. Kenyataannya, masyarakat arus utama AS kulit putih sedikit jijik dengan perbudakan, tapi mereka tidak memiliki kehendak politik yang sangat bersikeras, dan ini yang pada akhirnya menimbulkan masalah baru. Pada saat perang saudara berakhir, utara sebenarnya cukup toleran terhadap pemilik budak Selatan, dan hal itu mengakibatkan banyak orang yang ikut dalam perang dan mendorong pemisahan negara tidak dihukum sebagaimana mestinya. Salah satu dari orang-orang ini adalah Jenderal dari Selatan Robert E. Lee, yang terlibat dalam perang sipil sebagai panglima perang.
Pat Buchanan mengatakan: "Namun bagi para militan yang masih ada sekarang, nama Lee membangkitkan kebencian dan lolongan kasar 'rasis dan pengkhianat.' Sebuah keributan telah terjadi untuk melindungi semua patung dirinya dan semua tugu tentara Konfederasi dan negarawan ditarik dari taman-taman dan dimasukkan ke dalam museum atau dibuang ke tumpukan sampah."
Bagi Pat Buchanan, yang pernah menjadi penasihat senior presiden AS Richard Nixon, Gerald Ford, dan Ronald Reagan, mengatakan ini tidak mengejutkan. Dia adalah seorang konservatif yang terkenal, dan kakek buyutnya bertempur untuk Selatan selama Perang Saudara Amerika. Ucapannya mencerminkan pendapat sebagian orang Amerika. Seperti yang apa dikatakan oleh  beberapa ilmuwan bahwa Perang Saudara Amerika membentuk sebuah konsensus yang jelas, namun konsensus ini baru-baru ini terganggu karena elit liberal mencoba untuk mengevaluasi kembali sejarah.
Bagi mereka yang mendukung penurunan dan pembongkaran patung, gagasan tersebut tidak akurat, karena menurut mereka, tugu peringatan ini selalu menjadi "totem" supremasi kulit putih., itu bukanlah warisan umum.
Tentu saja, Lincoln merasa bahwa setelah perang saudara, Utara dan Selatan harus melakukan rekonsiliasi, maka dia mengizinkan di banyak tempat untuk didirikan patung Robert E. Lee, bahkan di Washington DC. Â Hal ini dilakukan untuk menghibur orang-orang Selatan, untuk memberi tahu mereka bahwa mereka seharusnya melupakan dendam, dan mereka ingin membentuk Union baru. Tapi banyak supremasi kulit putih melihat patung Robert E. Lee sebagai kumpulan memori, sisa-sisa, atau peringatan Selatan selama Perang Sipil, Utara dan Selatan masa lalu, dan itu banyak kalangan yang menganggapnya salah.
