Sebelumnya berbagai upaya telah dilakukan Raffles demi kesembuhan sang isteri. Bahkan untuk itu ia ungsikan isterinya dari Batavia ke Bogor. Namun di Bogor Ny. Raffles hanya dapat bertahan selama 6 bulan, sebab pada usia 43 tahun, ia meninggal dunia.
Lady Olivia Mariamne Raffles dimakamkan di blok pemakaman orang-orang Eropa, Taman Pemakaman Umum Kober, Tanah Abang, Jakarta. Taman pemakaman itu kini sudah dibongkar dan di bekas lokasinya terdapat i Kantor Walikota Jakarta Pusat. Sedangkan nisannya disimpan di taman prasasti.
Tapi karena cintanya pada kota Bogor, Kebun raya dan tentu terutama kepada isteri tercinta, Raffles membangun satu monumen kecil di area Kebun Raya Bogor. Monumen ini dikenal sebagai "Tugu Lady Raffles", sebuah bangunan yang tentu mempunyai nilai sejarah. Sebab –konon-- tempat tugu ini berdiri merupakan titik tengah kota Bogor. Rasa cinta yang mendalam itu diungkapkan dalam rangkaian kalimat puitis dalam bahasa Inggris klasik yang terukir didinding tugu yakni:
Oh thou Whom Neer My Constant Heart ,
One Moment Hath Forgot,
Tho Fate Severe Hath Bid Us Part,
Yet Still Forget Me Not