Pada tanggal 25 Januari 1950 Menteri Luar Negeri Uni Soviet A. Vyshinsky menyampaikan secara tertulis kepada Perdana Menteri/Menteri Luar Negeri Moch. Hatta bahwa Uni Soviet mengakui kemerdekaan dan kedaulatan Indonesia, dan keinginan menjalin hubungan diplomatik dengan Indonesia. Pemerintah Indonesia menyambut baik hal tesebut. Pada bulan Mei 1950 Delegasi Indonesia yang dipimpin oleh N. Palar dengan anggotanya terdiri dari Yusuf Wibisono, Yamin dan Hadinoto berkunjung ke Moskow untuk melakukan perundingan dan hasil dari perundingan tersebut disampaikan pada Sidang Kabinet yang dihadiri Presiden Soekarno, 16 Mei 1950, yaitu kesepakatan untuk saling membuka Kedutaan Besar dan tanggapan positif Uni Soviet mengenai masuknya Indonesia menjadi anggota PBB.
Dalam Sidang Majelis Umum PBB ke VIII bulan September 1953 Menteri Luar Negeri Republik Indonesia, Sunarjo memberitahukan kepada Menteri Luar Negeri Uni Soviet, A. Vyshinsky mengenai keinginan Pemerintah Indonesia untuk membuka Kedutaan Besar Republik Indonesia di Uni Soviet dan pada tanggal 30 November 1953 Menteri Sunarjo mengirimkan maksud tersebut secara tertulis. Menanggapi hal tersebut, pada tanggal 17 Desember 1954 A. Vyshinsky menyampaikan kepada Sunarjo bahwa Pemerintah Uni Soviet menyambut positif keinginan Pemerintah Indonesia dan siap menerima Duta Besar Indonesia di Moskow. Di samping itu, pihaknya siap membuka perwakilannya di Jakarta.
Pada tanggal 21 Januari 1954 Pemerintah Uni Soviet memberikan agreement kepada Dr. Soebandrio sebagai Duta Besar Republik Indonesia di Moskow. Pada tanggal 13 April 1954 Dr. Soebandrio didampingi oleh Kumoro, Hudiono Sujoko, Gusti Rusli Noor, Supeno dan Sukamto menyerahkan Surat-Surat Kepercayaan kepada Ketua Presidium Dewan Tertinggi Uni Soviet, Voroshilov di Kremlin yang turut hadir pula Wakil Menteri Luar Negeri Uni Soviet, Fedorenko, Kepala Bagian Protokol, Molochkov dan Kepala Departemen Asia Tenggara, Maksimov.
Pertama kali Kedutaan Besar berkantor sementara di Hotel Metropol dan kemudian pindah ke sebuah gedung di jalan Sadovo-Somatechnaya 14. Sejak tahun 1960-an sampai sekarang Kedutaan Besar berlokasi di Jalan Novokuznetskaya 12-14.
Lokasi yang digunakan Kedutaan Besar saat ini sangat strategis karena berada di pusat kota Moskow yang tidak jauh dari Istana Presiden dan Kementerian Luar Negeri Federasi Rusia. Di area Kedutaan Besar terdapat dua bangunan besar yang dijadikan kantor Kedutaan dan Wisma Duta Besar. Sementara dua bangunan agak kecil lainnya digunakan untuk Sekolah Indonesia Moskow (SIM), bagian pelayanan keprotokolan dan kekonsuleran, perpustakaan dan ruang audio visual.
Gedung-gedung ini merupakan gedung warisan arsitektur budaya yang dilestarikan pemerintah Kota Moskow yang dibangun pada awal abad XX. Gedung yang dijadikan Wisma Duta Besar (gedung No.14) adalah rumah kediaman S.G. Protopopov dan V.S. Tatischev yang dibangun pada tahun 1902 oleh arsitek V.V. Shervud dan arsitek Gustav Genrih. V.S. Tatischev (1865-1928) adalah seorang bangsawan yang juga pejabat pemerintahan Rusia di Kementerian Keuangan saat itu. Sementara itu, gedung yang dijadikan kantor Kedutaan Besar (gedung No. 12) dibangun tahun 1912 oleh arsitek I.I. Rebrerg dan pernah didiami bangsawan keluarga Urusov.
