Pada awal 1965, setelah terbentuknya ABRI, muncul ide untuk membentuk Angkatan Kelima ini.
Saat itu, PKI adalah salah satu partai terbesar di Indonesia.
Dalam pemilu 1955, PKI menduduki tempat keempat dengan perolehan 16 persen dari keseluruhan suara yang ada.
Partai terbesar lainnya pada masa itu, Partai Nasional Indonesia (PNI), Masyumi, dan Nahdlatul Ulama.
Melalui D.N. Aidit, PKI mengusulkan, dibentuknya Angkatan Kelima, sebelum dirinya menghadap Presiden pada 14 Januari 1965.
Kondisi Indonesia yang sedang berkonfrontasi dengan Malaysia juga semakin mendukung pembentukan Angkatan Kelima tersebut.
Perdana Menteri China, Zhou En Lai, kemudian menawarkan bantuan sebanyak 100.000 senjata ringan kepada Indonesia.
Setelah tiba di tanah air, tawaran bantuan senjata tersebut disampaikan kepada Presiden/Panglima Tertinggi ABRI di hadapan rakyat Komando Operasi Tertinggi (KOTI).
Oleh ABRI, keputusan mengenai pembentukan Angkatan Kelima itu diserahkan kepada Pemimpin Besar Revolusi, Presiden Soekarno.
Tetapi, Angkatan Darat yang dipimpin Letjen Ahmad Yani, menolak pembentukan unsur baru pertahanan keamanan Indonesia tersebut.
Umumnya, para jenderal dalam AD adalah golongan anti-komunis.