Yos Sudarso bercita-cita menjadi seorang prajurit sejak kecil, meskipun orang tuanya lebih menginginkannya menjadi seorang guru. Yos Sudarso berhasil mewujudkan mimpi itu setelah pemerintah Jepang membutuhkan personel militer tambahan untuk menghadapi Perang Asia Timur Raya.
Ia kemudian masuk Akademi Angkatan Laut di Semarang dan mengikuti pendidikan militer dengan Angkatan Laut Jepang, dari mana ia lulus sebagai salah satu siswa terbaik. Ia kemudian bertugas di salah satu kapal militer Jepang.
Setelah proklamasi kemerdekaan Indonesia pada 17 Agustus 1945, ia bergabung dengan Badan Keamanan Rakyat di bidang kelautan (BKR Laut), yang kemudian menjadi bagian dari Angkatan Laut Indonesia.
Selama karirnya, Yos Sudarso mengikuti berbagai operasi militer untuk memberantas pemberontakan yang terjadi di wilayah Republik Indonesia. Ia memimpin beberapa Kapal Perang Republik Indonesia (KRI) seperti KRI Rajawali, KRI Alu, KRI Gajah Mada, KRI Pattimura, dan KRI Macan Tutul. Pada tahun 1958, ia juga bertugas sebagai hakim di pengadilan militer selama empat bulan.
Pada akhir tahun 1961, Presiden Sukarno memerintahkan Tri Komando Rakyat (TRIKORA), yang melibatkan operasi di Laut Aru dekat Maluku untuk mendukung misi pembebasan Papua Barat dari Belanda. Saat itu, Yos Sudarso menjabat sebagai Deputi Kepala Operasi Angkatan Laut (KSAL). Ada tiga KRI yang terlibat dalam operasi diam-diam di perairan Maluku, yaitu KRI Macan Tutul, KRI Macan Kumbang, dan KRI Harimau. Yos Sudarso memimpin KRI Macan Tutul.
Tiga kapal perang besar dengan persenjataan lengkap milik armada perang Belanda merasakan gerakan Yos Sudarso dan tiga unit KRI yang beroperasi di Laut Aru. Yos Sudarso memerintahkan ketiga KRI untuk sementara mundur, namun Belanda mengira itu adalah manuver untuk menyerang dan kemudian membuka tembakan.
Mesin KRI Macan Tutul yang dipimpin Yos Sudarso tiba-tiba rusak di tengah upaya penyelamatan. Pikiran cepatnya menentukan bahwa Yos Sudarso tidak dapat menyelamatkan kapalnya, tetapi ia dapat menyelamatkan dua kapal lainnya. KRI Macan Tutul yang dipimpinnya kemudian menempatkan dirinya di antara kapal perang Belanda sebagai perisai agar dua KRI lainnya dapat menyelamatkan diri. Tembakan kedua dari kapal Belanda mengenai KRI Macan Tutul, menyebabkannya terbakar dan tenggelam perlahan.
Yos Sudarso meninggal bersama 24 orang lainnya dalam misi dengan KRI Macan Tutul dalam pertempuran di Laut Aru. Ia mengorbankan nyawanya dalam tugas demi kepentingan negara pada usia muda 36 tahun.
