海军士官学校创建于1946年1月17日，里面收集了有关忠武公李舜臣的文献资料，为了展示这些文献资料，在图书馆里临时建立了文献展览室。此后，1976年1月17日，为纪念建校30周年特成立了海军士官学校博物馆，当时只是为了扩张一下李舜臣文献展览室。初创时的海军士官学校博物馆借用了图书馆的部分建筑，规模也仅有一间办公室大小。1980年1月31日，李舜臣将军曾建造的龟船被按照实际比例复原，并展示在贵宾码头海上，1981年2月23日，在海事半岛现位置上建立了独立的博物馆建筑。1990年4月28日增建博物馆，形成了现今博物馆的面貌。