镇海楼旧名朝天门，吴越王钱氏建。规石为门，上架危楼。楼基垒石高四丈四尺，东西五十六步，南北半之。左右石级登楼，楼连基高十有一丈。元至正中，改拱北楼。明洪武八年，更名来远楼，后以字画不祥，乃更名镇海。火于成化十年，再造于嘉靖三十五年，是年九月又火，总制胡宗宪重建。楼成，进幕士徐渭曰：“是当记，子为我草。”草就以进，公赏之，曰：“闻子久侨矣。”趋召掌计，廪银之两百二十为秀才庐。渭谢侈不敢。公曰：“我愧晋公，子于是文，乃遂能愧?，倘用福先寺事数字以责我酬，我其薄矣，何侈为！”
渭感公语，乃拜赐持归。尽橐中卖文物如公数，买城东南地十亩，有屋二十有二间，小池二，以鱼以荷；木之类，果木材三种，凡数十株；长篱亘亩，护以枸杞，外有竹数十个，笋迸云。客至，网鱼烧笋，佐以落果，醉而咏歌。始屋陈而无次，稍序新之，遂领其堂曰“酬字”。
徐渭《镇海楼记》：
镇海楼相传为吴越钱氏所建，用以朝望汴京，表臣服之意。其基址、楼台、门户、栏?，极高广壮丽，具载别志中。
楼在钱氏时，名朝天门。元至正中，更名拱北楼。皇明洪武八年，更名来远。时有术者病其名之书画不祥，后果验，乃更今名。火于成化十年，再建于嘉靖三十五年，九月又火。予奉命总督直浙闽军务，开府于杭，而方移师治寇，驻嘉兴，比归，始与某官某等谋复之。人有以不急病者。予曰：“镇海楼建当府城之中，跨通衢，截吴山麓，其四面有名山大海、江湖潮汐之胜，一望苍茫，可数百里。民庐舍百万户，其间村市官私之景，不可亿计，而可以指顾得者，惟此楼为杰特之观。至于岛屿浩渺，亦宛在吾掌股间。高翥长骞，有俯压百蛮气。而东夷之以贡献过此者，亦往往瞻拜低回而始去。故四方来者，无不趋仰以为观游的。如此者累数百年，而一旦废之，使民若失所归，非所以昭太平、悦远迩。非特如此已也，其所贮钟鼓刻漏之具，四时气候之榜，令民知昏晓，时作息，寒暑启闭，桑麻种植渔佃，诸如此类，是居者之指南也。而一旦废之，使民懵然迷所往，非所以示节序，全利用。
且人传钱氏以臣服宋而建，此事昭著已久。至方国珍时，求缓死于我高皇，犹知借Α事以请。诚使今海上群丑而亦得知钱氏事，其祈款如珍之初词，则有补于臣道不细，顾可使其迹湮没而不章耶？予职清海徼，视今日务，莫有急于此者。公等第营之，毋浚征于民，而务先以己。”于是予与某官某等，捐于公者计银凡若干，募于民者若干。遂集工材，始事于某年月日。计所构，?石为门，上架楼，楼基垒石，高若干丈尺。东西若干步，南北半之。左右级曲而达于楼，楼之高又若干丈。凡七楹，础百。巨钟一，鼓大小九，时序榜各有差，贮其中，悉如成化时制。盖历几年月而成。始楼未成时，剧寇满海上，予移师往讨，日不暇至。于今五年，寇剧者禽，来者遁，居者慑不敢来，海始晏然，而楼适成，故从其旧名“镇海”。
张岱《镇海楼》诗：
钱氏称臣历数传，危楼突兀署朝天。
越山吴地方隅尽，大海长江指顾连。
使到百蛮皆礼拜，潮来九折自盘旋。
成嘉到此经三火，皆值王师靖海年。
都护当年筑废楼，文长作记此中游。
适逢困鳄来投辖，正值饥鹰自下鞲。
严武题诗属杜甫，曹瞒拆字忌杨修。
而今纵有青藤笔，更讨何人数字酬！