据说有一批英国人登上香港岛时就是从这个港湾上岸的，所以他们也就用“香港”这个词来命名整个岛屿。这是关于香港地名的第一个传说。
传说二：
第二个有关香港地名的传说，说“香港”的得名同香料有关。那时，香港这座小岛在行政上隶属广东东莞。从明朝开始，香港岛南部的一个小港湾，因为转运产在广东东莞的香料而出了名，才被人们称为“香港”。
据说那时“香港”转运出去的香料，质量上乘，被称为“海南珍奇”，香港当地许多人也以种香料为业，“香港”同种植的香料一起，名声大噪，也就逐渐为远近的人们所认可。
不久以后，这种香料就被列为进贡皇帝的贡品。可后来，村里人不肯种植了，皇帝便下令杀了村长，村民们四散逃走，香料的种植和转运，也就在香港逐渐消失了，但香港这个名称，却保留了下来。
传说三：
也有人说，香港的得名同一个名叫香姑的女人有关。传说香姑是一个海盗头目的妻子，丈夫死后，她继续在这座小岛上拉起人马占岛为王，“香港”就是“香姑的港口”的意思。这种说法，看来有些离奇。
尽管有许多不同的说法，但可以大致肯定的是，“香港”这个地名最早出现在明朝，它最初是指今天香港岛上的一个小港湾、小村落，后来才扩大为对整个岛屿的称呼，最后，到了20世纪初，才成了被英国殖民主义者占领的整个地区的统称。