大楠山は標高242mで
三浦半島の最高峰である。
展望台に登ると、
東京湾及び
相模湾を一望でき、
千葉県及び
太平洋を望める為、ハイキング客が1年を通して全国から集まる。ハイキングコースが充実していて、登山時と下山時でコースを変えて楽しむ観光客も多い。それほど標高が高い山はないが、中央部は山間部や丘陵部(
三浦丘陵)が中心で、平地は少ない。そのため古くから海岸線の埋め立てが行われており、現在の
中心市街地もかなりの部分が埋立地にある。また、海岸沿いまで山が迫る地形のため
トンネルが多いのも特徴で、神奈川県にある道路・鉄道トンネルのおよそ半数が市内に集中している。
人口は
横浜市・
川崎市・
相模原市に次ぎ神奈川県第4位となっており(1977年11月以降)、県下では横浜市に次いで2番目に市制を施行した。このため、公式文書で自治体を列挙する際には横浜市・川崎市・横須賀市の順で表記される(政令指定都市→市制施行順に表記されるため)。また横須賀市が県の政令市(保健所・水道事業等は中核市指定前から独自に行っている)ということもあり県から見ればトップ3の一角だが、
2003年に中核市となった相模原市が人口増と
市町村合併で政令指定都市への移行が確実視されていること、また
藤沢市(保健所政令市)の人口急増に伴い、横須賀市は県内人口第5位に転落することがほぼ確実なことから、この情勢にも変化が見込まれる。
以前「
平成の大合併」を機に
三浦市から合併を打診されたが、政令指定市に昇格できる見込みも無く、特段の利点が無いということで幹部レベルで断っている。もし三浦半島4市1町(横須賀市、
鎌倉市、逗子市、三浦市、葉山町)で合併すれば政令指定市への移行が見込める人口75万規模の自治体になるが、各市町に強いプライドがあり(逗子市は逗子町時代に横須賀市に合併されたが、戦後すぐに離脱した過去がある)、合併を推進していた小林一也三浦市長が1期限りで落選したこともあり、現在周辺との合併の計画は今のところはない。また、三浦半島地域は共通の問題として高い高齢化率、ゴミ処理の共通化などがあって、広域行政施策を展開したいところだが、ゴミ処理の共通化では三浦市と進めていた協議会から葉山町が脱退(三浦市と協定を結ぶと同時に葉山町を告訴)するなど、各市町のプライドの問題があり、一枚岩とはなっていない。