San Francisco possède un Japantown et un Chinatown, et tous deux sont parmi les quartiers de ce type les plus vieux des États-Unis. La ville comprend aussi une population vietnamienne importante dans le quartier du Tenderloin et une concentration de Philippins dans les quartiers de Crocker-Amazon et South of Market (SOMA), une communauté italo-américaine historique dans North Beach, un modeste quartier français parfois appelé Little France dans le Financial District, et des communautés d'origine irlandaises, chinoises et russes dans le Richmond District.

Le quartier de Mission est le plus ancien quartier de la ville — il a été construit autour de la Mission Dolores, fondée en 1776 par les missionnaires espagnols. La communauté hispanique y est prédominante, mais l'endroit est en cours de gentrification. Russian Hill est un quartier résidentiel connu notamment pour le tronçon sinueux de Lombard Street qui le traverse. Haight-Ashbury a été l'épicentre de la contre-culture hippie des années 1960, et le quartier du Castro est réputé pour sa forte concentration d'homosexuels. Il existe aussi d'autres quartiers où la communauté gay et lesbienne est particulièrement présente, notamment Noe Valley, Diamond Heights, Bernal Heights, Potrero Hill, Haight-Ashbury, Hayes Valley, Twin Peaks et SOMA.

San Francisco est célèbre pour ses nombreuses demeures victoriennes, dont les plus connues sont certainement l'alignement des painted ladies d'Alamo Square. Les cable cars, les fameux tramways à traction par câble, mis en service en 1873, sont l'un des symboles de la ville et il est toujours possible de les emprunter pour monter ou descendre Nob Hill ou Russian Hill. Coit Tower, qui trône sur Telegraph Hill, est également un monument instantanément reconnaissable de San Francisco.

L'expansion démographique actuelle se concentre dans l'est et le sud de la ville. Le quartier de SOMA a été l'un des épicentres du dotcom boom de la fin des années 1990, et subit actuellement un renouveau immobilier et économique. La commission d'urbanisme de la ville a proposé une transformation du quartier autour du terminal de bus situé dans SOMA, qui consisterait notamment en un trio de gratte-ciel dont le plus haut culminerait à 350 mètres. Le quartier récent de Mission Bay, à l'extrémité orientale de SOMA, est en cours de réaménagement, et compte le stade de baseball AT&T Park et une annexe de l'école médicale de l'Université de Californie à San Francisco.

Les quartiers de Bayview et Excelsior, dans le sud-est de la ville, comptent une population pauvre et majoritairement afro-américaine. Les récents efforts de la municipalité pour y réduire le taux de criminalité n'ont eu guère de succès.

Le plus connu et le plus grand des espaces verts de la ville est le Golden Gate Park, comptant plus de 70 hectares de plus que le Central Park de New York, mais qui reste moins étendu que Griffith Park à Los Angeles. Au sud du Golden Gate se trouve un autre parc célèbre, la base militaire désaffectée du Presidio. Ce dernier fait partie de la Golden Gate National Recreation Area, qui inclut Alcatraz et de nombreux autres aires protégées. Buena Vista Park, situé dans le quartier de Haight-Ashbury, est le plus ancien jardin public de la ville, créé en 1867. Non loin de là, Alamo Square est célèbre pour ses vues sur la ville et sa rangée de demeures victoriennes surnommées les Painted Ladies. Un important lac d'eau douce, Lake Merced, s'étend dans le sud-ouest de la ville près de l'Université d'État de San Francisco et Fort Funston.

San Francisco comprend aussi de nombreuses plages publiques, notamment Baker Beach et Ocean Beach, mais celles-ci sont réputées dangereuses pour les nageurs à cause de leurs eaux froides et leurs courants qui se révèlent régulièrement fatals aux surfeurs ou baigneurs imprudents.

San Francisco a une vie nocturne intense et variée, offrant nombre de bars, lounges et clubs à ceux qui y sortent. Les quartiers qui vivent le plus la nuit sont North Beach, le Mission District, la Marina, le Castro et South of Market. Certaines salles de concert san-franciscaines sont légendaires, comme The Fillmore et The Warfield. Bimbo's 365 et le Great American Music Hall sont également connues pour accueillir des interprètes à la popularité grandissante, et 1015 Folsom et Ruby Skye sont parmi les boîtes de nuit les plus fréquentées. A cause d'un éclairage nocturne intense, de la réverbération de la lumière sur l'eau et de l'humidité et de la pollution de l'air, la ville est souvent couverte d'un halo nocturne qui traduit un phénomène de pollution lumineuse affectant notamment les oiseaux à l'époque des migrations.

San Francisco est un endroit idéal pour s’adonner au shopping puisque la ville abrite aussi bien des magasins discount que des grands magasins prestigieux et connus dans le monde entier, depuis les grandes marques et les boutiques de luxe de Union Square jusqu’aux petites boutiques de quartier comme celles de Hayes Valley, Fillmore, Union Street, Chestnut Street.