Прва београдска гимназија основана је давне 1839. године. Првих пола века свог постојања носила је назив Гимназија београдска, а када су се крајем века у Београду појавиле и друге гимназије променила је име у Прва београдска гимназија.

После Првог светског рата добила је назив Прва мушка реална гимназија у Београду. Пошто је 1959. године спојена са Четвртом женском гимназијом, променила је име у Прва београдска. У периоду усмереног образовања звала се Образовно-васпитна организација „Моша Пијаде”, да би јој од 1990. године био враћен стари назив Прва београдска гимназија. Гимназија је почела са радом у Југ Богдановој 26, у кући која је узета у закуп од Николе Селаковића, после чега је често мењала место.

У току школске 1844/45. године се уселила у Конак кнегиње Љубице, одакле школске 1846/47. прелази у околину Саборне цркве, у зграду садашњег Факултета примењених уметности у Улици краља Петра број 4, названој тако да подсећа да је најстарији син кнеза Александра Карађорђевића, кнежевић Петар Карађорђевић (доцније краљ Петар Први), ту похађао сва четири разреда Прве београдске гимназије. На овом месту је током јуна 1858. године кнежевић Петар јавно полагао испите које је те године учио. Испиту је, између осталих, присуствовао и Вук Караџић. Прва београдска гимназија је 1863. године трајније решила проблем свог смештаја на основу поклона капетана Мише Анастасијевића, односно била је смештена у Капетан Мишино здање, заједно са Великом школом, Библиотеком, Музејом и Друштвом српске словесности. Како је ово здање постало тесно због све већег броја студената у Великој школи, од почетка школске 1898/99. до 1904. Прва београдска гимназија је смештена у три зграде: зграду у Улици краља Петра 4, зграду београдске Реалке и зграду код Вазнесењске цркве (зграда укинуте Треће београдске гимназије). У овом периоду Гимназија је имала 72 професора и велики број ђака. Године 1905. Прва београдска гимназија се уселила у закупљени „Дом Светог Саве” у Улици цара Душана 13 јер су зграде Реалке и у Улици краља Петра 4 биле у врло лошем стању. Али, ни тај смештај није био задовољавајући због удаљености од центра града, па је почетком 1935. године одлучено да се питање смештаја реши зидањем зграде специјално намењене за ту сврху.

Пошто је Београдска општина дала плац код Цркве Светог Александра Невског, узет је кредит, те је 20. септембра 1936. године освештан камен темељац нове гимназијске зграде у Улици цара Душана 61. У ту зграду Прва београдска гимназија уселила се 27. априла 1938. године где остаје до данас. На зидовима овог импозантног здања нижу се ликови Љубе Ненадовића, Степе Степановића, Радомира Путника, Живојина Мишића, Драгутина Димитријевића Аписа, Светозара Марковића, Милована Глишића, Стевана Сремца, Лазе Лазаревића, Петра Кочића, Војислава Илића, Јована Скерлића, Корнелија Станковића, Стевана Мокрањца, Јована Цвијића, Михајла Петровића Аласа, Моше Пијаде, Пеђе Милосављевића, Оскара Давича и многих других славних ученика и професора ове школе. Прва београдска гимназија је због свог значаја и изузетне просветитељске улоге проглашена за споменик културе, те није претерано рећи да припада групи националних институција Србије као што су Народна библиотека, Народни музеј, Државни архив.

Гимназија је 2009. године прославила 170 година постојања. Велики јубилеј српског образовања, у склопу разноврсних активности (изложбе, трибине, манифестација Ноћ музеја, концерти, спортска такмичења, међународна сарадња, музички фестивал гимназија у Дому омладине), крунисан је 6. јуна Свечаном академијом у Народном позоришту. Поред тадашњих и бивших ученика, професора и родитеља, прослави су присуствовали водећи и високи представници државних, образовних, културних и спортских институција Републике Србије.
Јубилеј 180 година постојања обележаван је током 2019. године (Пројекат Прва и пријатељи, трибина Великани Прве, Прелиминарно такмичење за студенте у Србији, у склопу светског такмичења у познавању кинеског језика и културе, Књижевно подне – дружење са Милованом Витезовићем,Час историје и уметности одржан у свечаној сали Ректората Београдског универзитета, Свечана академија У славу просветитељства одржана на Великој сцени Народног позоришта, Дан школе (18. јун) у свечаној сали Гимназије – традиционално награђивање најбољих матураната и освајача награда на републичким такмичењима).
Данас Прва београдска гимназија има тридесет и седам одељења, 1050 ученика распоређених на природно-математички, друштвено-језички и смер одељења за ученике са посебним способностима за рачунарство и информатику, развијену кабинетску наставу и савремена учила. Гимназију карактерише квалитетан васпитно-образовни рад и наставни кадар, ангажована педагошко-психолошка служба и традиционално изузетан ученички потенцијал.