Le projet architectural de Jacques-Germain Soufflot est une église à dôme, en forme de croix grecque, c'est-à-dire avec quatre branches courtes, égales en longueur et en largeur. Pour le réaliser, il emprunte à différents styles architecturaux, ce qui fera écrire à Maximilien Brébion : « Le principal objet de M. Soufflot, en bâtissant son église, a été de réunir, sous une des plus belles formes, la légèreté de la construction des édifices gothiques avec la magnificence de l'architecture grecque ».
Soufflot était assisté par deux ingénieurs, Émiland Gauthey et Jean-Baptiste Rondelet qui a achevé le monument à la mort de l’architecte en 1780. Pour la première fois, un monument a fait l’objet de calculs mathématiques afin d’évaluer les poussées et la résistance des matériaux. On avait même construit à cet effet une machine à écraser les pierres. Pour tenter de consolider la structure, toutes les pierres ont été armées avec des agrafes en fer.
Soufflot a composé son église en puisant dans différents registres :
Il s'agissait d'abord de trouver de l'argent pour réaliser ce projet. On majora le prix des trois loteries mensuelles, leur coût passant de 20 à 24 sols, ce qui rapporta 400 000 livres.
Ensuite, il fallait trouver un terrain. On décida de le prendre sur la partie ouest du jardin de l'abbaye Sainte-Geneviève. Les travaux commencèrent en 1758. L'argent récolté ne permit de réaliser que les fondations, car le terrain était miné par les galeries qu'avaient forées, seize siècles plus tôt, les potiers gallo-romains pour extraire l'argile. On dénombra au moins sept puits de 25 mètres de profondeur, et une centaine d'autres, moins profonds.
Enfin, le 6 septembre 1764, Louis XV vint poser la première pierre. On avait édifié pour l'occasion une reproduction du futur édifice, un trompe-l'œil grandeur nature, de toile et de charpente, représentant le futur portail de l'église.
Lors de la pose de la première pierre de la nouvelle église Sainte-Geneviève, Alexandre Guy Pingré, bibliothécaire de l'abbaye de sainte-Geneviève et franc-maçon rédigea le quatrain suivant : « Lorsque le Sceptre en main Louis dicte des lois / Dans son maître en français bénit un tendre père / Si, pour fonder un temple il prend en main l'Equerre / Dans son frère un maçon voit le plus grand des rois ».
La construction avança malgré tout avec régularité : en 1769, les murs étaient élevés et en 1776, les voûtes terminées et décintrées.
Mais le projet fut très contesté. Bien que cette idée fît école, il fut attaqué par de nombreux détracteurs. L'audace du projet, mais aussi, il est vrai, des tassements dans les maçonneries dus à une mauvaise exécution, alimentèrent libelles et mémoires explicatifs. La polémique fut très vive et c'est désespéré que Soufflot mourut le 29 août 1780 avant que le projet ne fût terminé. Les critiques principales tendaient à établir que les quatre groupes de trois colonnes destinées à soutenir les trois coupoles, imaginées par l'architecte, manquaient de solidité et que l'édifice allait s'écrouler.
La plupart des pierres viennent des carrières du Bassin parisien. Les parties inférieures, jusqu’à neuf pieds de hauteur, viennent des carrières d'Arcueil et sont constituées de banc franc réputé comme le cliquart pour sa finesse et la dureté de son grain. De la carrière de Conflans-Sainte-Honorine, au confluent de la Seine et de l'Oise, on a extrait deux beaux blocs dits de banc royal qui ont été employés pour les angles du fronton. Du banc supérieur au banc royal, on trouve des pierres d'une dureté et d'une finesse un peu inférieure, dont on a extrait les blocs qui ont servi aux chapiteaux des colonnes corinthiennes. Les pierres aux grains fins et serrés dont sont faits les fûts des colonnes proviennent des carrières souterraines de Bagneux.
Parmi les ouvriers qui ont participé à ce chantier, beaucoup venaient de la Creuse. Les maçons de la Creuse, qui ont participé à tous les grands chantiers de la capitale, évoquent le Panthéon dans une chanson :
La suite des travaux fut confiée à deux collaborateurs de Soufflot, les architectes Rondelet et Brébion aidés d'un parent de Soufflot, Soufflot dit le Romain.
Pour la structure, leur principal apport fut de substituer de massifs piliers aux colonnes imaginées par Soufflot pour soutenir le dôme. Pour tracer les fuseaux verticaux contenant les caissons du dôme, Rondelet s'est servi d'une méthode simple : accrochant un fil à plomb au sommet, il se servit de l'ombre portée directement sur la voûte déjà réalisée pour les matérialiser.
ls assurèrent également le suivi du chantier. On trouvera sur le site italien Vita e opere de nombreuses gravures sur la construction de l'église Sainte-Geneviève, plans de coupe du bâtiment, croquis de machines de chantier pour tester la solidité de la pierre et pour le renforcement de la pierre par des armatures de métal.
Le sculpteur Guillaume II Coustou réalisa le fronton.