The Pompeia en Saratoga Springs fue descrita como una versión restaurada de la Casa de Pansa, que fue destruida por la erupción del Vesubio en el año 79 d.C, pero de hecho parece combinar elementos de la arquitectura y decoración de varias casas pompeyanas diferentes, junto con otras antigüedades aleatorias. Smith encargó a artistas e historiadores que copiaran la arquitectura, las estatuas y las pinturas que "mostrarían la vida de un noble romano". También compró innumerables obras de arte y artefactos antiguos durante sus 14 viajes a Europa y se exhibieron en Pompeia. Había un mosaico de 'Salve' en los grifos, con cuarto de portería a cada lado y un mosaico de cave canem en la entrada del atrio. Todos los muebles del atrio (mesas, sillas, sofás, instrumentos musicales, trípodes, candelabros) fueron copiados de originales del Museo de Nápoles o de pinturas murales encontradas en Pompeya o Herculano. Gabinetes de bustos de antepasados ​​y archivos familiares, ubicados en el tablinum. El techo staba decorado con copias de mosaicos de la Villa de Diomedes. Había copias de rollos de papiro y una réplica de una caja fuerte del Museo de Nápoles. Había una sala de conferencias decorada con una pintura de 'La grandeza de Roma en la época de Constantino', de 50 pies de largo por 11 pies de alto. Esta pintura sufrió graves daños en un incendio.

La intención de Smith era que Pompeia se convirtiera en una excursión anual para todas las escuelas y universidades dentro de "un día de viaje" a Saratoga. El precio de la entrada era de 50 céntimos y durante unos breves años Pompeia fue un famoso destino turístico.

Smith también tenía otros planes para Saratoga, pero la mayoría de ellos nunca vieron la luz. Se declaró en quiebra y los bancos ejecutaron la hipoteca del Pompeia en 1906. Sin embargo, el edificio sigue en pie y ha disfrutado (o tal vez sufrido) de una historia variada desde 1906. En 1914, el Pompeia fue comprado por la Masonic Hall Association y fue utilizado por masones locales durante 30 años. En la víspera de Navidad de 1926, un incendio destruyó partes de Pompeia, incluidas muchas de las reliquias romanas y un pasillo con murales y artefactos egipcios. El fotógrafo local George S. Bolser era un niño cuando esto ocurrió y recordó las momias egipcias que yacían ardiendo en la calle mientras la policía ahuyentaba a los niños curiosos. Los masones vendieron Pompeia en 1952 y se convirtió en Sinagoga y Centro Comunitario Judío hasta 1989. Entre 1999 y 2016 fue la sede de la empresa publicitaria Palio. A día de hoy (2022) el edificio alberga una sucursal de Dead Wish Coffee.