Su origen se remonta a 1905 cuando el ferrocarril de Rock Island extendió sus líneas desde Little Rock hasta Luisiana. Parece que fue una maestra de escuela llamada Thunie Holes quien sugirió el nombre de Carthage. Los habitantes del lugar se dedicaban sobre todo a la agricultura. La proporción de población afroamericana era muy elevada, por lo que, aunque el nombre remite a la antigua Cartago, se ha propuesto que también pudiera haberse elegido por su conexión con África.