La frazione di Pomonte è situata nell'estremità meridionale del territorio comunale, nella piana sulla destra del fiume Albegna, alle pendici del Pomontaccio (181 m). La frazione è delimitata ad est dal fosso Mazzapiedi (8 km)] e ad ovest dal fosso Sanguinaio (8 km), due corsi d'acqua che nascono dalle alture di Poggioferro per immettersi nell'Albegna poco più a sud del centro abitato.
La frazione di Pomonte dista circa 12 km dal capoluogo comunale e poco più di 40 km da Grosseto.
La frazione conobbe il suo maggiore sviluppo dopo il 1577, anno in cui Mario Sforza terminò la costruzione della monumentale Villa Sforzesca nella vasta tenuta di caccia che qui possedeva Nel corso del XVII secolo, con la definitiva caduta politica della Contea di Santa Fiora e la sua annessione al Granducato di Toscana, la villa passò ai granduchi che decisero di trasformarla in fattoria, conosciuta poi come Fattoria di Pomonte. Nel 1787, a seguito delle riforme leopoldine, il territorio di Pomonte finì inglobato nel comune di Scansano.
Nel corso della seconda metà del XX secolo, la frazione di Pomonte si sviluppò grazie alla costruzione di un centro servizi per tutti i poderi e le fattorie della campagna circostante in seguito alla riforma fondiaria avviata in Maremma a partire dal 1951. Il complesso sforzesco finì così per essere abbandonato, a vantaggio delle vicine nuove costruzioni, che si svilupparono intorno alla fattoria e sulla strada statale.
- Chiesa di San Benedetto, chiesa parrocchiale della frazione, è stata costruita nel 1967 per volere dell'Ente Maremma ed elevata a parrocchia nel 1969. L'interno custodisce il dipinto seicentesco con la Madonna col Bambino in gloria con sant'Antonio abate e san Benedetto, opera proveniente dalla cappella di Sant'Antonio abate della Villa Sforzesca. La parrocchia di San Benedetto si estende su un territorio che conta 500 abitanti.
- Cappella di Sant'Antonio abate, cappella della fattoria, la cui pala d'altare, risalente alla scuola senese del XVII secolo, è adesso conservata nella chiesa parrocchiale della frazione.
- Villa Sforzesca, nota anche come fattoria di Pomonte, è stata fatta costruire dagli Sforza tra il 1575 e il 1577, in contemporanea con l'altra villa di Castell'Azzara.] Dopo l'annessione al Granducato di Toscana, la villa fu trasformata dai Lorena in fattoria. L'imponente edificio versa attualmente in stato di abbandono e degrado.