新余市人民检察院原为新喻县院，始设于1955年。1957年“新喻县”改为“新余县”，而更名为新余县院。1960年新余撤县设市，成立新余市院。1963年新余撤市复县，而恢复新余县院。文革期间，检察院被取消。1979年，重建新余县院。1983年新余撤县复市，而恢复新余市院。

新余市人民检察院下辖三个基层院，分宜县人民检察院、渝水区人民检察院和望城工矿区人民检察院。其中，望城工矿区院属市院的派出机构。

全市两级检察院共定编204名，其中市院75名、分宜县院46名、渝水区院60名、望城工矿区院23名。现有在职人员191人，其中市院68人、分宜县院45人、渝水区院55 人、望城工矿区院23人。

新余市检察院机关内设机构有：办公室、干部人事处、政治工作综合处、第一检察部、第二检察部、第三检察部、第四检察部、第五检察部、第六检察部、第七检察部、综合业务部、检务督察部（巡视工作领导小组办公室）、计划财务装备处、机关党委，并保留政治部，以及1个正科级事业单位（新余市检察院信息中心）。