Някога Панам Нагар е бил влиятелна част от столицата на Бенгал - Сонаргаон. През XIX век заможни търговци на платове построили там своите домове в колониален стил, но след Индо-пакистанската война от 1965 година, областта се превърнала в призрачен град.