지난 2005년 등록문화재로 지정된 이 건물은 일제 강점기에 곡창지대인 부안에서 생산된 쌀을 수탈해가는 치욕의 상징이어서 지역 주민의 강한 거부감이 있을 뿐 아니라, 건물이 노후화 되고 수차례에 증·개축되면서 문화재적 가치에 의구심이 제기되고 있는 상황. 여기에 지난해 태풍으로 지붕이 파손됐으며, 문화재청의 국비를 지원받는다 해도 군민들의 등록문화재 보수 반대여론이 심해 보수 작업이 이루어질 지도 불투명하다.
이 건물은 현재 임시방편으로 우장막을 덮어놓아 흉물이 되어 부안군을 찾는 외래 방문객에게는 오히려 거부감을 주고 있다.
이와 함께 새만금개발에 따른 교통수요 증가와 농공단지진입 및 구도심 활성화를 위해 부안군에서 계획하고 있는 에너지 테마거리조성과 잦은 교통사고 발생과 사고 위험 상존 예방을 위한 회전 교차로 조성 등에도 이 건물이 큰 걸림돌로 작용하고 있어 철거 또는 이전이 시급한 실정이다.
부안군은 당초 지역발전을 위하고 문화재적 가치를 고려해 적정 장소로 이전한 후 군민에게 친근감 있는 문화적, 역사적 공간으로 활용할 계획이었으나 지난 6월에 문화재청의 문화재위원회 근대문화재분과심의위원회에서 불허됐다. 이 같은 문제점을 들어 부안군 각 사회단체들은 이 건물의 이전 혹은 철거를 위해 대대적인 서명운동을 전개할 계획이다.