গাংগাটিয়া জমিদার বাড়িটির গোড়াপত্তন হয় ব্রিটিশ শাসনামল শুরুর দিকে। এই জমিদার বাড়ির আছে অনেক ইতিহাস ও ঐতিহ্য। এই জমিদার বাড়ির প্রতিষ্ঠাতা ভোলানাথ চক্রবর্তী। অন্যান্য জমিদার বাড়ির মত এটি ধ্বংসস্তুপে পরিণত না হয়ে এখনো এটি পুরোপুরি টিকে আছে। কেননা এখনো এই জমিদার বাড়ির বংশধর এই বাড়িতে বসবাস করতেছেন। এই জমিদার বাড়ির বর্তমান বংশধর হচ্ছেন মানব বাবু(ডাকনাম) মানবেন্দ্রনাথ চক্রবর্তী চৌধুরী । মানব বাবু, তার স্ত্রী, ও বোনকে নিয়ে এই বাড়িতে বসবাস করছেন, তবে তাদের কোনো সন্তানাদি নেই এবং তার পরলোকগত ভাইয়েরও। বর্তমানে এই জমিদার বাড়িটি মানব বাবুর বাড়ি নামেই বেশ পরিচিত। তারা জাতিতে ব্রাহ্মণ। যা হিন্দুধর্মের শ্রেষ্ঠ ও মর্যাদাসম্পন্ন একটি জাতি। এই জমিদার বংশধররা ছিলেন উচ্চ শিক্ষিত। এই জমিদার বংশের আদি বসবাস ছিল ভারতের কাইন্নকব্জিতে। প্রায় ছয়শত বছর আগে তারা সেখান থেকে হোসেনপুরে এসে বসতি স্থাপন করেন। পরে ব্রিটিশ শাসনামলের শুরু থেকেই তাদের জমিদারিত্ব শুরু হয় এবং দেশ ভাগের পর জমিদারি প্রথা বিলুপ্ত হলে তাদের জমিদারিও শেষ হয় এখন পর্যন্ত তাহারা তাদের ভূমিতে শান্তিপূর্ণ ভাবেই বসবাস করছেন। এবং, এখন ও এই অঞ্চলের মানুষেরা মানবেন্দ্রনাথ চক্রবর্তী চৌধুরী (মানব বাবু) কে জমিদার হিসেবেই স্বীকৃতি দেয় ও সম্মান করে।