故事主人公是与父亲两人在山上修行的少年剑士鸟丸与一有一天，父亲忽然对他说：“就这样下去的话，你不可能变得更强大！”，并让他去新天地接受新的挑战。于是他决意来到都市来进行全新的修行生活。初来都市的土包子与一，和同为浮羽神风流派的斑鸠道场的可爱大小姐斑鸠伊吹相识，并开始了与四位美人姐妹同一屋檐下的生活。对与一来说，新的修行比起剑道来要困难一百倍……脾气不好的贫乳高中生的二女菖蒲，初中生的学生漫画家三女千早，小学生的四女笼目，与一要怎么与她们相处呢？