交换管家后,大家都感到不适应，情绪低落。最终在剑人的号召下大家集体发出了抗议。

交换管家中止了，理人（水嶋宏）回到了久违的芽衣（荣仓奈奈）的身边。然而，芽衣在阴寮消失了。深感有不祥之兆的理人，即刻离开宿舍追寻芽衣下落去了。

此时，芽衣和剑人（佐藤健）被多美（谷村美月）引诱出来，去到森林深处一座名为「无时馆」的古老洋房。所谓「无时馆」，有传是舞蹈会之日能到场者即可和喜欢的人永结同心。然而，因为无人知晓此馆位置的縁故，此话便成了传说。

多美去到不知情的剑人那，宣告「要为露琪亚（山田优）收拾你们」。泉（岩佐真悠子）决斗时袭击芽衣等大汉、还有理人和芽衣相拥的相片、全部都是多美所做的。芽衣不相信多美所说的话。据多美说，这个「无时馆」在很久以前是小姐和管家的场所，取二人的时间停留于此而命名。

理人在泉子和里香等人、芽衣的同学们以及她的管家相助下，寻找芽衣的下落。多美的管家神田（阿部进之介）不止发现剑人、还觉察到多美都失踪了。凛（忽那汐里）的管家，拥有见鬼能力的四谷（丸山智己）感觉到危险迫近芽衣。

馆内，芽衣和剑人做出多美的暗号，一群怪怪的男人现身围住了他们。将芽衣等追赶上2楼困在一室之中。剑人为拯救芽衣决定不惜牺牲性命，拼命按死门口、叫芽衣一个人逃。然而，门被打破了，多美等冲了入来。剑人为保护芽衣中了多美的小刀攻击。多美追向紧紧搂住倒下一动不动剑人的芽衣，大叫要是你们没来这个学园的话就谁都不会那么烦恼了…。

原本以为是理人救的自己和芽衣的剑人，见理人自责低声说不是他救的他们，愣了。而芽衣早已为了不给理人剑人以及朋友带来麻烦决定退学，收拾行李。剑人气郁的踢树，此时多美的管家神田出现，告诉剑人是自己救的他们。原来神田大概知道多美的真面目，但还是在救了他们之后希望他们不要把多美为露琪亚卖命的事情说出来。而露琪亚似乎对多美有恩。神田则是小时候和多美一家孤儿院的，孤儿院没有了，小多美在路边被小露琪亚看见，因此多美得到解救，愿为露琪亚做任何事以报恩。

班上的同学为了让芽衣留下，在凛和四谷的带领下开始占卜，希望至少能安抚她。

凛占卜得出结论做乌冬面可以让芽衣绽开真正的笑颜，于是大家都在教室里做乌冬。芽衣终被感动，但对在阴寮等待她的学园长还是说出了自己决定要退学的决定。

次日，理人说出自己只想侍奉芽衣的心情，说出自己对芽衣的属于柴田理人的心情。但芽衣略一迟疑还是离开。

告别理人(水嶋宏)后，芽衣离开圣露琪亚女子学园，回到出生的故乡，再次寄宿仲本家中。芽衣在乌冬面店帮忙，同时准备回去以前高中那复学。为陪伴在芽衣身边，剑人辞去管家一职，为使芽衣打起精神，每日努力地干活。

另一方面，因为芽衣的离去而颓然的理人发着高烧，在露琪亚（山田优）的照料下逐歩康复。露琪亚的管家忍（向井理），将曾与本乡家有联系的事告诉了理人。

次日，理人出现在芽衣和剑人的面前，传达了本乡家的意愿：「一周之内如果不回露琪亚女学园的话，就停止支付学费、并且自动与本乡家段绝关系、自动放弃财产继承权。」芽衣得知理人来意仅仅如此，十分伤心，二话不说就离去了。理人冷漠的表情在芽衣转身走开之后解冻，变得痛苦。剑人指责理人不该故意这样对待芽衣。

本乡家当主金大郎（津川雅彦）收到报告后，命令理人回到露琪亚左右。柴田家的管家，要侍奉本乡家继承人是惯例。理人一翻思想斗争后接受了命令。

芽衣回到仲本家，见到泉（岩佐真悠子）和里香(大政绚)等人。圣露琪亚女子学园的同学和管家全员都来接芽衣回去。里香追问芽衣为什么不道缘由就退学了。见芽衣不语，剑人代为说了出来。剑人将芽衣受到露琪亚厌恶，还有受同学加害恐吓之事都说了出来。深知露琪亚本性的泉和米露可(吉田里琴)，向大家说剑人所说的都是千真万确。此时，得知理人回到露琪亚身边做管家，芽衣心情骤然失落，但强装没事，「不要他来接我」，拒绝了泉等人。和里香等人理论个不继的芽衣，说自己在这里和剑人好好的。在芽衣回校期限的最后一天，剑人回到学校与理人进行对打，要理人明白对芽衣的感情。芽衣闻讯由米露可接回学校，见证两人的对打后，最终决定放弃退学。

因为芽衣回到学校，露琪亚方面又开始对众人进行各种打击报复。此时金太郎老爷突然命令将露琪亚和芽衣都带到他面前，并宣布继承人选为露琪亚。芽衣心情沮丧，而理人根据规定将很快陪同露琪亚参加继任仪式。芽衣再次跑开，众人开始焦急寻找。最终理人看了芽衣与父母的合影后来到当年合影的地方找到了芽衣。并转交了学园长保存的芽衣父亲留给女儿的信。芽衣看了以后深受激励，回到了学校，正式向露琪亚提出了以理人为赌注的决斗要求。在确认了理人会遵从决斗的结果后，露琪亚答应，如果她输的话那么会放弃理人以及本乡家继承人的身份，并且退回露琪亚的称号离开学校。而与此相反，若她赢的话，则不仅是芽衣，泉还有里香等一众同学都必须退学。听到这些，泉他们宣布他们接受露琪亚提出的条件，支持芽衣到底。这时，多美放出的箭射中了理人的腹部……