至于不良府，仅仅背靠外东苑城墙，位于龙首池南岸，并非单独殿宇，而是守卫森严的小型府衙。
仔细观察，这府衙占半坊之地，四方周正，府墙各垒三重门楼，每一道外门虽然只是单檐广梁，门闸、雉堞、望楼、碉堡齐聚，在高可丈许的府墙上也不显寒酸，反而有种冷峻威严感
越过御道园林，近前细看，匾额蓝漆金字、洒金利落。
太宗皇帝亲笔书写的“不良府”三个字龙飞凤舞、苍劲有力，谁看了都要却步肃立、不敢嬉戏无礼。
平常时，不良府三侧门都是关闭的，仅正府偏门以供出入，他们到地方时，正有一队玄袍不良卫纵马驰骋，呜呜泱泱往正和门外去了！
一入不良府，绿瓦白墙、朱漆棂窗，殿堂多是沿中轴线分布，为歇山顶、悬山顶、庑殿顶、斗拱繁复、广檐高台、两侧有游廊庑房通向后堂诸院，正庭、中门、中庭、南庭、后院依次错步。
大致格局一如寻常殿宇，只是少了后宫殿宇的五彩遍装、雕饰漆色，纹饰以睚眦咆哮扬爪为多，整体怒目而视、形如豺狼凶兽，再加上与其他宫殿不同的琉璃灰瓦，从外看来，只觉得黑灰威严、肃杀之气不可近人。
沿着主道略过白石灯龛，正庭高堂上挂“高悬堂”匾额，走马台阶下有一人高的睚眦铸兽，怒目冷视、威风凛凛，碑文篆刻圣人手书：天子悬剑、高堂明镜！