当初，斛律羡常以自己家族太显赫而恐惧，上表请求解除自己的职务，又不被批准。临刑，他叹息说：“富贵如此，女为皇后，公主满家，常使三百兵，何得不败!”与他的五个儿子斛律伏护、斛律世达、斛律世迁、斛律世辨、斛律世酋都被处死。
北周主宇文邕听闻斛律光死，为之大赦。
祖珽与侍中高元海共同执掌北齐政权。高元海的妻子，是陆令萱的外甥女，高元海数次把陆令萱私底下的密语告诉祖珽。祖珽请求担任领军，北齐主高纬许诺同意，高元海密言于高纬说：“祖珽是汉人，两目又盲，岂可为领军!”又说祖珽与广宁王高孝珩交结，由是中止。祖珽求见，为自己辩解，并且说：“臣与高元海一向有矛盾，必定是他说我坏话。”高纬脸皮薄，不能抵赖，就把实情告诉祖珽。祖珽把高元海与司农卿尹子华等结为朋党的事向高纬报告，又把高元海所泄露的陆令萱密语告诉陆令萱。陆令萱怒，贬高元海为郑州刺史。尹子华等都被贬黜。
祖珽自此独断专权，掌管中枢机要，总知骑兵、外兵事，内外亲戚，都得到显赫高位。高纬常令自己最亲信的宦官扶侍他出入，一直走到永巷；祖珽往往与高纬同坐御榻，论决政事，委任之重，群臣莫比。
【华杉讲透】
人臣威权太重，理论上就要被灭门，因为你挡不住君王的猜忌和其他大臣的嫉恨，所谓怀璧其罪，你拥有的权势，就是你的罪，防不胜防，所以，只有谦退一条路。斛律光死的时候，他知道自己的死是合理的；斛律羡死的时候，他也早就知道自己会满门抄斩。他们都“以盛满为惧”，但仅仅上表自请解除职务，皇帝不许，他们就算了。这不够!办法很多，可以称病，还可以装疯，就看你的决心有多大。其实还是自己舍不得富贵和权力。像斛律光，祖珽不跟他汇报，他就要骂娘，怎么叫谦退呢？都是自己找死。