时太子勇失爱于上，潜有废立之志，从容谓颎曰：“有神告晋王妃，言王必有天下，若之何？”颎长跪曰：“长幼有序，其可废乎！”上默然而止。独孤后知颎不可夺，阴欲去之。
恐东会上令选东宫卫士以入上台，颎奏称：“若尽取强者，恐东宫宿卫太劣。”上作色曰：“我有时出入，宿卫须得勇毅。太子毓德东宫，左右何须壮士！此极弊法。如我意者，恒于交番之日，分向东宫，上下团伍不别，岂非佳事！我熟见前代，公不须仍踵旧风。”颎子表仁，娶太子女，故上以此言防之。
所伺：趁机。也 衔：怀在心里，特指怀恨，怨恨。
隋文帝开皇十九年（公元599年），独孤皇后生性善于妒忌，后宫没有人敢伺候皇上过夜。尉迟迥的孙女长得貌美如花，一直被埋没在后宫之中。有一次，隋文帝在仁寿宫看见她后便对她一见钟情，从此便开始专宠于她。独孤皇后知道这件事后，不禁妒火中烧，于是就趁隋文帝上朝听政时，派人将她杀掉。隋文帝因此被气得大发雷霆，独自驰马从苑中奔出，不走顺畅的大路，却径直往深山老林中前进了二十多里。高颎、杨素等人一路骑马追了上来，上前拉住他的马头苦苦劝说。隋文帝听后长长叹了一口气，说：“我贵为天子，却连一点自由都没有！”高颎安慰他道：“陛下怎么能够为了区区一个妇人而抛弃天下人呢？”隋文帝的怒气这才稍微消了一点，停下马驻足很久，直到午夜才返回宫中。当时独孤皇后正在后宫中焦急地等待着皇上，一见到隋文帝，立刻涕泪横飞，不住地拜谢请罪。高颎、杨素等人从中充当和事佬，对他俩进行解劝，因此大摆酒宴，欢饮达旦。从前，独孤皇后念及高颎是父亲独孤信的家客，所以对他非常客气有礼。可是自从发生了这件事以后，她得知高颎称自己为一妇人，随即开始对他怀恨在心。
当时，皇太子杨勇失去了隋文帝的宠爱。隋文帝暗地里想废掉太子，他曾经正色对高颎道：“有神灵曾经告诉晋王杨广的妃子，说晋王肯定会拥有天下，你认为怎么样？”高颎听罢长跪不起，说道：“长幼有序，岂可废黜太子？”隋文帝听后默然不语。独孤皇后知道高颎肯定不会赞成废黜太子的，所以私下里打算将他赶出朝廷。
恰逢隋文帝诏令挑选东宫卫士到皇宫上台值班宿卫，高颎上疏道：“假如陛下把所有的强壮宿卫都选走，那么恐怕东宫的宿卫力量就太薄弱了。”隋文帝顿时脸色大变，说：“我经常出外巡视，所以宿卫之士必须要勇敢刚毅。而太子只需要在东宫中安坐着，好好培养仁德的品质就行了，身边哪里会用得着强壮的宿卫！因此在东宫安置强大的宿卫力量是极大的浪费。卫士中有合我心意的，固定在轮换当值交接的那天分配到东宫去宿卫，这样一来，两宫的宿卫合二为一，这难道不是很好吗？我很清楚前代各种制度的得失，你不必请求让我因循守旧。”因为高颎的儿子高表仁娶了太子杨勇的女儿为妻，所以隋文帝其实是想用这些话给他提醒。
颎夫人卒，独孤后言于上曰：“高仆射老矣，而丧夫人，陛下何能不为之娶！”上以后言告颎。颎流涕谢曰：“臣今已老，退朝，唯斋居读佛经而已。虽陛下垂哀之深，至于纳室，非臣所愿。”上乃止。既而颎爱妾生男，上闻之，极喜，后甚不悦。上问其故，后曰：“陛下尚复信高颎邪？始，陛下欲为颎娶，颎心存爱妾，面欺陛下。今其诈已见，安得信之！”上由是疏颎。
伐辽之役，颎固谏，不从，及师无功，后言于上曰：“颎初不欲行，陛下强遣之，妾固知其无功矣！”又，上以汉王年少，专委军事于颎，颎以任寄隆重，每怀至公，无自疑之意，谅所言多不用。谅甚衔之，及还，泣言于后曰：“儿幸免高颎所杀。”上闻之，弥不平。
及击突厥，出白道，进图入碛，遣使请兵，近臣缘此言颎欲反。上未有所答，颎已破突厥而还。及王世积诛，推核之际，有宫禁中事，云于颎处得之，上大惊。有司又奏“颎及左右卫大将军元旻、元胄，并与世积交通，受其名马之赠。”旻、胄坐免官。上柱国贺若弼、吴州总管宇文弼、刑部尚书薛胄、民部尚书斛律孝卿、兵部尚书柳述等明颎无罪，上愈怒，皆以属吏，自是朝臣无敢言者。秋，八月，癸卯，颎坐免上柱国、左仆射，以齐公就第。
高颎的夫人死后，独孤皇后对隋文帝说：“高仆射老了，现在又丧了夫人，陛下为何不再为他续娶一房继室呢？”隋文帝于是把皇后的原话说给高颎。高颎凄然泪下，感谢道：“我已经一把年纪了，退朝以后，只是斋居诵读佛经罢了，虽然陛下如此深深哀怜我，但是说到续弦纳妾，的确并非臣所愿。”隋文帝只得作罢。没过多久，高颎的爱妾生下一男孩，隋文帝得知后大喜过望，可是皇后却很不高兴。隋文帝便问她其中缘由，皇后说：“陛下还能再相信高颎吗？先前，陛下想要为高颎续娶，而高颎却因为心里挂念爱妾，所以才当面哄骗陛下，说他不想再娶。现在他的欺诈已经暴露出来，陛下您怎能再相信他呢？”隋文帝随即开始慢慢疏远高颎。
隋文帝打算进攻高丽，高颎曾一再劝谏阻止，隋文帝并不听从。等到出师无功而返后，独孤皇后便对隋文帝说道：“高颎从一开始就不想出征，陛下强行派遣他去，我早就知道他肯定不会成功的。”此外，又由于元帅汉王杨谅太过年少，所以隋文帝把所有军务都委托给了高颎，而高颎也因为隋文帝对他寄予厚望，所以隋文帝常怀着一颗至公守正的心，从来没有产生过避嫌的念头，对杨谅的建议多半不采纳。因此杨谅对高颎痛恨有加，返回长安后，杨谅便痛哭流涕地对独孤皇后说：“孩儿幸亏没有被高颎杀掉。”隋文帝知道后，更是对高颎怀恨在心。
等到高颎率军攻打突厥时，大军追击敌兵超越了白道，企图进一步深入大漠之中，因此派人向朝廷请求增援，隋文帝左右近臣据此咬定高颎图谋造反。隋文帝还没有做出答复，高颎就已经率军打败突厥而班师回朝了。前凉州总管王世积被朝廷处死，在对他进行审问过程中，涉及一些宫禁中的事情，王世积说是从高颎那里听说的，隋文帝大为吃惊。有关执掌官吏又趁机上疏道：“高颎和左右卫大将军元旻、元胄，都与王世积勾结来往，还接受了王世积馈赠的名马。”于是元旻、元胄相继被朝廷罢免。上柱国贺若弼、吴州总管宇文弼、刑部尚书薛胄、民部尚书斛律孝卿、兵部尚书柳述等人都纷纷上奏力保高颎无罪，这更让隋文帝恼怒，他下令把有关人士全都交付执法官署问罪，从此文武百官没有谁再敢为高颎说情。秋季，八月初十，高颎被罢免上柱国、尚书左仆射官职，以齐公之名回家闲居。
未几，上幸秦王俊第，召颎侍宴。颎歔欷悲不自胜，独孤后亦对之泣。上谓颎曰：“朕不负公，公自负也。”因谓侍臣曰：“我于高颎，胜于儿子，虽或不见，常似目前；自其解落，瞑然忘之，如本无高颎。人臣不可以身要君，自云第一也。”
