子曰：唯上知與下愚不移。
這就是連接上面的意思，上面是講性的相近，一般人沒有基本的中心思想，而一旦丟棄自己本性，就容易受環境影響，結果是習慣越多，距離自己本性越遠(性相近，習相遠)。下面就說只有上智，第一等智慧的人，與下愚，最笨的人，不會受環境影響。最聰明人自己有思想，有見解，有中心主張；最笨的人，影響他不了。除此以外，世界上都是像我們一樣的人，最糟了，說聰明也笨，說笨也聰明，聰明又笨，這一類人最易受時代環境影響。像我的家鄉，有些最靠海邊的窮家小戶，一年到頭都是在海灘揀一點最壞的蚶(憨)和紅薯乾，放點鹽，喝稀飯。有一次，一位這樣的窮人說，假使有一天發了財，餐餐都要吃某人家那樣的豆腐乾。他的欲望就是那麼大，再好的給他吃也受不了，這也可以說就是“唯上知與下愚不移”。有一天來了一些鄉巴佬(下愚)，我拿很好的外國巧克力糖請他們吃，他們走了以後，在桌椅下掃出許多巧克力糖來，原來他們吃了覺得是怪味道，丟掉了，我這才發現自己又錯了，這也是“上智下愚不移”的道理。所以這中間有一個哲學：真正第一等聰明的人，是世界上最笨的人；真正笨到絕頂的人，就是第一等聰明人。這個話表面上看起來矛盾，大家仔細研究一下就會瞭解，所以人不須要玩弄聰明，喜歡玩弄聰明的人，最後還是失敗的。
同時，我們也可以看出把上面這兩條放在這裏，作為孔子(上知)見陽貨這件事的結論，是非常好的說明，等於替孔子自己解釋了。一個人立身出處非常重要，絕不可以受環境影響，絕不受外來的權勢、利益誘惑而變更初衷，要始終“確乎而不可拔”才對。
* 李翱復性書: 人之所以為聖人者，性也；人之所以惑其性者，情也。喜、怒、哀、懼、愛、惡、欲，七者皆情之所為也，情旣昏，性斯匿矣；非性之過也，七者循環而交來，故性不能充也。水之渾也，其流不清；火之煙也，其光不明；非水、火清明之過，沙不渾，流斯清矣；煙不鬱，光斯明矣；情不作，性斯充矣。性與情不相無也，雖然無性則情無所生矣，是情由性而生；情不自情，因性而情；性不自性，由情以明。性者，天之命也，聖人得之而不惑者也；情者，性之動也，百姓溺之而不能知其本者也。