典故是这样的《史记·孔子世家》里，提到了孔子之前的卫国之行，孔子“居卫月余，灵公与夫人同车，宦者雍渠参乘出，使孔子为次乘，招摇市过之。孔子曰：‘吾未见好德如好色者也。’于是丑之，去卫。”
我来大致翻译一下这段话，当代全国教育劳模孔老先生受卫国国君的邀请，来到了卫国参观学习休养，但在这期间，孔老先生突然发现自己被涮了，人家根本是拿他的身份来炫耀自己抬高自己而已，并不是真正支持他来这教化卫国民众的，尤其是那个卫灵公的老婆，为了抬高自己的身望，公开炫耀，贬低了孔子，孔老先生那个郁闷啊，你卫灵公到底是喜欢德才多些，还是喜欢女色多些？在你心里我和你老婆哪个重要？孔子怒了，说：“吾未见好德如好色者也！”收拾行李就离开了卫国，离开之后，心情平复了，想起卫国公老婆那种仗着得宠，骄横跋扈乱政扰民的烂事儿，就发了感慨：“唯女子与小人难养也！近之则不孙，远之则怨。”
唯女子与小人难养也。完整表述见于《论语·第十七章·阳货篇》：“唯女子与小人为难养也，近之则不逊，远之则怨。”要理解孔子的意图，必须回到历史的语境，准确把握孔子的说话对象。
我们都知道孔子作为儒家学派的创始人，在儒家学说刚刚诞生之际，很多人并不理解，因此孔子才会周游列国，向其他国家的君主宣传自己的儒家思想，一天，孔子来到卫国宣传他的儒家学说，然而却受到了卫国国君的排斥，卫国国君为什么会排斥孔子呢?原来是国君的嫔妃和一些奸臣在卫国国君面前说了孔子的坏话，正是因为听信了他们的谗言，孔子才会不被待见，无奈之下，孔子只得离开了卫国，在离开之前，孔子说出了这句“唯女子与小人难养也”的千古名言。可见，孔子这里说的小人是指那些在背后说坏话的奸佞小人，而“女人”则指的是那些说坏话的嫔妃，只是特指，并没有泛指一类人，并没有任何诋毁和歧视之意，而在这句话的后面，孔子还说了另外一句，这句话就是：“近之则不逊，远之则怨”，什么意思呢?就是说对于那些阴险狡诈的妃子，如果君主亲近她，她们就会仗势欺人，更加得寸进尺，如果你疏远她，她就会在背地里怨恨你，和这样的女人相处，真的十分困难啊!
