香包在《诗经》的一些篇章里已有描述，早在约3000年前就有了香包。有趣的是，香包出现的早期是男人佩戴，并且香包并不是只有端午节才佩戴，而是日用品。
战国时期，屈原《离骚》中有“扈江离与辟芷兮，纫秋兰以为佩。”江离、辟芷、秋兰均为香草。纫，乃连缀之意。佩即佩帏，在这里既指香包，也含佩带之意。全句的意思是把装满香草的佩帏带在身上。这说明香包早在屈原所处的战国时代已是一种饰物了。同时它开创了“香草美人”的象征，表现品质高洁、情操高雅。当然，“香草美人”指的是男子。
至秦、汉、晋时期，香包还一直是男人佩戴。西汉成书的《礼记》云：“五采谓之绣。”香包用青、赤、黄、白、黑五色丝线刺绣而成，色彩绚丽，有装饰衣着、把玩欣赏之审美功用，又因填有特殊的中药材，兼有驱邪、除菌、爽神的功效。《礼记·类则》载：“男女未冠笄者……衿缨皆陪容臭”。容臭即香包，汉代未成年的男女都佩戴香包，晨昏叩拜父母，必须佩戴香包，由此香包还具有了礼仪作用。
晋代以后香包渐女人、儿童日常开始使用。到了唐宋时期，香囊为仕女、美人所钟爱。而男性官吏朝服上开始佩戴香包，礼仪作用愈加凸显。这一时期，香包出现更为实用的变化，即荷包。香包里主要装的是香草，而荷包主要是“盛手巾细物”的。同时由于手工艺的发展，香囊也有了不同材质，陕西历史博物馆馆藏的唐代葡萄花鸟纹银香囊还利用重力平衡作用，使香料不洒落，非常机巧。
