据近人研究，契丹人建辽时，有济沁哨卡之名，“齐齐”是济沁的谐音，由济沁河得名，“哈尔”是“哈日”，在古契丹语中有阻挡、防守之意，在军事上作为哨卡、哨所解释。齐齐哈尔的名称可能最早由此形成，其治所在今齐齐哈尔有碾子山一带。
金代的庞葛城在今天齐齐哈尔境内，有人考证是今梅里斯区雅尔塞乡的哈拉古城遗址。一些历史文献上称金代齐齐哈尔为庞葛，“庞葛”女真语，元代蒙古称，“别笳尔”。
清代的齐齐哈尔是达斡尔语“奇奇嘎热”、“习气哈克”、“奇查哈里”或“喜扎嘎日”的谐音，含有边疆、边境之意。从17世纪中叶达斡尔人的一支，内迁到齐齐哈尔地区定居就建立了这个中心村屯，这个名称是达斡尔人为永远纪念黑龙江古老家乡，称自己是边疆人或边疆来的人，所以把这个中心村屯称为齐齐哈尔，也有人说齐齐哈尔是蒙古语“里奇嘎热”或满语“哲陈嘎拉”的音转，其含意除边疆、边城外，有天然牧场之说。
现在齐齐哈尔嫩江西岸雅尔塞乡的齐齐哈尔屯就是原来的齐齐哈尔屯。1691年拟建齐齐哈尔城时，原定在此，并已请旨恩准，后来发现该城址与江东驿站交通十分不便，实际将城改建在卜奎屯，原村屯改称齐齐哈尔至今，因城建在卜奎屯，所以齐齐哈尔城又俗称为卜奎。
卜奎又称卜魁，奎、魁是“克依”切音代字，原称“伯克依”。清初达斡尔人总管叫卜魁。在此建屯用他的名字称为屯名。后来，在这里建立的驿站称卜奎站，在这里建城以后又有卜奎城的称呼，成为齐齐哈尔的别称。
龙沙一词早见于《班梁列传》和李白的《塞下曲》中，其中，“咫尺龙沙”、“战士卧龙沙”等语。清代流戍齐齐哈尔的文人方式济在《望见卜奎城》诗中有“一片片沙昏数尺墙”的感慨，后写《龙沙纪略》用以记述黑龙江历史地理。
今齐齐哈尔被誉为丹顶鹤的故乡，鹤城之名便在近年诞生。
