Der Ort Kühlsen liegt gut 8 km Luftlinie südlich der Driburger Kernstadt in einem Tal am Ostfuß des 409 m hohen und bewaldeten Steinbergs, vom dem sich der Kühlser Namenszusatz „das Steinbergdorf“ herleitet.
Der Steinberg mit seinen Kirchberg und Essenberg genannten nördlichen Nebenhöhen gehört zum 906 ha großen Driburger Naturschutzgebiet Gradberg, das von vor allem von Waldmeister-Buchenwäldern geprägt und zum großen Teil auch FFH-Gebiet ist. Im Nordosten wird das Kühlser Tal vom 303 m hohen Dornberg und im Südosten vom 326 m hohen Rietholz eingerahmt.
Ein in den Rietholzwiesen südlich vom Dorf entspringender Bach (ugs. „Kühlser Bach“) fließt nach Osten ab und mündet nach etwas mehr als einem Kilometer unterhalb von Dringenberg in die Öse. Quelle