Помогите советом

Всем привет! Первый раз на форуме! Помогите, пожалуйста, советом!
Уже третий месяц, как очень тесно общаюсь с коллегой по работе.
Встречаемся около 3х раз в неделю - кафе, киношки, гуляем, болтаем обо всем, на работе тоже все время в скайпе общаемся (не по работе, потому что полностью в разных подразделениях), ну и ,секс, естественно! С виду мы как обычная пара - ходим за ручку, поцелуйчики, конфетки, и прочая розовая фигня.

Неделю назад с ним разговаривали и между делом он сказал, что не хочет серьезных отношений сейчас, что это будет ужасно для девушки и прочую фигню. За месяц до “так называемого знакомства со мной вне работы” расстался с девушкой, видимо, которую любил, и сейчас помнит ее.
Со мной же -можем обсудить все темы, очень легко общаемся, иногда наговориться не можем. Говорил, что секс со мной самый клевый, что такого никогда не было. С этим вообще кое-какие неудобства на работе были при виде меня)
Но все же, я женщина, и мне нужна стабильность. И в моей голове такое мнение уложилось - сказал, что не хочет встречаться официально - значит, со мной не хочет встречаться, а следовательно, по идее ему должно быть плевать, с кем я еще гуляю кроме него.
Однако, всегда спрашивает , где и с кем я, чувствуются небольшие нотки ревности. Но я все равно не до конца чувствую его рядом, и не хочу так продолжать. Либо все , либо ничего. Но каждый раз, когда я пытаюсь отдалиться, он бьет тревогу и кладет мир к моим ногам…
Вот и не знаю, что делать? Потерпеть еще или расставить все точки? Пусть мне всего лишь 23. Но все же я не хочу тратить время на пустые отношения, тем более, что куча мужиков ходит рядом, пусть пока и не нужных…Тем более я ужасно эмоциональный человек.
Уже неделю несу всякую чушь, почему не могу увидеться с ним, но из-за этого хочется лезти на стену, потому что безумно хочу его видеть. Он уже снова начал докапываться, что со мной не так, чем он меня обидел и т.п.
Взять и сказать ему прямо - так и так, больше не можем продолжать отношения, потому что так и так??? Или просто тянуть резину дальше, постепенно отдаляясь? Плыть по течению -знаю точно, что не вариант, потому что мои нервы не выдержат!