Он был известен как виртуозный пианист, мастер импровизации, композитор, творивший в первую очередь для кино, оригинальная, окруженная мистическим ореолом личность.
В советские времена его единственное публичное выступление состоялось в начале 1960-х годов на сцене Ленинградского Концертного зала (ныне Концертный зал у Финляндского). Далее, вплоть до 1990-х, широкой публике Каравайчук был известен только как композитор театра и кино, – его концерты запрещались, а многие произведения до сих пор не выпущены.
Зато за более чем полувековую работу в кино Олег Каравайчук написал столько замечательной музыки, что хватило бы на несколько человеческих жизней. Первый его фильм, «Алеша Птицын вырабатывает характер», был снят на «Ленфильме» в 1954 г. Среди десятков фильмов, к которым Каравайчук написал свою незабываемую музыку, такие культовые ленты, как «Два капитана» Владимира Венгерова (1956), «Солдаты» Александра Иванова (1957), «Город зажигает огни» (1958), «Поднятая целина» (1960), «Городской романс» (1970), «Темная ночь» Олега Ковалова (2001) – всего более 150 документальных и игровых картин!
Каравайчук работал с такими режиссерами, как Кира Муратова («Короткие встречи» и «Долгие проводы»), Виталий Мельников («Мама вышла замуж», «Женитьба»), Илья Авербах («Монолог», «Чужие письма», «Драма из старинной жизни»), Иосиф Хейфиц («Впервые замужем», «Шурочка», «Ася»), Семен Аранович («…и другие официальные лица», «Летняя поездка к морю», «Год собаки»). В нескольких картинах он снимался сам.