Для начала можно почитать Гонзалеса и Вудса "Цифровая обработка изображений".
Книг достаточно много, если английского не боитесь, могу представить список.

Хорошая книга на английском: Frank Y. Shih, Image Processing and Pattern Recognition, Fundamentals and Techniques


Экспериментировать удобнее с динамическими языками - Python, MATLAB. OpenCV - это уже когда готовый продукт надо реализовать.

Для разработки алгоритмов я бы советовал взять MATLAB. Там отличный Image Processing Toolbox и Computer Vision toolbox из коробки. Сама среда очень удобная и мощная для отладки, визуализации и экспериментов. Одна проблема - платная. Но это легко решается.

Для питона могу посоветовать набор программ из проекта PythonXY. Там так же из коробки настроенная IDE на базе Eclipse, IPython, Numpy, Scipy, PIL, в общем всё что надо для разработки алгоритмов и научных приложений.

Octave до матлаба как до луны. Ну сами понимаете, сравнили ж с пальцем.
"Пихать всё в кучу" затем, что это создаёт настроенную среду под конкретные задачи, избавляет от геморроя собирать библиотеки и настраивать окружение. Ну если вам нравится емакс настраивать годами (знаю, для вима и емакса есть конфиги на гитхабе и всё такое), то пожалуйста, тут дело времени, вкусов и целей. Мне удобнее взять готовую удобную среду и не думать об инструменте, а думать о задаче.
Инструмент должен быть "прозрачным", ну как карандаш для письма, например.