Ошибка вероятно вызвана неточными исходными данными - пока не получается абсолютно точно указать соответствия. Плюс, пиксельное смещение вроде как зависит от удаленности от центра. Вообще, я сам всё ещё продолжаю разбираться. Описание алгоритма могу перевести, но это отнимет много времени, т.к. там несколько глав посвящено этому, и довольно много математики. Но если надо - скажите.

И ещё. Если дать отличие оптических осей между снимками по х и у, работа пойдёт быстрее?

Уже описал:

Остальное - математика в больших кол-вах: фундаментальная матрица, гомография, матрица внутренностей камеры, эпиполярная геометрия, и т.д. и т.п.

Что имеется в виду?

P.S. В данный момент тормоза связаны с тем, что я выкладываюсь на работе, прихожу домой, а там тоже надо кое-что сделать. Со временем всё конечно разберу, но в два счёта не получится, так что просто надо подождать. Тем более, что я не склонен выкладывать промежуточные результаты процесса.

Я уже думал об этом. Тут нет проблемы - конечный результат проверяем. Плюс, библиотека написанная профессионалами - не повод для сомнений, главное дать ей корректные данные на входе.

Теперь об определении главной оптической оси.

Смещение оптических осей снимков приводит к искажению изображения.

Очевидно, что зная смещение оптической оси второго кадра по отношению к первому (или, наоборот) можно применить обратную математическую функцию и привести второй кадр к первому. Это преобразование связанно с оптикой камер.

Красными крестами обозначены главные оптические оси на первом и втором снимках. Снимки s002.radikal.ru/i197/1009/10/76b8cf38d3ae.jpg и s50.radikal.ru/i127/1009/1e/bae364969aaa.jpg

Ясно, что определить смещение оптической оси кадров относительно друг друга можно.

Приведение кадров для определения относительного положения главных оптических осей (обозначены красными крестами). Используется смещение и поворот кадров относительно друг друга; требование - параллакс наиболее удаленного объекта равен нулю. Сохранены 1) искажения из-за разных оптических осей, 2) стереоскопический эффект от смещения камеры в пространстве, 4) перспективные искажения, 4) дисторсия на краях снимков.

Изменение главной оптической оси по х равно 16,92 градуса, по у=0,0046 градусов (принято, что угол обзора камеры 70 градусов). Есть так же масштабное изменение. Поправляйте?!

Теперь, мы возвращаемся к исходным снимкам, зная изменение главной оптической оси можно кадры привести к одной оптической оси (математическая операция обратной проекции на плоскость). Т.о., мы убираем искажения от разных оптический осей (в первом приближении). Далее остается работа с оптической перспективой и дисторсией. В итоге остаются только стереоскопические явления из-за смещения фотокамеры в пространстве. Цикл расчета можно повторить для лучшего приближения.

Эти ингредиенты - основная матрица E и фундаментальная матрица F. Матрица E содержит информацию о сдвигах и вращениях которые связывают обе камеры в физическом пространстве, и F содержит ту же информацию как и E плюс информацию о внутренних параметрах камеры. Т.к. F включает информацию о внутренних параметрах, она соотносит обе камеры на уровне координат точек.

Мы можем вычислить F способом, аналогичным вычислению гомографии изображения в предыдущем разделе, предоставляя известные соответствия. В этом случае нам даже не надо калибровать камеры отдельно потому что мы можем напрямую найти F которая неявно содержит фундаментальные матрицы для обоих камер. Подпрограмма которая делает всё это называется cvFindFundamentalMat().

Теперь, мы возвращаемся к исходным снимкам, зная изменение главной оптической оси можно кадры привести к одной оптической оси (математическая операция обратной проекции на плоскость). Т.о., мы убираем искажения от разных оптический осей (в первом приближении). Далее остается работа с оптической перспективой и дисторсией. В итоге остаются только стереоскопические явления из-за смещения фотокамеры в пространстве.

В итоге мы получаем стереопару:

Стереопара для снимков s002.radikal.ru/i197/1009/10/76b8cf38d3ae.jpg и s50.radikal.ru/i127/1009/1e/bae364969aaa.jpg после оптических преобразований.

Как видим, использование только оптических преобразований, причем функции ко всей фотографии, а не к отдельным точкам или элементам снимкам, приводит к сведению снимков. Остаются только стереоскопические эффекты.

Стереопара для снимков s002.radikal.ru/i197/1009/10/76b8cf38d3ae.jpg и s50.radikal.ru/i127/1009/1e/bae364969aaa.jpg после оптических преобразований с большим разрешением.

По параллаксу можно изучать расстояние до предметов, их глубину.

Ясно, что цикл расчета можно повторить для лучшего приближения.

Один из результатов сведения снимков в стереопару по программе Learning OpenCV. На стереопаре параллаксы пятиэтажки (удалена на 100-150 метров), черного пятна (впереди перед объективом, 3-4 метров), бордюра (впереди, 4-7 м) и девятиэтажки (100 м) одинаковые с точностью до нескольких пикселей. Очевидно, это ошибка в случае стереоректификации.

Извините, но пока Ваши слова не имеют под собой никакой базы, лишь идеи, или приведенные результаты не соответствуют действительности:

Меня не устраивает, что вы так до конца и не разобравшись в вопросе пытаетесь делать выводы. Насколько я понял из описания алгоритма, там используются как раз только честные преобразования. Но ведь прочесть на английском трудно, гораздо проще поторопиться с выводами. Я ведь даже предлагал перевести этот кусок. Далее, похоже вы неправильно представляете процесс нахождения фундаментальной матрицы, видимо, считаете, что там используется что-то просто тупо переводящее точки. А ведь авторы не идиоты, кто им мешает искать просто подходящую матрицу основанную на вращения, репроекциях и т.п. и минимизирующую отклонение точек по вертикали? Если алгоритм из книги про OpenCV кажется вам непрозрачным, хотя вы его даже не читали, а вам "Рабинович напел", а вы его ещё поняли по своему, я-то тут при чём? Ещё раз говорю, могу перевести, но это отнимет достаточно много времени. Если есть вопросы, так спрашивайте, но обвинять человека который указал вам на несоответствия - это не методы ведения нормальной дискусии.

И я вам уже писал, что точность зависит от исходных данных, а в пределе алгоритм способен выдать субпиксельную и я даже где-то читал об этом. Что непонятно? Вы думаете, что кто-то будет подбирать все 9 элементов матрицы, когда можно подобрать пару углов и построить на их основе матрицу?

Конечно-конечно, гораздо правильнее ничего не репроецировать, а оставить совмещение как и было. Я понимаю, что правильный алгоритм гораздо сложнее тупого наложения, но что делать, если правильно так? Спросите американцев, почему они сняли снимки с разным направлением оптических осей, даже не попытавшись сделать честные стереопары?

Продолжать дискуссию в таком ключе никакого желания нет. Считаете, что я где-то что-то понимаю неправильно - спросите, а торопиться с выводами - занятие глупое и бессмысленное. И хватит тратить мое время. Все ссылки я дал, общий ход мысли пояснил - дальше разбирайтесь сами, мы не в детском саду.

P.S. Если вам кажется неправильным что-то в ректифицированом мной снимке - то я уже писал, что исходные данные были неточными, и иногда довольно сильно. Это скорее как примерно должно быть, чем точный результат. Хотелось показать вам как должен выглядеть результат, хотя бы приблизительно. Скажете, вы ничего не почерпнули из этого сведения?

МОЙ ХОД:

Вами было написано в сообщении 5 о методе ligaspace:

Я Вам ответил сообщение 6:

В итоге Вы привели стереопару сообщение 27 на основе преобразований по точкам фотографий:

Стереопара для снимков s002.radikal.ru/i197/1009/10/76b8cf38d3ae.jpg и s50.radikal.ru/i127/1009/1e/bae364969aaa.jpg по программе Learning OpenCV.

На что я Вам ответил в сообщении 30:
На стереопаре параллаксы пятиэтажки (удалена на 100-150 метров), черного пятна (впереди перед объективом, 3-4 метров), бордюра (впереди, 4-7 м) и девятиэтажки (100 м) одинаковые с точностью до нескольких пикселей. Очевидно, это ошибка в случае стереоректификации, возможно из-за выбора точек сведения. Как исправить?

В сообщении 32 Вам предложено направление нахождения смещения оптических осей для создания программного алгоритма. И в сообщении 36 описан алгоритм для стереректификации, использующий только оптические преобразования одновременно ко всей фотографии. Итогом такого алгоритма является стереопара:

Стереопара для снимков s002.radikal.ru/i197/1009/10/76b8cf38d3ae.jpg и s50.radikal.ru/i127/1009/1e/bae364969aaa.jpg после оптических преобразований.

В ответ Вы пишите, что данный алгоритм "неприемлем, так не приемлем" (см. выше).

Я Вам отвечаю: "Извините, от прозрачного метода Вы отказываетесь... пока Ваши слова не имеют под собой никакой базы, лишь идеи, или приведенные результаты не соответствуют действительности, при этом ссылаясь на Ваше заявление о неприемлемости стереоректификации оптическими преобразованиями методом ligaspace" (сообщение выше).

Вы понимаете, что в доказательство своих слов о неприемлемости стереоректификации методом ligaspace Вы привели результат с грубыми ошибками. В ответ Вам для поиска программного алгоритма предложен прозрачный алгоритм на основе метода ligaspace и на деле показан очень хороший результат. Вы отказываетесь.

Другими словами, имейте честь! Ваши слова к Вам же: "вы так до конца и не разобравшись в вопросе пытаетесь делать выводы" не имея багажа доказательств.
Объявляю шах!

Очевидно, подать на вход точные данные. Только их не так-то просто достать.

Все эти ингредиенты входят в алгоритм ректификации OpenCV, но нужно учитывать не только это, но и определять в какую сторону поворачивать оба снимка. В OpenCV это делается, у вас - нет. Если я что-то понимаю в колбасных обрезках, все преобразования OpenCV тоже оптические.

Извините, на каком основании вы сделали такой вывод? OpenCV писали профессионалы в своем деле, и уж точно на основании соответствующих научных работ. Вы даже не взяли на себя труд выяснить, что же вы считаете "непрозрачным" алгоритмом.

Результат - довольно-таки плохой. Вертикальные координаты точек на снимках не совпадают (и разница по вертикали между точками тоже). Это значит, что ректификацию вы произвели неточно, и по такому совмещению удаленность получится с ощутимыми ошибками. И вам не удастся её провести точно, пока вы не учтете описанный мной момент:

Мне же, чтобы получить правильный результат надо только передать точные соответствия. Почувствуйте разницу. Очень странно конечно, что я после этого отказываюсь пользоваться вашим неточным (но всё же гораздо более точным, чем раньше) алгоритмом, правда?