태블릿 PC를 통해 구현된 증강현실 영상 속 이동하는 시표와 카메라를 통해 실시간 시표가 이동하는 영상 관찰시 나타나는 눈의 조절력 변화에 관한 연구

서 론

증강현실(Augmented reality, AR)은 카메라를 통해 실제로 존재하는 배경이나 물체를 비추면 화면 속에 3차원 가상의 형상들을 덧입혀서, 실제로 존재하는 것처럼 보여주는 기술로 증강현실 네이비게이션과 포켓몬 고 게임과 같은 기술들로 이미 대중에게 익숙하게 사용되고 있다.^[1]

초기에 사용된 증강현실 디스플레이는 HMD (head mounted display) 형태로 머리에 착용한 헬멧형이 주로 개발되었으나 무거운 무게, 불편함 착용감, 메스꺼움, 안구운동의 피로감, 사용의 어려움, 고가인 점 등으로 인해서 일반인들이 보편적으로 사용하기에 많은 제약이 있었다.^[2,3] 이러한 문제점을 해결하여 구글사에서는 2012년에 단안 프리즘을 이용한 안경형 증강현실 기기 구글글래스(Google glasses, Google, USA)를 공개하였으나 프라이버시 문제, 비싼 가격, 낮은 보안성 등으로 인해 대중화에는 실패하였다.^[4] 이후 스마트폰이 일반에 보급되기 시작하면서 개인 스마트폰의 애플리케이션을 이용하여 증강현실 기술을 적용하여 더욱 쉽게 이용할 수 있게 되었고, 포켓몬 고 등의 증강현실용 게임이 유행하면서 Non-HMD 타입으로 스마트폰을 활용한 증강현실 기술이 대중화되었다.^[5,6]

이렇게 증강현실 기술을 개인 스마트폰 애플리케이션을 통해서 실생활에서도 누구나 쉽게 이용할 수 있게 되면서 의료, 군사훈련, 게임, 광고, 교육 등 많은 실생활 분야에서 활용되면서 개인들도 증강현실 애플리케이션을 만들 수 있게 되었고, 증강현실 기술을 활용하여 본인이 원하는 것들을 제작하기까지 이르렀다.^[5] 또한 많은 기업들이 증강현실들을 실생활에 접목시킨 프로그램과 장치들을 개발하고 출시하고 있다. 예를 들어 증강현실 기기를 통한 안구운동훈련, 심리적 치료, 증강현실 내비게이션, 모바일 게임인 포켓몬 고, 학교에서 체험형 학습 콘텐츠와 같은 곳에 활용되며, 앞으로도 활용 분야가 넓어 질 것이라 예상된다.^[5] 증강현실 영상을 보고 있을 때 우리 눈의 반응이나 시청 후 눈의 변화에 대한 연구는 많지 않다. 따라서, 본 연구에서는 우리 눈의 조절과 증강현실 영상을 시청할 때 반응량을 알아보고자 하였다. 조절반응(accommodative response)은 사물을 보고 있을 때 우리 눈에서 실제로 일어나는 조절량이다. 조절의 정확도를 측정하는 것인 조절반응량은 50 cm의 거리에 있는 사물을 볼 때 +2D의 조절이 필요하지만 실제 조절은 평균보다 +0.5D정도 적게 나타난다. 이것을 조절지체(accommodation lag)라고 한다.^[7] 10~30대의 경우엔 조절반응량은 조절 관련 문제 등을 제외하면 자극량에 비례하여 증가하지만 40대가 되면 조절반응량이 눈에 띄게 감소하게 되며 그 이후로 지속적인 감소가 일어나 50대 이후엔 거의 반응하지 않는 노안 등의 문제가 발생하며, 여자보다 남자가 약간 높게 나타나는 보고도 있다.^[8,9]

증강현실 기기에서의 조절반응량에 관련된 연구들을 살펴보면 김 등^[3]은 구글글라스를 착용한 상태에서 조절반응량을 측정했을 때 조절 관련 문제를 일으킬 만큼의 조절은 일어나지 않았음을 보고했다. 또한 Edgar 등^[10]은 증강현실 영상에 부적절하게 초점을 맞출 수 있음을 경고했으며, 사용자가 가상 ‘실제’ 세계에서 물체의 크기와 거리에 대한 잘못된 인식과 대비 감도가 손실되는 등 문제가 심각할 수 있는 점을 지적했다.

증강현실 기술이 대중에 보급됨에 따라 다양한 증강현실 자극을 통해 원/근거리 교대보기, 추종운동, 충동운동 등 시기능 훈련이 접목된 디지털 치료제에 응용될 것으로 기대할 수 있다. 따라서 본 연구에서는 조절 반응을 측정할 수 있는 투과형 굴절력 측정기를 이용하여 측정기 앞에 태블릿 PC를 두고 실제 태블릿 PC의 위치는 고정한 상태로 증강현실 애플리케이션을 이용하여 그래픽화 된 캐릭터를 화면 상 위치와 크기를 조정해가며 증강현실 영상을 보는 동안 자극량을 변화시켰을 때 조절반응량이 변화하는지 알아보고자 하였으며, 이때 증강현실 영상과 비교하기 위해 태블릿 PC를 카메라 모드로 둔 상태에서 조절 자극 시표의 위치를 옮겨가며 증강현실 영상과 비교하였다.

대상 및 방법

1. 실험대상

본 실험대상은 20대 성인남녀 13명(남: 6명, 여: 7명)을 대상으로 하였다. 평균 연령은 21.84±1.06세이다. 조절자극량에 따른 조절반응량의 차이를 보기 위해 안질환이 없고 피실험자의 굴절이상 평균이 S+0.01D ⁐ C −0.54D, Ax92.64^o로 정시에 가까운 성인을 대상으로 좌안, 우안 각각 실험을 진행하였다(Fig. 1).

Fig. 1.

Average spherical equivalent (D).

2. 실험방법

본 실험은 증강현실 영상 속에서 움직이는 시표를 태블릿 PC의 화면을 통해 시청할 때 그래픽화 된 꽃 모양 시표가 테이블 위에서 이동하며 위치가 멀어질수록 크기가 작아지는 영상을 제작하였고, 지정한 거리에 위치할 때 마다 조절반응량을 측정하였다. 태블릿 PC 카메라를 통해 외부 화면을 시청할 때 실시간으로 실제 배경을 투영하는 화면을 피실험자가 볼 때 실제 시표를 이동해가며 거리에 따른 반응량을 측정하여 증강현실 영상 속에서 움직이는 시표와 비교하였다. 투과형 굴절력 측정기기 주변을 차폐하여 외부 자극을 차단하고 증강현실 영상 속의 그래픽화된 시표의 위치를 설정한 거리로 이동시켜 조절자극량에 따른 조절반응량을 측정하기 위해 투과형 굴절력 측정기기 전면으로부터 약 50 cm 앞에 태블릿 PC(Ipad Air 4^th generation Wi-Fi, Apple)를 거치하여 실험하였다. 카메라를 통해 외부 화면을 시청할 때 실제 시표의 위치에 따른 조절반응량을 측정하기 위해 투과형 굴절력 측정기기인 NVision-K5001(Shin-nippon, Japan)을 사용하였고, 시청거리는 조절자극량이 +1.50, +1.00, +0.50, 0 D일 때를 측정하고자 시표 위치를 0.67, 1, 2, 5 m로 설정하였다(Fig. 2). 총 영상의 길이는 1분이었으며, 시표의 위치 이동시간은 각 5초, 위치별로 영상을 주시하는 시간은 각 10초 정도였다.

Fig. 2.

Experimental setup.

태블릿 PC를 이용한 증강현실 영상 속에서 움직이는 시표는 Adobe사에서 개발된 증강현실 구현 애플리케이션인 Aero(Adobe, USA)를 사용하여 그래픽화 된 꽃 모양 시표를 거리에 따라 이동시키는 것을 사전에 녹화하였다. 피실험자에게 사전에 녹화된 증강현실 영상을 시청시키고 꽃모양 시표가 각각 0.67, 1, 2, 5 m 거리에 따라 위치하여 정지하였을 때 조절반응을 측정하였다. 태블릿 PC의 카메라를 통해 외부 화면을 시청할 때 사전에 녹화된 영상이 아닌 실시간으로 종이에 인쇄된 꽃 모양과 비슷한 실제 시표를 동일하게 0.67, 1, 2, 5 m 거리로 이동해 가며 조절반응량을 측정하였다. 측정 순서는 순서에 의한 영향을 최소화하기 위해 가까운 곳에서 먼 곳으로 3회, 먼 곳에서 가까운 곳으로 3회 반복 측정하여 평균을 내었다.

결과 및 고찰

1. 조절자극량에 따른 조절반응량의 평균 비교

조절자극량이 +1.50 D일 때, 증강현실 영상 속에서 움직이는 시표의 조절반응량은 +1.85 D, 카메라를 통해 외부 화면을 시청할 때 실시간 이동하는 시표의 거리에 따른 조절반응량은 +2.02 D로 두 영상 간에는 유의한 차이를 보였고(p<0.050), 조절자극량이 +1.00 D일 때, 증강현실 영상 속에서 움직이는 시표는 +1.84 D, 카메라를 통해 외부 화면을 시청할 때 실시간 이동하는 시표에서는 +1.93 D로 통계적으로 유의하진 않지만(p<0.100) 증강현실 영상 속에서 움직이는 시표에서 더 낮은 반응량을 보였다. 조절자극량이 +0.50D일 때, 증강현실 영상 속에서 움직이는 시표는 +1.77 D, 카메라를 통해 외부 화면을 시청할 때 실시간 이동하는 시표에서는 +1.85 D로 통계적으로 유의한 차이를 보였으며, 조절자극량이 0 D일 때, 증강현실 영상 속에서 움직이는 시표는 +1.74 D, 카메라를 통해 외부 화면을 시청할 때 실시간 이동하는 시표에서는 +1.89 D로 이또한 유의한 차이를 보였다(p<0.050)(Fig. 3).

Fig. 3.

Accommodative response (D) according to changes in accommodative stimulus (D). Data are expressed as mean±standard deviation. *p<0.050. A: Accommodative response of +1.5 (D), B: Accommodative response of +1.0 (D), C: Accommodative response of +0.5 (D), D: Accommodative response of 0 (D).

2. 증강현실 영상 속에서 움직이는 시표와 카메라를 통해 외부 화면을 시청할 때 실시간 이동하는 시표의 전체 조절반응량

증강현실 영상 속에서 움직이는 시표와 카메라를 통해 외부 화면을 시청할 때 실시간 이동하는 시표의 거리에 따른 조절반응량의 차이는 0.08~0.18 D 정도의 차이를 보였다. 조절반응량은 카메라를 통해 외부 화면을 시청할 때 실시간 이동하는 시표의 경우가 항상 높았고 통계적으로 유의한 차이를 보였다(p<0.050)(Table 1).

Table 1.

Average accommodative response (D) according to changes in accommodative stimulus (D)

3. 조절자극량에 따른 차이 분석 결과

조절자극량에 따른 영상 내에서의 차이를 보기위해 반복 측정이 없는 이원 배치 분산분석을 실시한 결과 증강현실 영상 속에서 움직이는 시표의 경우 조절반응량의 차이가 순차적으로 감소하지 않았으나, 카메라를 통해 외부 화면을 시청할 때 실시간 이동하는 시표의 경우 조절자극이 멀어질수록 조절반응량이 순차적으로 감소하는 결과를 볼 수 있었다(F(2, 292)=8.147037, p<0.001)(Fig. 4).

Fig. 4.

Accommodative response (D) according to changes in the accommodative stimulus (D). Data are expressed as mean ± standard deviation.

본 실험에서 각각의 거리에 따른 조절자극량은 같으나 증강현실 영상 속에서 움직이는 시표와 카메라를 통해 외부 화면을 시청할 때 실시간 이동하는 시표 중 증강현실 속에서 움직이는 꽃 모양 시표의 영상은 카메라를 통해 외부 화면을 시청할 때 실제 시표의 실시간 이동에서 보다 항상 조절반응량이 적게 나타났다. 그 원인으로는 증강현실 영상 속에서 움직이는 시표의 경우 사전에 녹화된 영상이었지만 카메라를 통해 외부 화면을 시청할 때 실시간 이동하는 시표의 경우 실제 시표를 이동해가며 측정하였기 때문에 차이가 발생한 것으로 생각되었다. 이 경우에는 근접성 조절이 개입되었을 것으로 추측할 수 있다. 근접성 조절은 물체가 가까이 있다는 인식만으로도 일어나는 조절로 약 3 m이내에 자극이 있다고 느낄 때 발생한다고 알려져 있다.^[11] 이러한 근접성 조절이 카메라를 통해 외부 화면을 시청할 때 실시간 이동하는 시표에서 더 발생하였다고 생각할 수 있다. 또한 증강현실 영상 속에서 움직이는 시표의 경우 증강현실 구현 애플리케이션을 이용한 그래픽으로 구현된 꽃 모양이었다면 카메라를 통해 외부 화면을 시청할 때 실시간 이동하는 시표의 경우 꽃모양과 비슷한 실제 시표를 사용하여 측정하였기 때문에 차이가 발생한 것으로 생각된다.

증강현실 영상 속에서 움직이는 시표와 카메라를 통해 외부 화면을 시청할 때 실시간 이동하는 시표를 시청할 경우에서의 조절반응량의 차이를 확인해 보았을 때 카메라를 통해 외부 화면을 시청할 때 실시간 이동하는 시표에서만 조절자극량에 따른 반응량의 차이를 보였다. 그 원인으로는 시표의 차이와 검은색의 두꺼운 도화지를 이용하여 투과형 굴절력 측정기와 피실험자의 주변에 둘러 차폐하였으나 측정기 조작부 위치와 태블릿 PC의 거치대로 인해 주변 불빛을 완벽하게 차단할 수는 없었다. 또한 태블릿 PC와 피실험자의 얼굴과 거리가 가깝게 밀착이 안되어 증강현실 화면만 보인 것이 아니라 주변 환경과 태블릿 PC의 테두리가 보이게 되어 주변 환경과 태블릿 PC를 인식할 수 있는 문제점이 있어 증강현실에서의 조절반응만을 측정하지 못하는 한계도 있었다. 이 때문에 태블릿이 가깝게 있다고 인지할 수 있어서 기계성/근접성 조절이 추가로 개입될 수 있었을 것으로 추측한다. 뿐만 아니라 총 6회의 측정을 하는 동안 장시간 똑같은 자세로 인한 육체적인 피로와 안구의 피로도 증가로 인해 피실험자가 측정기에서 얼굴을 떼었다가 다시 붙이는 과정에서 처음의 위치와 달라질 수 있었으며, 측정기기 세팅의 한계로 가장 가까운 거리가 0.67 m로 더 가까운 거리를 측정할 수 없었던 점은 본 실험의 한계로 생각된다. 또한 눈앞 약 50 cm 앞에 태블릿 PC가 위치하여 조절 반응량은 대략 1.74~2.02 D 사이로 나타난 것도 실험 측정 값이 제한적이라는 한계가 있다. 하지만 눈 앞 50 cm의 태블릿 PC를 주시하고 있는 상황은 동일하나 실제 배경에 증강현실 그래픽화 된 시표가 거리에 따라 이동하는 미리 제작된 영상과 태블릿 PC의 카메라를 이용해 화면을 통한 실시간 시표 이동을 볼 때의 차이를 본 것으로, 물체가 작아질 뿐만 아니라 실제 테이블위에서 이동하며 가까이 있다가 멀어지는 것에 대한 영향 또한 본 것이기 때문에 제작된 영상과 실제 이동 영상 간 차이를 보았음에 의의가 있다고 할 수 있다.

결 론

주변이 차폐된 투과형 굴절력 측정기 앞에 태블릿 PC를 거치하여 증강현실 구현 애플리케이션을 통해 구현된 영상 속에서 움직이는 꽃 모양의 그래픽 시표가 지정한 자극량에 따라 변할 때 반응량을 보았고, 태블릿 PC의 카메라를 통해 외부 화면을 시청할 때 꽃 모양과 비슷한 실제 시표를 실시간으로 자극량이 변화할 때에 따른 반응량을 측정하였다.

본 연구에서는 태블릿PC를 통해 구현된 증강현실 영상 속에서 움직이는 시표와 카메라를 통해 외부 화면을 시청할 때 실시간 이동하는 시표를 시청할 경우에서 같은 태블릿 pc를 보고 있는 중에도 조절반응량의 차이를 확인할 수 있었으며, 조절반응량은 카메라를 통해 외부 화면을 시청할 때 실시간 이동하는 시표에서 더 크게 나타났으며, 거리에 따른 변화도 확인하였다. 추후에는 실제로 증강현실 기기를 이용한 시기능 훈련의 효과 및 불편감 여부를 조사하여 AR기기를 통한 시기능 훈련의 가능성을 확인할 수 있을 것이라 기대한다.

Acknowledgments

본 논문의 일부내용은 2021년도 대한시과학회·한국안광학회 공동학술대회에서 구연으로 발표되었음

본 연구는 2022년도 교육부의 재원으로 한국연구재단의 지원을 받아 수행된 지자체-대학 협력기반 지역혁신 사업의 결과입니다.(2022RIS-005)

References

• Lee SH, Lee JK, Sim H. AR-based character tracking navigation system development. J KIECS. 2022;17(2):325-332. [https://doi.org/10.13067/JKIECS.2022.17.2.325]
• Lim ES, Yun SY, Ko YS, et al. Implementation of a low-cost virtual reality system using smart phone. J Digit Contents Soc. 2018;19(7):1237-1244. [https://doi.org/10.9728/dcs.2018.19.7.1237]
• Kim JH, Park JI, Chu BS. Short term effect of monocular wearable device on accommodation. Korean J Vis Sci. 2017;19(1):61-68. [https://doi.org/10.17337/JMBI.2017.19.1.61]
• CIO. Does Google Glass Pose Safety, Health and Security Risks?, 2013. https://www.cio.com/article/288514/does-google-glass-pose-safety-health-and-security-risks.html, (17 August 2022).
• Kim HJ, Sung JH. Spatial analysis of mobile augmented reality games. J Korea Game Soc. 2019;19(4):5-14. [https://doi.org/10.7583/JKGS.2019.19.4.5]
• Kim JE, Lee HJ. Development trends of mobile augmented reality game platform and user interface. J Korea Game Soc. 2017;17(6):7-18. [https://doi.org/10.7583/JKGS.2017.17.6.7]
• Shim HS, Lee SW, Shim MS, et al. Accommodative response measurement using both eyes open-view autorefractometer. J Korean Ophthalmic Opt Soc. 2005;10(4):323-328.
• Do JH, Jo JW, Jung YR, et al. Comparative analysis on accommodative response based on degree of anisopia. Korean J Vis Sci. 2020;22(1):75-81. [https://doi.org/10.17337/JMBI.2020.22.1.75]
• Shim HS, Shim MS, Joo S. A study of accommodative response on emmetropia. J Korean Ophthalmic Opt Soc. 2006;11(3):187-192.
• Edgar GK, Pope JCD, Craig IR. Visual accommodation problems with head-up and helmet-mounted display?. Displays. 1994;15(2):68-75. [https://doi.org/10.1016/0141-9382(94)90059-0]
• Benjamin WJ. Borish’s clinical refraction, 2nd Ed. St Louis: Butterworth-Heinemann Elsevier. 2006;98.