2024.11.14-15.
쏠비치 양양에서 진행한 2024 강원 ICT 이노베이션 스퀘어 해커톤 대회
상도 받았으니까 기록겸 써본다.
4학년 선배 세 분과 함께 참여한 강원도 ICT AI 해커톤 대회다.
선배 말에 따르면
작년에는 아이디어 부문만 있었는데 이번에는 개발 파트가 생겼다고 했다.
솔비치 양양까지는 학교에서 제공하는 버스를 타고 단체로 이동했고,
조금 일찍와서 솔비치 건물을 바라보며 길바닥에서 선배들과 김밥을 까먹었다.
건물에 들어가면 엄청나게 커다란 안내판이 있고, 그 뒤에는 맛있는 간식들이 깔려있다.
(그중 꿀떡이 정말 맛있다. 그곳에 있는 꿀떡 중 절반은 내가 먹었을 거다. )
이름표를 받고
지정된 자석에 착석하면 된다.
생각보다 개발 시간이 많지는 않다.
따로 진행하는 미션과 함께 자잘한 프로그램들이 많아서 오후 1시 시작이지만 개발 시작은 저녁 먹고부터 시작할 수 있었던 것 같다.
아이디어 파트와 같은 곳에서 진행하고, 멘토들이 우리의 아이디어를 업그레이드 하는 것을 도와준다.
우리는 AI와 AR을 활용한 지역 스탬프 애플리케이션을 만들었다.
선배들은 각각 유니티, 장고, AI 를 맡았고 나는 플러터를 맡아 앱 개발을 진행했다
AR부분
장고에서 유니티에게 스탬프 장소를 넘기고,
유니티는 스탬프 장소에 따라 마커들을 생성한다.
그리고 유니티에서 스탬프를 찍으면그 찍은 스탬프는 장고로 넘어가 플러터에 전해준다.
LLM 부분
플러터에서 프롬프트를 작성하면 그것을 장고로 넘긴다.
장고에서 응답 + 인덱싱을 통해 다섯개의 장소를 추천하고 그 내용을 flutter에 넘긴다.
그러면 플러터에서는 chatbot 부분에서 응답을 받고,
지도 부분에서 응답받은 곳에 마커를 찍어준다.
전체적인 프로세스를 보면
플러터에서 유니티를 켜고, 유니티에서 특정 스팟에 들어가면 특정 마커를 인식하라는 안내가 뜬다.
그 마커를 인식하면 양양의 마스코드(이하 해키)가 그 지역에 대한 설명을 해준다.
마커를 찍으면 그 지역의 스탬프를 수집하게 되는 것이다.
또한 대화 화면에서 해키와 대화를 통해 경로를 짤 수 있고,
그 경로를 바탕으로 지도에 마크가 생긴다.
그 마크를 바탕으로 스탬프 가이드에서 스탬프를 찍으러 다닐 수 있다.
정말 열심히 만들었는데 Q&A시간이 없고, 5분 발표기에 정말 아쉬우니까 여기서 자랑해야지.
<애플리케이션 화면>
AR시작하기를 누르면 유니티가 켜진다.
마커를 인식하면 다음과 같이 해키가 생성된다.
다음과 같이 그 지역에 대한 설명을 들을 수 있다.
여자 목소리/남자목소리를 따로 지정하는 것도 가능하다.
또한 다시 앱으로 들어가 스탬프 수집현황을 누르면
다음과 같이 스탬프 수집현황에서 아까 찍었던 마커를 확인할 수 있다.
또한 다음과 같이 리더보드를 통해 스탬프 갯수를 두고 경쟁도 가능하다.
LLM파트에서는 해키에게 스탬프 경로를 추천받을 수 있다.
LLM 부분에서는 해키에게 스탬프 경로를 추천받을 수 있다.
위와 같이 해키가 대답하면 지도를 활성화 할 수 있다.
위와 같이 응답을 바탕으로 지도에 마커가 찍힌 걸 확인할 수 있다.
또한 응답을 바탕으로 스탬프 가이드를 통해 추천된 경로를 바탕으로 스탬프 현황도 확인할 수 있다.
이또한 AR에서 해당지역에서 마커를 스캔하면 unlock이 해제된다.
아래와 같이 선배가 양양의 약 80개의 데이터를 전처리 해서 llm에게 마커 위치를 알려주었다.
정말 짧은 시간이었지만 잘하는 선배들과 팀을 이뤄, 좋은 프로젝트를 만들 수 있어서 행복했다.
선배들 좋은 기회 주셔서 감사합니다!!!
+) 설정 파트를 특히 열심히 만들었는데, 발표 때 언급조차 안 돼서 아쉬워서 추가해본다...
선배님들... 주요 기능은 아니긴 했는데... 나 설정 UI에 제일 많이 공들였어요...ㅠㅠ
'후기' 카테고리의 다른 글
| 2024 SW 강원도 대학생 코딩 경진대회 (0) | 2024.11.18 |
|---|---|
| [한림대] 2024년 예비 신입생 SW/AI 몰입형 캠프 후기 (0) | 2024.02.24 |
