체계적 문헌 리뷰 완전 정복! Rayyan 사용법 쉽게 배우기

게시일: 2024년 04월 22일 작성자: 자청의 유튜브 추출기

Rayyan으로 체계적 문헌고찰 쉽게 하기

안녕하세요! 저는 도서관에서 교수님으로 일하고 있는 Erin Owens라고 해요. 저는 학생들이나 교수님들이 연구를 계획하고, 진행하고, 결과를 알리는 데 필요한 여러 가지를 도와주는 일을 하고 있어요.

오늘은 Rayyan이라는 도구를 사용해서 체계적 문헌고찰을 하는 방법에 대해 이야기해 줄게요.

체계적 문헌고찰, 왜 할까?

체계적 문헌고찰은 특정 연구 질문에 답하기 위해 미리 정해진 기준에 맞는 모든 연구 증거를 모으는 과정이에요.

꼼꼼하게 모든 증거를 모으는 게 중요해요.
미리 정해진 기준에 따라 진행해야 해요.
정확하고 명확한 연구 질문에서 시작해야 해요.

이런 과정을 거치는 이유는 연구 결과를 더 믿을 수 있고, 편견을 줄이기 위해서예요. 모든 과정을 투명하고 재현 가능하게 만드는 게 목표죠.

체계적 문헌고찰 과정 (Rayyan이 어디서 쓰일까?)

연구 질문 정의: 뭘 알고 싶은지 명확하게 정해요.
포함/제외 기준 설정: 어떤 연구를 포함하고 어떤 연구를 제외할지 기준을 정해요. (예: 특정 연구 방법, 특정 대상, 특정 연도)
검색할 데이터베이스 찾기: 어떤 데이터베이스에서 자료를 찾을지 정해요.
검색 전략 만들기: 연구 질문에 맞는 핵심 단어들을 조합해서 검색어를 만들어요.
데이터베이스별 검색 전략 적용: 각 데이터베이스에 맞게 검색어를 조금씩 바꿔서 적용해요.
검색 결과 다운로드: 데이터베이스에서 찾은 연구 목록을 다운로드해요. 여기서부터 Rayyan을 쓸 수 있어요!
중복 제거: 여러 데이터베이스에서 같은 연구가 중복으로 나올 수 있으니, 중복을 제거해요. Rayyan이 이 과정을 도와줘요.
제목과 초록 검토: 여러 사람이 함께 제목과 초록만 보고 포함할지 말지 결정해요. Rayyan에서 이 과정을 할 수 있어요.
전문 검토: 제목과 초록에서 포함하기로 결정된 연구들의 전문을 읽고 최종적으로 포함 여부를 결정해요. Rayyan에서 이 과정도 할 수 있어요.
분석 및 결과 보고: 최종적으로 포함된 연구들을 분석하고, 그 결과를 투명하게 보고해요.

Rayyan, 어떤 도구일까?

Rayyan은 웹 기반 앱이라서 인터넷만 되면 어디서든 사용할 수 있어요. 따로 설치할 필요도 없고요.

무료 버전도 꽤 괜찮아요. 유료 버전은 더 많은 기능이 있지만, 무료로도 충분히 많은 걸 할 수 있어요.
팀으로 작업하기 좋아요. 여러 사람이 함께 연구를 진행할 때 유용해요.
PRISMA 흐름도도 만들어줘요. (유료 기능)

Rayyan 시작하기

Rayyan.ai 접속: 웹사이트에 접속해서 이메일 주소와 국가 정보만 입력하면 계정을 만들 수 있어요.
새로운 프로젝트 만들기:
- 왼쪽 메뉴에서 "Create new review"를 눌러요.
- 프로젝트 제목, 설명, 연구 유형 (체계적 문헌고찰 등), 분야 등을 입력해요.
- 검색 결과를 바로 업로드해도 되고, 나중에 해도 돼요. (Skip 가능)
- 팀원을 초대할 수 있어요. (나중에 추가해도 돼요.)
팀원 역할:
- Viewer: 보기만 할 수 있어요.
- Reviewer: 연구를 검토하고 결정할 수 있지만, 프로젝트를 수정하거나 삭제할 수는 없어요.
- Collaborator: 대부분의 기능을 사용할 수 있어요. (프로젝트 생성자는 가장 많은 권한을 가져요.)

Rayyan 주요 기능

1. 중복 제거 (Deduplication)

여러 데이터베이스에서 가져온 연구 목록에서 중복된 것을 찾아줘요.
Rayyan이 중복 가능성이 있는 연구들을 보여주면, 우리가 직접 확인하고 결정해야 해요.
"Review data" 탭에서 "Detect duplicates"를 눌러서 시작할 수 있어요.

2. 스크리닝 (Screening)

블라인딩 기능: 다른 팀원의 결정을 보지 않고 독립적으로 검토할 수 있게 해줘요. (중요!)
검토 과정:
- "Screening" 탭으로 이동해서 "blind on" 상태인지 확인해요.
- 왼쪽에 연구 목록이 뜨고, 클릭하면 오른쪽에 연구 정보(제목, 초록 등)가 떠요.
- 연구를 읽고 포함(Include), 보류(Maybe), 제외(Exclude) 버튼으로 결정해요.
- 제외할 때는 이유를 선택하고, 필요하면 메모를 남길 수 있어요.
- 라벨 기능: 특정 키워드나 주제에 대해 사용자 정의 라벨을 만들어서 붙일 수 있어요. (예: "메타분석")
검색 기능: 특정 키워드로 연구를 검색하거나, 제안된 키워드로 필터링할 수 있어요.
유료 기능: 일부 고급 필터링 기능은 유료 계정에서만 사용할 수 있어요.

3. 충돌 해결 (Resolving Conflicts)

모든 팀원이 스크리닝을 마치면, "blind off"로 바꾸고 서로의 결정을 확인해요.
의견이 다른 연구(충돌)를 찾아서 함께 논의하고 최종 결정을 내려요.
중요: Rayyan에서는 한 사람이 다른 사람의 결정을 직접 수정할 수 없어요. 결정이 바뀐 팀원이 직접 자신의 결정을 수정해야 해요.

4. 전문 검토 (Full-text Screening)

Rayyan은 한 프로젝트에서 여러 번의 스크리닝 라운드를 지원하지 않아요.
따라서 제목/초록 스크리닝이 끝나면, 포함된 연구 목록을 내보내기(export) 해서 새로운 프로젝트를 만들고 거기서 전문 검토를 진행해야 해요.
"Screening" 탭에서 "included" 또는 "included and maybe"로 필터링한 후, 3점 메뉴를 눌러 "export"를 선택해요.
새로운 프로젝트를 만들 때 이 내보낸 파일을 업로드하면 돼요.
전문 검토 시에는 연구에 포함된 URL을 통해 실제 논문을 열어서 꼼꼼하게 읽고 최종 결정을 내려요.

5. Compute Ratings (선택 사항)

어느 정도 결정이 쌓이면 (최소 50개 결정, 포함/제외 각 5개 이상), 인공지능이 학습해서 다른 연구들의 포함 가능성을 예측해줘요.
결정에 도움을 줄 수 있지만, AI의 추천을 맹신하기보다는 참고용으로 사용하는 것이 좋아요.

PRISMA 흐름도

체계적 문헌고찰 결과를 보고할 때 자주 사용되는 다이어그램이에요.
Rayyan 유료 버전에서 자동으로 생성해주지만, 무료로도 다른 도구를 사용해서 만들 수 있어요.

다른 유용한 도구들

Rayyan 외에도 체계적 문헌고찰에 사용할 수 있는 다른 도구들이 있어요.

Covidence: 유명한 도구지만 유료이고 가격이 좀 있어요. 데이터 추출 기능도 지원해요.
SysRev, Pico Portal: 무료/유료 버전이 모두 있고, Pico Portal은 한 번에 하나의 프로젝트만 관리할 수 있다는 제약이 있어요.
HubMeta: 완전히 무료지만, 설명 자료가 부족한 편이에요.

추가 자료

Rayyan 도움말 센터
체계적 문헌고찰 관련 핸드북, 매뉴얼
도서관에서 제공하는 교육 자료

궁금한 점이 있다면 언제든지 물어보세요!

AI 채팅