Show GN: Quiz Gate - PR을 만들면 git diff 기반으로 코드 변경점에 대한 문제를 풀어볼 수 있는 앱

얼마 전에 AWS에서 발표한 AI를 어떻게 활용하냐에 따라 팀의 생산성이 달라지는지에 대한 동영상을 보았습니다.

저는 AI가 작성한 코드의 컨텍스트를 확실히 알고 있는 팀이 더 생산성이 높았다는 걸로 이해를 했기 때문에 이를 위한 간단한 깃허브 앱을 만들었습니다.

머지 하기 전에 간단하게 코드 변경점에 대해 퀴즈를 풀어볼 수 있는 깃허브 앱이고,

테스트 통과할때까지 강제로 머지를 블락할지 말지는 정하실 수 있고, 문제 안풀고 그냥 머지 해버릴 수도 있습니다.

레포에 인스톨 하시면 해당 레포에 PR이 하나 생성되고, 변경사항 확인하신 후 default branch에 merge 해주시면 됩니다.

퀴즈나 기본 설정은 루트의 .quiz-gate.yml에서 가능합니다.

저장되는 정보는 없고, 본인의 LLM api key를 사용하게 됩니다. 셀프호스팅도 원하시면 가능하도록 만들어 두었습니다.

지원되는 LLM 프로바이더는 현재 openAI, Claude, Bedrock, Sakana 입니다.

제약사항으로는, default branch에 워크플로우 파일이 있어야 한다는 점입니다. 이 제한을 풀고자 하였으나, github의 byok를 위반하지 않고서는 적용하기 어려워 이런 제약사항이 있습니다. default branch에 있기만 하면, pr 생성시 base가 되는 branch의 .quiz-gate.yml 설정을 따라갑니다.

팀의 컨텍스트 이해도 향상과 제 개인적인 재미를 위해 가볍게 만들어보았으니, 가볍게 사용해봐주세요.

실제 사용 예시는 링크 에서 확인하실 수 있습니다.