Show HN: VoidAccess - 검색 질의에서 그래프까지, 오픈소스 다크웹 OSINT

2 hours ago 1

VoidAccess는 다크웹 조사 질의를 구조화된 위협 인텔리전스로 전환하는 자체 호스팅 가능 도구로, 수집, 정보 보강, 관계 매핑, 내보내기를 하나의 작업 흐름으로 연결함 16개 이상의 Tor 검색 엔진과 공개 웹 소스를 병렬로 검색하고, 정규식, 개체명 인식, 선택적 LLM 분석으로 침해 지표와 위협 행위자 등의 개체를 추출함 관계 그래프로 개체의 동시 출현, 커뮤니티, 경로, 인프라 클러스터를 구성하며, 행위자 별칭과 활동 타임라인, 조사 간 관계를 지속적으로 저장함 CLI와 웹 UI를 지원하며, 로컬 SQLite 환경이나 PostgreSQL 기반 Docker Compose 스택으로 실행 가능함. LLM 분석과 전체 벡터 임베딩 스택은 선택적으로 사용 가능함 필수 콘텐츠 안전 검사로 금지된 질의, URL, 콘텐츠, 추출 개체를 필터링하며, 결과를 STIX 2.1, MISP와 탐지 규칙, IOC 패키지 등으로 내보낼 수 있음 조사에서 위협 인텔리전스까지 VoidAccess는 보안 연구자, 위협 인텔리전스 팀, 권한을 부여받은 조사자를 위한 자체 호스팅 가능 OSINT 도구임 수집부터 내보내기까지 하나의 흐름에서 처리하며, 저장된 조사의 정보를 다시 보강하고 대화형 개체 브라우저로 결과를 탐색할 수 있음 행위자 프로필에는 별칭, 인프라, 분석가 메모, 활동 타임라인, 조사 간 관계가 지속적으로 저장됨 관계 그래프는 동시 출현 관계, 커뮤니티, 경로, 인프라 클러스터를 구성함 조사 파이프라인 질의 정제와 병렬 수집으로 조사를 시작함 선택한 LLM으로 조사 질의를 정제함 Tor 검색, 붙여넣기 공유 사이트, 코드 호스팅 서비스, RSS 피드, 선별된 시드에서 병렬로 수집함 잡음이 많거나 관련성이 낮은 페이지를 걸러내고, 위협 인텔리전스 소스로 질의와 초기 지표를 보강함 추가 탐색과 캐시 재사용으로 수집을 이어감 추가 .onion 링크를 재귀적으로 탐색하고, 벡터 캐시에서 최근 처리한 페이지를 재사용함 응답 크기 제한을 적용해 선택한 페이지를 Tor로 가져온 뒤 새 콘텐츠를 저장함 개체 추출과 관계 구성을 거쳐 결과를 생성함 수집 정보와 보강 정보를 합치고, 정규식, 개체명 인식(NER), 선택적 LLM 분석으로 개체를 추출함 과거 데이터와 시드 데이터셋을 교차 참조하고 관계, 커뮤니티, 인프라 클러스터를 구성함 최종 인텔리전스 요약과 내보내기 가능한 결과를 생성함 전체 동작, 시간 제한, 복구, 데이터 흐름은 ...

Read Entire Article




피플앤툴즈 네트워크
🛍 샵