현재 AI는 막다른 길을 의미하나?

현재 AI가 막다른 길인가?

• 소프트웨어 엔지니어링 관점에서의 AI 문제점

  • 현재 AI 시스템은 관리가 불가능하며, 심각한 상황에서의 사용은 무책임함.
  • 신뢰할 수 있는 소프트웨어 시스템 개발을 위해서는 관리, 투명성, 책임성이 필요함.
  • AI 개발은 데이터 출처에 대한 책임을 무시하고 있으며, 결과에 대한 책임도 불분명함.

• 신경망의 작동 방식

  • 현재 AI 시스템은 대규모 신경망에 기반하며, 대부분 생성적 AI와 대형 언어 모델(LLM)을 포함함.
  • 신경망은 수백만 개의 노드로 구성되며, 각 노드는 입력과 가중치, 활성화 함수에 의해 출력이 결정됨.
  • 훈련을 통해 네트워크의 기능이 설정되며, 이는 막대한 계산 자원을 필요로 함.

• 발현성과 구성 가능성

  • 많은 신경망 시스템은 확률적이며, 같은 입력에 대해 항상 같은 출력을 제공하지 않음.
  • 발현적 행동은 시스템의 전체적인 행동을 설명하는 데 도움이 되지 않음.
  • 소프트웨어 엔지니어링에서 중요한 구성 가능성은 현재 AI 시스템에서 실현되지 않음.

• 발현성으로 인한 문제

  • 현재 AI 시스템은 기능과 관련된 내부 구조가 없음.
  • 개발, 재사용, 단계적 개발이 불가능하며, 명시적인 지식 모델이 없음.
  • 시스템은 설명 가능하지 않으며, 인간의 개입도 설명 가능성을 크게 높이지 않음.

• 검증의 어려움

  • 전체 시스템의 검증만 가능하며, 부분별 검증이 불가능함.
  • 확률적 시스템의 테스트는 항상 올바른 출력을 보장하지 않음.
  • 전체 시스템 테스트는 제한적이며, 신뢰성을 확보하기 어려움.

• 결함 문제

  • 입력 데이터의 신뢰성 부족으로 결함 발생 가능성이 높음.
  • 오류 수정은 국지적이지 않으며, 회귀 테스트가 불가능함.

• 결론

  • 현재 AI 시스템은 심각한 응용에서 피해야 함.
  • 생성적 AI 시스템은 막다른 길에 있으며, 신뢰성 향상에 한계가 있음.
  • 상징적 AI와 직관 기반 AI의 혼합이 가능할 수 있으며, 제한된 범위에서의 사용이 적절함.