AI 작업 소개

AI 작업 종류

추천서비스와 같은 AI 서비스를 제공하기 위해 aidoc 시스템은 문서 벡터화, 카테고리 생성 및 문서 분류, 연관 검색어 학습 등의 AI 작업을 수행합니다. aidoc 시스템에서 수행되는 AI 작업의 종류는 아래의 표와 같으며 다음의 특징을 갖습니다.

1. 작업의 종류에 따라 CPU 또는 GPU 자원이 요구되며, 해당 작업에 필요한 자원을 보유한 AI 서버에 할당되어 수행됩니다. 
   

1. 연관 검색어 학습은 모든 고객사(도메인)에 대해 통합적으로 수행되는 작업이며, 이외 모든 작업은 고객사별로 독립적으로 수행됩니다.
   
   
2. AI 작업은 실행 방식에 따라 크게 종속, 독립, 실시간 세 가지 형태로 분류할 수 있습니다.
   
   
1. 종속: 다른 종류의 AI 작업과 연계되어 연속적으로 실행되는 작업으로, 하나의 작업이 완료되어야 다음 작업이 실행될 수 있습니다.
   

1. 독립: 단일 AI 작업으로서, 다른 AI 작업과 독립적으로 실행됩니다.

1. 실시간: 사용자 요청 등의 이벤트 발생 시 즉시 실행되는 작업입니다.

1. aidoc 시스템에서는 하나 이상의 AI 작업(종속 또는 독립 작업)을 논리적 실행 단위로 그룹화하여 AI 작업 스레드로 관리합니다. AI 작업 스레드는 정해진 순서에 따라 종속적으로 실행되는 일련의 작업들로 구성되거나, 독립적으로 실행되는 단일 작업으로 구성됩니다. 자세한 설명은 아래 목차 AI 작업 스레드를 참고합니다.
   

AI 작업	내용	실행 형태	필요 자원
연관 검색어 학습	인덱싱된 사내 문서 내용을 분석하여 연관 검색어를 추천하는 모델을 학습합니다.	독립	CPU
주기 문서 추천	사용자의 문서 열람 이력을 분석하여 주기적으로 반복하여 작업하는 문서 목록을 생성합니다.	독립
카테고리 전문가  DB 생성	사용자가 이용한 문서의 카테고리 정보를 분석하여 카테고리별 전문가 목록을 생성합니다.	독립 또는 종속
문서 벡터화 스레드 종속 결과 업데이트	문서 벡터화 스레드 작업 수행 시 실행되는 종속 작업에서 발생하는 모든 결과물을 서비스에 반영합니다.	종속
카테고리 생성 스레드  종속 결과 업데이트	카테고리 생성 스레드 작업 수행 시 실행되는 종속 작업에서 발생하는 모든 결과물을 서비스에 반영합니다.	종속
유사 문서 추천	열람한 문서와 유사한 문서 목록을 생성하여 추천합니다.	실시간
연관 검색어 추천	제시된 검색어와 연관된 검색어 목록을 추천합니다.	실시간
샘플 파일 필터링	샘플 파일 간의 유사도를 분석하여 부적합한 샘플 문서를 식별합니다.	독립
해시태그 전문가  DB 생성	사용자가 이용한 문서의 해시태그 정보를 분석하여 해시태그별 전문가 목록을 생성합니다.	독립
AI 성능 평가	AI 작업의 전반적인 성능을 실시간으로 파악합니다.	실시간
전체 문서 벡터화	미리 학습된 문서 벡터화 모델을 사용하여 검색 서버에 인덱싱된 전체 문서의 벡터값을 산출합니다.	종속	GPU
신규 문서 벡터화	새롭게 작성된 문서와 수정된 문서에 대해서 문서 벡터 값 산출과 카테고리 분류를 실행합니다.	독립
카테고리 생성 및 문서 분류	벡터값이 설정된 전체 문서의 유사도를 분석하여 카테고리 분류 작업을 수행합니다.	종속
유저 프로파일 학습	팀 정보, 자주 찾는 폴더, 문서 이용 이력 등을 활용하여 프로파일 모델을 학습합니다. 유저 프로파일은 사용자의 열람 성향을 반영한 추천 문서 정렬 등에 사용됩니다.	독립

문서의 벡터값은 자연어 처리 모델에서 텍스트를 수학적으로 표현하기 위해 변환된 숫자 형태의 다차원 데이터를 의미합니다. 이러한 벡터값은 문서의 의미와 문맥을 수치적으로 표현하며, 문서 분류, 텍스트 검색, 그리고 유사도 측정과 같은 작업에 활용됩니다.

AI 작업 스레드

AI 작업의 종류에 따라 하나의 작업이 독립적으로 실행되거나, 종속 관계에 있는 다수의 AI 작업이 연계되어 순차적으로 실행됩니다. aidoc 시스템에서는 하나 이상의 AI 작업을 이러한 논리적 실행 단위로 그룹화하여 AI 작업 스레드로 정의하고, 스레드 단위로 작업 스케줄을 설정하고 상태를 관리합니다.

AI 작업 스레드는 정해진 순서에 따라 종속적으로 실행되는 일련의 작업들로 구성되거나, 독립적으로 실행되는 단일 작업으로 구성됩니다. 종속 작업들로 구성된 스레드가 실행될 경우, 그 중 첫번째 작업이 우선 실행되며, 후속 작업들은 미리 정해진 순서에 따라 선행 작업 완료 시 순차적으로 실행됩니다. 

전체 AI 작업 중 실시간으로 실행되는 유사 문서 추천, 연관 검색어 추천, AI 성능 평가 작업은 작업 스레드로 관리되지 않습니다.

AI 작업 스레드의 종류는 다음과 같습니다. 각 스레드는 관리자가 설정한 스케줄에 따라 주기적으로 실행되거나 관리자가 수동으로 실행하며, 일부 스레드는 특정 작업이 완료된 후에 실행되어야 합니다. 

AI 작업 스레드	AI 작업 구성	실행 방식	선수 조건
문서 벡터화 스레드	1. 전체 문서 벡터화 2. 카테고리 생성 및 문서 분류 3. 카테고리 전문가 DB 생성 4. 문서 벡터화 스레드 종속 결과 업데이트	수동	없음
카테고리 생성 스레드	1. 카테고리 생성 및 문서 분류 2. 카테고리 전문가 DB 생성 3. 카테고리 생성 스레드 종속 결과 업데이트	수동	문서 벡터화 스레드
유저 프로파일 학습 스레드	유저 프로파일 학습	주기	문서 벡터화 스레드
신규 문서 벡터화 스레드	신규 문서 벡터화	주기	문서 벡터화 스레드
주기 문서 생성 스레드	주기 문서 추천	주기	문서 벡터화 스레드
연관 검색어 학습 스레드	연관 검색어 학습	수동 또는 주기	전체 문서 인덱싱
카테고리 전문가 DB 생성 스레드	카테고리 전문가 DB 생성	주기	카테고리 생성 스레드
해시태그 전문가 DB 생성 스레드	해시태그 전문가 DB 생성	주기	문서 벡터화 스레드
샘플 파일 필터링 스레드	샘플 파일 필터링	수동	없음

  해시태그 전문가 DB 생성 스레드는 주기적으로 실행되나, 문서 벡터화 스레드 실행 후에도 후속적으로 자동 실행됩니다.

문서 벡터화 스레드와 카테고리 생성 스레드와 같이 종속 AI 작업들이 순차적으로 실행되는 경우, 첫번째 작업 이후 후속 실행되는 작업들은 실행을 취소하거나 수동으로 실행할 수 없습니다. 또한 최종적으로 종속 결과 업데이트 작업이 완료되기 전까지는 스레드 내에서 작업한 결과물이 서비스에 반영되지 않습니다.

AI 작업 처리 단계

AI 작업은 AI 작업 스레드 단위로 관리자가 직접 실행하거나 미리 설정된 주기에 따라 자동으로 실행됩니다.

AI 작업 스레드가 실행되면 스레드를 구성하는 AI 작업들은 대기 큐 또는 예약 큐에 저장됩니다. 가용한 서버가 있는 경우 곧바로 시작될 작업은 대기 큐에 저장되며, 대기 큐에 진입한 작업에 종속적으로 실행되는 후속 작업은 예약 큐에 저장됩니다. 예약 큐에 저장된 작업은 선행 작업 완료 시 대기 큐로 이동합니다.

예를 들어 관리자가 문서 벡터화 스레드를 실행할 경우, 해당 스레드의 주 작업인 전체 문서 벡터화 작업은 대기 큐에 진입하고, 이하 후속 작업들(카테고리 생성 및 문서 분류 등)은 예약 큐에 저장됩니다. 이후 전체 문서 벡터화 작업이 완료되면 카테고리 생성 및 분류 작업이 대기 큐에 진입합니다.

대기 큐에 저장된 작업은 오케스트레이션 서버에 의해 가용한 최적의 AI 서버에 할당되며, 해당 서버에 의해 작업이 수행됩니다. 수행된 작업은 성공적으로 완료되거나, 실패할 수 있으며 수행 도중에 관리자에 의해 취소될 수 있습니다.

오케스트레이션 서버가 AI 작업을 AI 서버 그룹에 할당하는 과정을 포함한 상세한 처리 흐름은 aidoc 시스템 소개의 AI 작업 처리 흐름 목차를 참고합니다.

AI 작업 상태

위와 같이 AI 작업이 처리되는 단계에 따라 AI 작업의 상태를 다음과 같이 정의합니다. AI 작업 상태는 AI 작업 현황 또는 작업 이력 조회 시 확인할 수 있습니다.

작업 상태	설명
준비	작업이 아직 실행되지 않은 준비 상태
예약	대기 또는 진행 중인 선행 작업이 끝나면 대기 큐로 이동할 작업 (예약 큐 저장)
대기	가용 서버가 있는 경우 즉시 수행될 작업 (대기 큐 저장)
진행	서버에 할당되어 작업이 수행되고 있는 상태
성공	작업이 성공적으로 수행 완료된 상태
실패	작업 수행이 실패한 상태
취소	작업이 관리자에 의해 중지된 상태

• Related Articles

• AI 작업 현황 확인하기

  서비스 관리자는 해당 도메인에서 발생하는 AI 작업의 수행 상태를 AI 작업 스레드 단위로 확인하고, 일부 수동으로 실행되는 스레드(예: 문서 벡터화 스레드)를 실행할 수 있습니다. AI 작업 상태를 확인하기 위해서는 관리자 웹페이지에서 AI 작업 – 작업 현황 메뉴를 선택합니다. AI 작업 스레드의 종류와 구성 작업, 작업 상태에 대한 설명은 AI 작업 소개를 참고합니다. 멀티도메인 환경의 시스템 관리자 페이지에서는 ‘작업 현황’ 대신 ‘전체 ...

• AI 작업 스레드 실행 스케줄 설정하기

  AI 작업 스레드는 종류에 따라 관리자가 수동으로 실행하거나 미리 설정된 주기에 따라 자동으로 실행됩니다. 주기적으로 자동 실행되는 스레드는 다음과 같습니다 카테고리 전문가 DB 생성 스레드 주기 문서 생성 스레드 신규 문서 벡터화 스레드 유저 프로파일 학습 스레드 해시태그 전문가 DB 생성 스레드 연관 검색어 학습 스레드 AI 작업 스레드의 종류 및 실행 방법에 대한 설명은 AI 작업 소개 를 참고합니다. 연관 검색어 학습 스레드는 수동 ...

• 멀티도메인 환경에서 전체 AI 작업 현황 확인하기

  멀티도메인 환경에서 시스템 관리자는 AI 작업 – 전체 작업 현황 메뉴에서 전체 도메인의 AI 작업 현황을 작업 스레드별, 작업 진행 상태별로 확인하고, 모든 도메인에 대해 통합적으로 수행되는 연관 검색어 학습 스레드를 실행할 수 있습니다. AI 작업 스레드의 종류와 구성 작업, 작업 상태에 대한 설명은 AI 작업 소개를 참고합니다. 작업 스레드별 AI 작업 현황 보기 관리자 웹페이지에서 AI 작업 – 전체 작업 현황 메뉴 선택 후 표시되는 ...

• 연관 검색어 설정

  메뉴 경로: 환경 설정 – 연관 검색어 연관 검색어에 대한 추천 기준과 학습 조건 등의 설정을 관리합니다. 학습 관련 설정 값 수정 시 연관된 학습이 진행중이면 다음 학습부터 적용됩니다. 기본값: 고객사 도입 시 기본 설정으로 사용되는 값 전역 기본값: 모든 도메인이 공통으로 사용하는 전역 설정 (도메인별 설정 불가) AI 연관 검색어 옵션 내용 기본값 범위 연관 검색어 최대 추천 수 사용자가 입력한 검색어와 연관된 키워드에 대한 최대 추천 ...

• AI 작업 성능 평가하기

  aidoc에서는 자체 성능 평가를 통해 AI 작업의 성능을 실시간으로 확인하고 기준 치에 미달한 AI 작업을 튜닝하여 정확도를 개선하는데 활용할 수 있습니다. 시스템 관리자는 도메인별 AI 작업 성능을 측정하고 측정한 결과와 성능 평가 이력을 확인할 수 있습니다. 또한 성능 평가의 기준(측정 기준)을 변경할 수도 있습니다. 성능 평가 대상이 되는 AI 작업은 다음과 같습니다. 유사 문서 추천 해시태그 전문가 DB 생성 학습 카테고리 전문가 DB ...