AI 작업 소개
AI 작업 종류
추천서비스와 같은 AI 서비스를 제공하기 위해 aidoc 시스템은 문서 벡터화, 카테고리 생성 및 문서 분류, 연관 검색어 학습 등의 AI 작업을 수행합니다. aidoc 시스템에서 수행되는 AI 작업의 종류는 아래의 표와 같으며 다음의 특징을 갖습니다.
- 작업의 종류에 따라 CPU 또는 GPU 자원이 요구되며, 해당 작업에 필요한 자원을 보유한 AI 서버에 할당되어 수행됩니다.
- 연관 검색어 학습은 모든 고객사(도메인)에 대해 통합적으로 수행되는 작업이며, 이외 모든 작업은 고객사별로 독립적으로 수행됩니다.
- AI 작업은 실행 방식에 따라 크게 종속, 독립, 실시간 세 가지 형태로 분류할 수 있습니다.
- 종속: 다른 종류의 AI 작업과 연계되어 연속적으로 실행되는 작업으로, 하나의 작업이 완료되어야 다음 작업이 실행될 수 있습니다.
- 독립: 단일 AI 작업으로서, 다른 AI 작업과 독립적으로 실행됩니다.
- 실시간: 사용자 요청 등의 이벤트 발생 시 즉시 실행되는 작업입니다.
- aidoc 시스템에서는 하나 이상의 AI 작업(종속 또는 독립 작업)을 논리적 실행 단위로 그룹화하여 AI 작업 스레드로 관리합니다. AI 작업 스레드는 정해진 순서에 따라 종속적으로 실행되는 일련의 작업들로 구성되거나, 독립적으로 실행되는 단일 작업으로 구성됩니다. 자세한 설명은 아래 목차 AI 작업 스레드를 참고합니다.
AI 작업 | 내용 | 실행 형태 | 필요 자원 |
연관 검색어 학습 | 인덱싱된 사내 문서 내용을 분석하여 연관 검색어를 추천하는 모델을 학습합니다. | 독립 | CPU |
주기 문서 추천 | 사용자의 문서 열람 이력을 분석하여 주기적으로 반복하여 작업하는 문서 목록을 생성합니다. | 독립 | |
카테고리 전문가 DB | 사용자가 이용한 문서의 카테고리 정보를 분석하여 카테고리별 전문가 목록을 생성합니다. | 독립 또는 | |
문서 벡터화 스레드 | 문서 벡터화 스레드 작업 수행 시 실행되는 종속 작업에서 발생하는 모든 결과물을 서비스에 반영합니다. | 종속 | |
카테고리 생성 스레드 | 카테고리 생성 스레드 작업 수행 시 실행되는 종속 작업에서 발생하는 모든 결과물을 서비스에 반영합니다. | 종속 | |
유사 문서 추천 | 열람한 문서와 유사한 문서 목록을 생성하여 추천합니다. | 실시간 | |
연관 검색어 추천 | 제시된 검색어와 연관된 검색어 목록을 추천합니다. | 실시간 | |
샘플 파일 필터링 | 샘플 파일 간의 유사도를 분석하여 부적합한 샘플 문서를 식별합니다. | 독립 | |
해시태그 전문가 DB | 사용자가 이용한 문서의 해시태그 정보를 분석하여 해시태그별 전문가 목록을 생성합니다. | 독립 | |
AI 성능 평가 | AI 작업의 전반적인 성능을 실시간으로 파악합니다. | 실시간 | |
전체 문서 벡터화 | 미리 학습된 문서 벡터화 모델을 사용하여 검색 서버에 인덱싱된 전체 문서의 벡터값을 산출합니다. | 종속 | GPU |
신규 문서 벡터화 | 새롭게 작성된 문서와 수정된 문서에 대해서 문서 벡터 값 산출과 카테고리 분류를 실행합니다. | 독립 | |
카테고리 생성 및 | 벡터값이 설정된 전체 문서의 유사도를 분석하여 카테고리 분류 작업을 수행합니다. | 종속 | |
유저 프로파일 학습 | 팀 정보, 자주 찾는 폴더, 문서 이용 이력 등을 활용하여 프로파일 모델을 학습합니다. 유저 프로파일은 사용자의 열람 성향을 반영한 추천 문서 정렬 등에 사용됩니다. | 독립 |
문서의 벡터값은 자연어 처리 모델에서 텍스트를 수학적으로 표현하기 위해 변환된 숫자 형태의 다차원 데이터를 의미합니다. 이러한 벡터값은 문서의 의미와 문맥을 수치적으로 표현하며, 문서 분류, 텍스트 검색, 그리고 유사도 측정과 같은 작업에 활용됩니다.AI 작업 스레드
AI 작업의 종류에 따라 하나의 작업이 독립적으로 실행되거나, 종속 관계에 있는 다수의 AI 작업이 연계되어 순차적으로 실행됩니다. aidoc 시스템에서는 하나 이상의 AI 작업을 이러한 논리적 실행 단위로 그룹화하여 AI 작업 스레드로 정의하고, 스레드 단위로 작업 스케줄을 설정하고 상태를 관리합니다.
AI 작업 스레드는 정해진 순서에 따라 종속적으로 실행되는 일련의 작업들로 구성되거나, 독립적으로 실행되는 단일 작업으로 구성됩니다. 종속 작업들로 구성된 스레드가 실행될 경우, 그 중 첫번째 작업이 우선 실행되며, 후속 작업들은 미리 정해진 순서에 따라 선행 작업 완료 시 순차적으로 실행됩니다.
전체 AI 작업 중 실시간으로 실행되는 유사 문서 추천, 연관 검색어 추천, AI 성능 평가 작업은 작업 스레드로 관리되지 않습니다.
AI 작업 스레드의 종류는 다음과 같습니다. 각 스레드는 관리자가 설정한 스케줄에 따라 주기적으로 실행되거나 관리자가 수동으로 실행하며, 일부 스레드는 특정 작업이 완료된 후에 실행되어야 합니다.
AI 작업 스레드 | AI 작업 구성 | 실행 방식 | 선수 조건 |
문서 벡터화 스레드 | 1. 전체 문서 벡터화 2. 카테고리 생성 및 문서 분류 3. 카테고리 전문가 DB 생성 4. 문서 벡터화 스레드 종속 결과 업데이트 | 수동 | 없음 |
카테고리 생성 스레드 | 1. 카테고리 생성 및 문서 분류 2. 카테고리 전문가 DB 생성 3. 카테고리 생성 스레드 종속 결과 업데이트 | 수동 | 문서 벡터화 스레드 |
유저 프로파일 학습 스레드 | 유저 프로파일 학습 | 주기 | 문서 벡터화 스레드 |
신규 문서 벡터화 스레드 | 신규 문서 벡터화 | 주기 | 문서 벡터화 스레드 |
주기 문서 생성 스레드 | 주기 문서 추천 | 주기 | 문서 벡터화 스레드 |
연관 검색어 학습 스레드 | 연관 검색어 학습 | 수동 또는 주기 | 전체 문서 인덱싱 |
카테고리 전문가 DB 생성 스레드 | 카테고리 전문가 DB 생성 | 주기 | 카테고리 생성 스레드 |
해시태그 전문가 DB 생성 스레드 | 해시태그 전문가 DB 생성 | 주기 | 문서 벡터화 스레드 |
샘플 파일 필터링 스레드 | 샘플 파일 필터링 | 수동 | 없음 |
문서 벡터화 스레드와 카테고리 생성 스레드와 같이 종속 AI 작업들이 순차적으로 실행되는 경우, 첫번째 작업 이후 후속 실행되는 작업들은 실행을 취소하거나 수동으로 실행할 수 없습니다. 또한 최종적으로 종속 결과 업데이트 작업이 완료되기 전까지는 스레드 내에서 작업한 결과물이 서비스에 반영되지 않습니다.AI 작업은 AI 작업 스레드 단위로 관리자가 직접 실행하거나 미리 설정된 주기에 따라 자동으로 실행됩니다.
AI 작업 스레드가 실행되면 스레드를 구성하는 AI 작업들은 대기 큐 또는 예약 큐에 저장됩니다. 가용한 서버가 있는 경우 곧바로 시작될 작업은 대기 큐에 저장되며, 대기 큐에 진입한 작업에 종속적으로 실행되는 후속 작업은 예약 큐에 저장됩니다. 예약 큐에 저장된 작업은 선행 작업 완료 시 대기 큐로 이동합니다.
예를 들어 관리자가 문서 벡터화 스레드를 실행할 경우, 해당 스레드의 주 작업인 전체 문서 벡터화 작업은 대기 큐에 진입하고, 이하 후속 작업들(카테고리 생성 및 문서 분류 등)은 예약 큐에 저장됩니다. 이후 전체 문서 벡터화 작업이 완료되면 카테고리 생성 및 분류 작업이 대기 큐에 진입합니다.
대기 큐에 저장된 작업은 오케스트레이션 서버에 의해 가용한 최적의 AI 서버에 할당되며, 해당 서버에 의해 작업이 수행됩니다. 수행된 작업은 성공적으로 완료되거나, 실패할 수 있으며 수행 도중에 관리자에 의해 취소될 수 있습니다.
AI 작업 상태
위와 같이 AI 작업이 처리되는 단계에 따라 AI 작업의 상태를 다음과 같이 정의합니다. AI 작업 상태는 AI 작업 현황 또는 작업 이력 조회 시 확인할 수 있습니다.
작업 상태 | 설명 | |
준비 | 작업이 아직 실행되지 않은 준비 상태 | |
예약 | 대기 또는 진행 중인 선행 작업이 끝나면 대기 큐로 이동할 작업 (예약 큐 저장) | |
대기 | 가용 서버가 있는 경우 즉시 수행될 작업 (대기 큐 저장) | |
진행 | 서버에 할당되어 작업이 수행되고 있는 상태 | |
성공 | 작업이 성공적으로 수행 완료된 상태 | |
실패 | 작업 수행이 실패한 상태 | |
취소 | 작업 수행 또는 대기 중 관리자에 의해 취소된 상태 |
Related Articles
aidoc 시스템 소개
aidoc은 딥러닝 기반 인공지능 기술을 활용하여 기업과 조직에서 생성된 문서를 보다 스마트하게 관리하고, 필요한 정보를 신속하게 찾을 수 있도록 지원하는 인공지능 지식 관리 솔루션(AI based Knowledge Management System)입니다. aidoc에서 제공되는 서비스에 대한 상세한 내용은 사용자 매뉴얼 - aidoc 소개[링크]를 참고합니다. aidoc 시스템 구성 aidoc시스템은 웹서버, 검색 서버, AI 서버, ...관리자의 종류와 역할
aidoc의 관리 업무는 크게 시스템 관리와 서비스 관리로 구분되며, 각각의 업무를 담당하는 관리자를 시스템 관리자, 서비스 관리자로 지칭합니다. 시스템 관리: aidoc 시스템 관리와 전체 AI 작업 관리, 도메인의 등록 등 전체 도메인의 통합 관리 업무에 해당합니다. 서비스 관리: 해당 도메인(고객사)의 도메인 정보 관리, 문서 관리, 정책 관리, 도메인 AI 작업 관리 등 개별 도메인 서비스의 관리 업무에 해당합니다. aidoc이 ...금지어 정책 설정하기
금지어 정책은 추천 서비스 사용 시 부서 또는 사용자에 따라 문서 추천 결과를 필터링하는 추천 필터 정책 중 하나로, 문서 또는 연관 검색어 추천 결과에서 제외할 금지어를 설정하는 정책입니다. 사용자에게 적용된 금지어 정책에 등록된 금지어가 포함된 문서는 사용자에게 추천이 되지 않습니다. 서비스 관리자는 다음과 같이 금지어 정책을 설정한 후, 해당 정책을 부서/사용자에게 적용할 수 있습니다. 1. 관리자 웹페이지 좌측 메뉴에서 추천 필터 정책 ...관리자 웹페이지 메뉴 구성
관리자 웹페이지의 메뉴 구성은 고객사의 구축 환경(싱글도메인 vs. 멀티도메인)과 관리자 웹페이지에 로그인 한 관리자의 종류(시스템 관리자 vs. 서비스 관리자)에 따라 다음과 그림과 같이 달라집니다. aidoc이 싱글도메인으로 구축된 경우에는 관리자의 구분 없이 시스템 관리자가 시스템/서비스 관리 기능을 모두 담당합니다. 시스템 관리자와 서비스 관리자의 역할 구분에 대해서는 관리자의 종류와 역할을 참고합니다. 아래 표는 각각의 로그인 환경에서 ...전문 검색(Full Text Search) 서비스 관리하기
aidoc의 전문 검색 서비스를 사용하면 문서 검색 시 문서 이름뿐만 아니라 작성자 및 문서의 내용까지 비교하여 검색이 가능합니다. 또한 검색 결과와 함께 연관 검색어와 관련 전문가 정보가 제시되며, 검색 결과에 필터와 상세 검색어를 적용하여 더 정확한 검색 결과를 얻을 수도 있습니다. 자세한 내용은 aidoc 웹에서 문서 검색하기[링크]를 참고합니다. 문서중앙화 문서를 대상으로 전문 검색 서비스를 제공하기 위해 aidoc 시스템은 문서중앙화 ...