(1) 검색엔진의 정의
검색엔진(Search Engine)을 풀어 해석하면 검색(Search)은 '자신이 필요한 내용을 찾아내는 것'을 말하며, 엔진(Engine)은 '어떠한 일을 할 때 힘의 근원이 되는 것'이라고 한다. 사용자가 웹(Web)에서 원하는 자료를 찾을 때 사용하는 검색 사이트 자체에는 검색 알고리즘(Search Algorithm)을 가지고 있는 프로그램이 존재하는데, 그 프로그램을 지칭하여 검색엔진이라 한다. 하지만 오늘날에는 검색을 지원해주는 웹사이트(Web site) 자체를 검색엔진이라고 부르기도 한다. 그 범위도 검색엔진이 단순히 정보검색 기능만을 제공하는 것에서 나아가 포탈 서비스와 전자 상거래를 결합시키고 있다.
(2) 검색엔진의 구성과 동작원리
1) 검색 엔진의 구성
월드 와이드 웹(WWW)이 대중화 된 이후 인터넷에서 정보의 양은 기하급수적으로 증가하고 있다. 따라서 사용자가 직접 수작업으로 정보를 찾기가 어려우므로, 사용자가 원하는 정보를 찾을 수 있도록 도와주는 검색엔진이 등장하고 있는 것이다. 검색을 지원하는 각 웹사이트에는 로봇 프로그램이 장착되어져 있는데, 이 프로그램은 전세계 각종 웹서버(Web Server)를 돌아다니며 자료를 수집하는 기능을 하고 있다. 그리고 사용자가 질의한 자료를 검색해 주는 정보검색 시스템(IRS : Information Retrieval System)을 통해 웹클라이언트와 데이터베이스를 연결 해 준다.
2)
검색엔진의 동작원리
(가) 인터넷에 있는 정보는 에이전트(로봇, 스파이더, 크롤러, 웜)라고 불리는 프로그램을 통해 수집된다.
로봇 프로그램 또는 자료정리 프로그램은 키워드 검색에 사용할 수 있도록 수집한 웹 문서의 내용을 색인화(Index)하는 역할을 수행한다.
(나) 이렇게 색인화된 정보는 사용자가 원하는 것을 찾아볼 수 있도록 데이터베이스로 구축된다.
즉, 로봇은 웹에 있는 정보를 수집하고, 분류하며 색인화한 다음 이를 데이터베이스로 구축하는 작업을 한다.
(다) 웹클라이언트(사용자)는 구축된 데이터베이스를 정보검색 시스템(IRS)을 통해 원하는 자료를 찾는다.
[그림 Ⅲ-1] 검색엔진의 구성
(3) 검색엔진의 기능
현재 운영되고 있는 대부분의 검색엔진들은 방대한 양의 자체 데이터베이스를 가지고 있으며, 여기에는 인터넷에 접속된 수천 만대의 컴퓨터가 가지고 있는 문서들에 대한 정보가 저장되어 있다. 그러면 검색엔진은 인터넷상의 정보들을 어떻게 수집하는지, 인터넷의 특성상 이러한 정보는 수시로 추가되거나 수정되는 등 끊임없이 변화하게 되는데 이러한 환경 속에서 어떻게 관리할 수 있는지 데이터베이스 구축 방법에 대해 알아보자.
1) ROBOT이라는 프로그램을 사용(Agent Index 방식)
이 프로그램은 주기적으로 인터넷에 접속된 시스템(웹 서버)들을 방문하여 각 시스템이 보유하고 있는 정보에 대한 인덱스를 추출하고 이 결과로 데이터베이스를 구축하고 갱신한다. 따라서 검색엔진의 데이터베이스는 인터넷상의 거의 모든 웹사이트의 정보를 저장하게 되며, 또한 로봇이 일정한 주기로 계속해서 그 내용을 갱신하게 되므로 최신의 정보들을 데이터베이스에 유지하게 된다. 현재 Altavista, Naver, Lycos 등 유명한 키워드 검색 엔진들이 이러한 방식으로 운영되고 있다.
2) 사용자들이 직접 사이트를 등록하여 사용(Manual Index 방식)
사용자가 자신이 보유한 문서의 내용 및 주소(URL)등을 등록하면 검색엔진에서는 이미 분류되어 있는 주제들 중 해당항목에 추가하는 것이다. 이러한 방식은 주제별 검색엔진에서 많이 사용되며, Yahoo가 이러한 방식으로 데이터베이스를 관리하는 대표적인 예가 될 수 있다. 이 방식의 단점은 단지 사용자가 등록한 정보만으로 데이터베이스를 구축하게 되므로 로봇을 운영하는 경우에 비해 정보의 양이 적다는 점이다. 이러한 단점은 '양보다는 질'이라는 관점에서 보면 오히려 장점이 될 수 있다.
위 두 가지 데이터베이스 구축 방법은 각각의 장단점을 가지고 있기 때문에 현재 인터넷상의 대부분의 검색엔진들은 로봇에 의한 방식과 사용자 등록에 의한 방식을 동시에 사용하고 있는 추세이다.