KCrawler KCrawler 개요 KCrawler 일반 Web-Crawler 동일한 기능을 가지고 있으나 특정 사이트 Crawlering를 위한 목적으로 제작되었다.. KCrawler를 특정 URL 사이트를 기준으로 Crawlering하여 KRISTAL DB에 바로 적재하는 기능을 가지고 있습니다. KCrawler 구조 KCrawler 기능 KCrawler Robot Scheduler Task Based KCrawlerConfig.xml Multi-Thread FIFO(URL) 관리기능 ProcessedURL 관리 기능 HTTP connection URL Parser(Anchors) HTML2TXT SaveUTF(by option) Run/Stop/Reset 기능 Update Robot Scheduler Task Real-Time update to KRISTAL robot Auto update-file to KRISTAL robot(not real-time) Binary Robot Scheduler Task Doc Filtering Binary file downloading KRISTAL Manager Task KRISTAL Server auto-run/stop KRIATAL Server Test-config/Checking alive connection to KRISTAL Server Delete 기능 Schema Task Create table 기능 Section name mapping 기능 시스템 환경 Windows/Linux + KRISTAL Version 3.x.x 이상 데모 사이트 KCrawlering demo site