With the rapid development of Internet of Things (IoT) technologies, the increasing volume and diversity of sources of geospatial big data have created challenges in storing, managing, and processing data. In addition to the general characteristics of big data, the unique properties of spatial data make the handling of geospatial big data even more complicated. To facilitate users implementing geospatial big data applications in a MapReduce framework, several big data processing systems have extended the original Hadoop to support spatial properties. Most of those platforms, however, have included spatial functionalities by embedding them as a form of plug-in. Although offering a convenient way to add new features to an existing system, the plug-in has several limitations. In particular, while executing spatial and nonspatial operations by alternating between the existing system and the plug-in, additional read and write overheads have to be added to the workflow, significantly reducing performance efficiency. To address this issue, we have developed Marmot, a high-performance, geospatial big data processing system based on MapReduce. Marmot extends Hadoop at a low level to support seamless integration between spatial and nonspatial operations of a solid framework, allowing improved performance of geoprocessing workflow. This paper explains the overall architecture and data model of Marmot as well as the main algorithm for automatic construction of MapReduce jobs from a given spatial analysis task. To illustrate how Marmot transforms a sequence of operators for spatial analysis to map and reduce functions in a way to achieve better performance, this paper presents an example of spatial analysis retrieving the number of subway stations per city in Korea. This paper also experimentally demonstrates that Marmot generally outperforms SpatialHadoop, one of the top plug-in based spatial big data frameworks, particularly in dealing with complex and time-intensive queries involving spatial index.
KSP 제안 키워드
Automatic construction, Big Data Processing, Big Data frameworks, Data Model, Data processing system, Geoprocessing workflow, Geospatial big data, High performance, Internet of thing(IoT), MapReduce framework, Performance efficiency
본 저작물은 크리에이티브 커먼즈 저작자 표시 (CC BY) 조건에 따라 이용할 수 있습니다.
저작권정책 안내문
한국전자동신연구원 지식공유플랫폼 저작권정책
한국전자통신연구원 지식공유플랫폼에서 제공하는 모든 저작물(각종 연구과제, 성과물 등)은 저작권법에 의하여 보호받는 저작물로 무단복제 및 배포를 원칙적으로 금하고 있습니다. 저작물을 이용 또는 변경하고자 할 때는 다음 사항을 참고하시기 바랍니다.
저작권법 제24조의2에 따라 한국전자통신연구원에서 저작재산권의 전부를 보유한 저작물의 경우에는 별도의 이용허락 없이 자유이용이 가능합니다. 단, 자유이용이 가능한 자료는 "공공저작물 자유이용허락 표시 기준(공공누리, KOGL) 제4유형"을 부착하여 개방하고 있으므로 공공누리 표시가 부착된 저작물인지를 확인한 이후에 자유이용하시기 바랍니다. 자유이용의 경우에는 반드시 저작물의 출처를 구체적으로 표시하여야 하고 비영리 목적으로만 이용이 가능하며 저작물을 변형하거나 2차 저작물로 사용할 수 없습니다.
<출처표시방법 안내> 작성자, 저작물명, 출처, 권호, 출판년도, 이용조건 [예시1] 김진미 외, "매니코어 기반 고성능 컴퓨팅을 지원하는 경량커널 동향", 전자통신동향분석, 32권 4호, 2017, 공공누리 제4유형 [예시2] 심진보 외, "제4차 산업 혁명과 ICT - 제4차 산업 혁명 선도를 위한 IDX 추진 전략", ETRI Insight, 2017, 공공누리 제 4유형
공공누리가 부착되지 않은 자료들을 사용하고자 할 경우에는 담당자와 사전협의한 이후에 이용하여 주시기 바랍니다.