Tạp chí
 
Năm 2021
 
Số 62, Kỳ 1, [02 - 2021]

Đánh giá biến động lớp phủ thực vật dựa trên phân tích chuỗi thời gian với Apache Spark và RasterFrames

DOI:10.46326/JMES.2021.62(1).06

  • Cơ quan:

    Trường Đại học Mỏ - Địa chất, Hà Nội, Việt Nam

  • *Tác giả liên hệ:
    This email address is being protected from spambots. You need JavaScript enabled to view it.
  • Nhận bài: 18-09-2020
  • Sửa xong: 09-01-2021
  • Chấp nhận: 02-02-2021
  • Ngày đăng: 28-02-2021
Trang: 42 - 52
Lượt xem: 22545
Xem onlineXem online
Lượt tải: 8062
Tải về PDF
★★★★★Yêu thích: 5.0, Số lượt: 805
  • ★
  • ★
  • ★
  • ★
  • ★
Bạn yêu thích

Tóm tắt:

Dữ liệu không gian lớn có khối lượng lớn và phức tạp, không thể được thu thập, quản lý và xử lý bằng các phần mềm xử lý dữ liệu truyền thống trong thời gian ngắn. Các nền tảng xử lý dữ liệu này trong nhiều trường hợp chỉ giới hạn ở dữ liệu vectơ. Tuy nhiên, dữ liệu raster được tạo ra bởi các cảm biến trên số lượng lớn vệ tinh hiện nay cần được xử lý song song trên môi trường cụm. Bài báo giới thiệu phương pháp xử lý dữ liệu ảnh vệ tinh sử dụng thư viện RasterFrames trên nền tảng Apache Spark. Thư viện RasterFrames xử lý dữ liệu raster cho Python, Scala và SQL, mang sức mạnh của Spark DataFrames vào việc truy cập dữ liệu quan sát Trái đất (Earth Observation), điện toán đám mây và khoa học dữ liệu. Trong phần thực nghiệm, chỉ số thực vật NDVI và sự thay đổi giá trị trung bình của NDVI theo chuỗi thời gian đã được tính toán để chỉ ra sự biến đổi lớp phủ thực vật tại khu vực tỉnh Phú Thọ từ năm 2013÷2015. Các kết quả này sẽ là nguồn dữ liệu tham khảo trong đánh giá sự biến đổi về thời tiết, khí hậu, môi trường của khu vực nghiên cứu trong khoảng thời gian đó.

Trích dẫn
Nguyễn Thị Mai Dung và Vũ Thị Hoài Thu, 2021. Đánh giá biến động lớp phủ thực vật dựa trên phân tích chuỗi thời gian với Apache Spark và RasterFrames, Tạp chí Khoa học kỹ thuật Mỏ - Địa chất, số 62, kỳ 1, tr. 42-52.
Tài liệu tham khảo

Aji, A., Sun, X., Vo, H., Liu, Q., Lee, R., Zhang, X., Saltz, J. and Wang, F., (2013). Demonstration of Hadoop-GIS: a spatial data warehousing system over MapReduce. In Proceedings of the 21st ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems (pp. 528-531). ACM.

Boyi Shangguan, Peng Yue, Zhaoyan Wu and Liangcun Jiang, (2017). Big spatial data processing with Apache Spark. In Agro-Geoinformatics, 2017. IEEE.

Eldawy, A. and Mokbel, M. F., (2015). SpatialHadoop: A MapReduce framework for spatial data. In Data Engineering (ICDE), 2015 IEEE 31st International Conference on (pp. 1352- 1363). IEEE.

Databricks. Apache Spark – What is Spark. http://databricks.com/spark .

Fei Xiao, (2017). A Big Spatial Data Processing Framework Applying to National Geographic Conditions Monitoring. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XLII-3, 2018 ISPRS TC III Mid-term Symposium “Developments, Technologies and Applications in Remote Sensing”, 7-10 May, Beijing, China.

Huang, Z., Chen, Y., Wan, L., and Peng, X., (2017). GeoSpark SQL: An Effective Framework Enabling Spatial Queries on Spark. In ISPRS International Journal of Geo- Information, 6(9), 285.

Hughes, J. N., Annex, A., Eichelberger, C. N., Fox, A., Hulbert, A. and Ronquest, M., (2015). Geomesa: a distributed architecture for spatio-temporal fusion. In SPIE Defense+ Security (pp. 94730F-94730F). International Society for Optics and Photonics.

Kini, A., and R., (2014). Emanuele. Geotrellis: Adding geospatial capabilities to spark. In Spark Summit.

Lu, J. and Guting, R. H., (2012). Parallel secondo: boosting database engines with hadoop. In Parallel and Distributed Systems (ICPADS), (2012) IEEE 18th International Conference on (pp. 738-743). IEEE.

MODIS on AWS https://docs.opendata.aws/ modis -pds/readme.html.

Nishimura, S., Das, S., Agrawal, D. and El Abbadi, A., (2011), June. Md-hbase: A scalable multi-dimensional data infrastructure for location aware services. In Mobile Data Management (MDM), 2011 12th IEEE International Conference on (Vol. 1, pp. 7-16). IEEE. 

Ram Sriharsha, https://github.com/harsha2010 /magellan.

RasterFrames. http://rasterframes.io/.Stefan Hagedorn, Philipp Götze, Kai-Uwe Sattler, (2017). Big Spatial Data Processing Frameworks: Feature and Performance Evaluation. In 20th International Conference on Extending Database Technology (EDBT).

Thomas Lillesand, Ralph W., (2004). Kiefer, Jonathan Chipman. Remote sensing and image interpretation. Wiley.

You, S., Zhang, J. and Gruenwald, L., (2015). Large-scale spatial join query processing in cloud. In Data Engineering Workshops (ICDEW), 2015 31st IEEE International Conference on (pp. 34-41). IEEE.

Yu, J., Wu, J. and Sarwat, M., (2015). Geospark: A cluster computing framework for processing large-scale spatial data. In Proceedings of the 23rd SIGSPATIAL International Conference on Advances in Geographic Information Systems (p.70). ACM.

 

Các bài báo khác