데이터 사이언스 아카데미 (Data Science Academy)

http://mirror.navercorp.com/apache/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz 하둡(Hadoop)은 대규모 데이터 집합을 처리하고 저장하기 위한 오픈 소스 프레임워크입니다. 하둡은 분산 컴퓨팅 환경에서 데이터를 효과적으로 처리할 수 있도록 설계되었습니다. 하둡은 여러 컴퓨터 노드에 데이터를 분산하여 처리하고 저장하는데 사용되며, 이러한 구조는 큰 규모의 데이터 처리와 분석에 적합한 방식입니다. O 하둡의 주요 구성 요소 1) Hadoop Distributed File System (HDFS): 하둡 분산 파일 시스템으로, 대용량의 데이터를 블록 단위로 저장하고 분산하여 관리합니다. 데이터의 안정성과 가용성을 보장하며, 매우 큰 파일을 효..

빅데이터/Big Data Engineering 실습환경구축 2023. 8. 16. 15:31

https://posit.co/downloads/ RStudio는 R 프로그래밍 언어를 위한 통합 개발 환경(IDE)으로, 데이터 분석 및 프로그래밍 작업에 매우 유용한 다양한 특장점을 가지고 있습니다. 아래는 RStudio의 주요 특장점 몇 가지입니다: 1. 유연한 환경: RStudio는 코드 작성, 실행, 디버깅, 시각화, 보고서 작성 등 데이터 분석 작업에 필요한 모든 요소를 하나의 환경에서 처리할 수 있습니다. 2. 통합된 개발 환경: RStudio는 R 언어와 관련된 모든 작업을 한 곳에서 처리할 수 있는 통합된 개발 환경을 제공합니다. 코드 편집, 데이터 시각화, 패키지 관리 등을 통합하여 사용자 편의성을 높입니다. 3. 코드 편집 및 자동 완성: RStudio는 코드 작성을 위한 편집기를 제..

빅데이터/Big Data Engineering 실습환경구축 2023. 8. 16. 11:52

https://repo.anaconda.com/archive/Anaconda3-2023.07-1-Windows-x86_64.exe Windows 운영체제에서 사용할 수 있는 Anaconda Individual Edition은 데이터 과학 및 머신러닝 작업을 위한 강력한 패키지와 도구를 포함한 파이썬 배포판입니다. Anaconda는 데이터 분석, 과학적 컴퓨팅, 머신러닝, 딥러닝 등의 작업을 수행하는 데 유용한 환경을 제공합니다. 아래는 Windows에서 Anaconda Individual Edition을 설치하고 사용하는 방법에 대한 간단한 가이드입니다. 1. Anaconda 다운로드: Anaconda 공식 웹사이트 (https://www.anaconda.com)에 접속하여 "Free Download" ..

빅데이터/Big Data Engineering 실습환경구축 2023. 8. 16. 11:44

https://mirror.kakao.com/eclipse/technology/epp/downloads/release/2023-03/R/eclipse-jee-2023-03-R-win32-x86_64.zip Windows 운영체제에서 사용할 수 있는 Eclipse IDE(통합 개발 환경)는 Java 및 다양한 다른 프로그래밍 언어를 위한 개발 도구입니다. Eclipse는 무료로 제공되며, 다양한 플러그인과 확장 기능을 통해 다양한 프로그래밍 작업에 사용할 수 있습니다. 아래는 Windows에서 Eclipse IDE를 설치하고 사용하는 방법에 대한 간단한 가이드입니다. 1. Eclipse 다운로드: Eclipse 공식 웹사이트 (https://www.eclipse.org/)에 접속하여 More -> "Dow..

빅데이터/Big Data Engineering 실습환경구축 2023. 8. 16. 11:37

http://mirror.kakao.com/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-Minimal-2009.iso CentOS 7은 오픈 소스 리눅스 배포판 중 하나로, Red Hat Enterprise Linux (RHEL) 7의 소스 코드를 기반으로 만들어진 무료로 사용 가능한 서버용 운영체제입니다. CentOS 7은 안정성과 보안을 중시하는 기업 및 개발자들에게 널리 사용되며, 서버 환경에서의 안정성과 신뢰성을 제공하는 것을 목표로 하고 있습니다. O CentOS 7 주요 특징 1. RHEL 7 기반: CentOS 7은 RHEL 7의 소스 코드를 기반으로 제작되었습니다. 따라서 RHEL과 유사한 기능과 성능을 제공하며, 기업 환경에서 신뢰성 있는 운영을 위한 기..

빅데이터/Big Data Engineering 실습환경구축 2023. 8. 16. 11:29

https://cdn.azul.com/zulu/bin/zulu8.56.0.21-ca-jdk8.0.302-win_x64.msi https://cdn.azul.com/zulu/bin/zulu8.56.0.21-ca-jdk8.0.302-linux_x64.tar.gz Zulu JDK는 Azul Systems라는 회사가 제공하는 오픈 소스 Java Development Kit (JDK)의 배포 버전 중 하나입니다. Zulu JDK는 기존의 Oracle JDK나 OpenJDK와 유사한 Java 개발 환경을 제공하며, 다양한 플랫폼에서 Java 애플리케이션을 개발하고 실행하는 데 사용됩니다. O Zulu JDK의 주요 특징 1. OpenJDK 기반: Zulu JDK는 OpenJDK의 오픈 소스 버전을 기반으로 만들어졌..

빅데이터/Big Data Engineering 실습환경구축 2023. 8. 16. 11:17

https://releases.hashicorp.com/vagrant/2.2.18/vagrant_2.2.18_x86_64.msi Windows 운영체제에서 가상 환경을 관리하고 개발 환경을 구축하는 데 효율적인 Vagrant O Vagrant란? Vagrant는 가상 머신을 생성하고 프로비저닝하는 프로세스를 자동화하여 개발자가 일관된 환경에서 작업할 수 있도록 도와주는 도구입니다. 개발 환경의 코드화와 버전 관리를 지원하여, 여러 개발자나 프로젝트 간에 일관된 환경을 쉽게 유지할 수 있습니다. O Windows에서 Vagrant 사용하기: 1) VirtualBox 설치: Vagrant를 사용하려면 먼저 가상화 소프트웨어인 Oracle VirtualBox를 설치해야 합니다. VirtualBox는 Vagra..

빅데이터/Big Data Engineering 실습환경구축 2023. 8. 16. 11:10

https://download.virtualbox.org/virtualbox/6.1.26/VirtualBox-6.1.26-145957-Win.exe https://download.virtualbox.org/virtualbox/6.1.26/Oracle_VM_VirtualBox_Extension_Pack-6.1.26.vbox-extpack 가상화 소프트웨어인 Oracle VM VirtualBox는 다양한 운영 체제를 하나의 호스트 컴퓨터에서 실행할 수 있게 해주는 도구입니다. 1. VirtualBox: Oracle VM VirtualBox는 무료로 사용 가능한 오픈 소스 가상화 소프트웨어입니다. 이를 통해 하나의 호스트 시스템에서 여러 개의 게스트 가상 머신(VM)을 생성하고 실행할 수 있습니다. 이는 다양..

빅데이터/Big Data Engineering 실습환경구축 2023. 8. 16. 10:59