우분투에 dash-to-dock 설치

 1. 사용중인 그놈 쉘 버전 확인

gnome-shell --version

2. 아래 사이트에 그놈쉘 버전에 맞는 버전을 다운로드

dash-to-dock 사이트 : https://extensions.gnome.org/extension/307/dash-to-dock/

3 다운받은 파일을 아래와 같이 설치

$ mv 다운로드/다운파일명 dash-to-dock@micxgx.gmail.com.zip

$ mkdir -p ~/.local/share/gnome-shell/extensions/

$ unzip dash-to-dock@micxgx.gmail.com.zip -d ~/.local/share/gnome-shell/extensions/dash-to-dock@micxgx.gmail.com/

4. 로그아웃 - 로그인

5. 그놈 확장 설치

$ sudo add-apt-repository universe

$ sudo apt install gnome-shell-extensions gnome-shell-extension-prefs

6. 앱에서 '확장' extension 에서 들어가 설정

HTML 구조의 이해와 웹크롤링

참조 : https://wikidocs.net/127846

1. HTML 구조의 이해

HTML은 웹 문서를 만들기 위하여 사용하는 기본적인 웹 언어의 한 종류이다. 하이퍼텍스트를 작성하기 위해 개발되었으며 인터넷 서비스의 하나인 월드와이드웹(WWW)을 통해서 볼 수 있는 문서를 만들 때 사용하는 웹 언어의 한 종류이다. 특히 인터넷에서 웹을 통해 접근되는 대부분의 웹 페이지들은 HTML로 작성되는데 문서의 글자 크기, 글자색, 글자모양, 그래픽, 문서이동(하이퍼링크) 등을 정의하는 명령어들이 있다. HTML에서 사용하는 명령어는 태그(tag)라고 하는데 꺽쇠괄호'<>'를 사용하여 나타낸다. HTML 문서는 크게 Head 부분과 Body로 나누어지는데 Head 부분에는 문서의 제목을 포함한 기본적인 정보들을 포함하고 있으며 Body 부분에는 실제 웹 페이지에 나타나는 본문 내용으로 구성된다. 그래서 이러한 구조를 간단하게 요약해서 표기하면 아래와 같은 그림으로 표현할 수 있다.

좀더 구체적으로 위에 그림 중에 본문 문단을 의미하는 p 태그의 코드 기준으로 설명하면 HTML 요소는 시작 태그와 /로 시작하는 종료 태그 사이에 내용들이 들어 있으며, 시작 태그 안에는 속성명(Attributes) class와 속성값(Values) title을 포함하고 있고, 'HTML 문서의 구조'라는 내용을 포함하고 있는 태그이다.  보다 다양한 HTML 태그에 대한 이해를 위해서 자주 사용하는 태그들을 표의 형태로 정리하면 아래와 같다.

이러한 구조를 사람이 보기 편한 Text 문서로 파싱하기 위해서는 BeautifulSoup라는 라이브러리를 이용해야 한다. 뷰티플소프이라는 파이썬 라이브러리는 이와 같이 HTML 문서를 파싱하여 텍스트 데이터를 추출할 수 있는 유용한 도구이다.

2.HTML 문서의 파싱과 텍스트 추출

코랩을 이용해서 위에 그림으로 설명한 P 태그의 내용을 추출하는 방법을 설명하면 아래와 같은 코드를 실행시키면 추출이 가능하다.

먼저 뷰티풀소프라는 라이브러리를 아래와 같이 설치한다.

!pip install bs4

그리고 태그를 파싱해서 그안에 담겨있는 텍스트만 추출하여 정리하는 방법은 아래와 같다.

from bs4 import BeautifulSoup as bs

html_tag ='''<p class='title'> HTML 문서의 구조</p>'''

soup = bs(html_tag, 'html.parser')

print(soup.find("p").text)

3. 웹크롤링 방법 사례

웹크롤링을 하기 위해 우선적으로 해야할 일은 우리가 정보를 추출하고자하는 웹페이지의 로봇배제기준을 확인하여 추출이 가능한 웹페이지인지 확인해야한다. 현재 이 블로그의 로봇배제기준을 확인하려면 웹페이지 주소창에 있는 주소에 추가하여 /robots.txt 를 추가하여 확인하는 것이다. 

가. 기본정보 추출

기본적인 웹페이지의 정보를 크롤링하기 위해서는 아래와 같이 requests나 urllib 라이브러리를 이용하여 HTML 정보를 불러오고 이를 BeautifulSoup으로 파싱하여 구체적인 텍스트 정보를 얻을 수있다.

import requests

from bs4 import BeautifulSoup as bs

url = "https://enjoystat.blogspot.com/2024/03/html.html"

resp = requests.get(url)

print(resp)

html_src = resp.text

soup = bs(html_src, 'html.parser')

나. 태그사이에 있는 정보 추출

태그사이에 있는 정보를 추출하기 위해서는 f12 또는 Ctrl+Shift+I로 소스코드가 팝업되도록 펼치고, 좌상단 element select 또는 Ctrl+Shift+C로 마우스 선택기를 활성화하여 추출하고자하는 행에서 우측마우 클릭하고, copy - copy selector 선택 복사하여 아래와 같이 Select_one문에 붙여넣기하여 기본정보를 추출할 수 있다.

soup.select_one("#Blog1 > div.blog-posts.hfeed > div > div > div > div.post.hentry.uncustomized-post-template > h3").text.strip()

다. 속성값 추출

태그 내에 작성되어 있는 속성값을 추출하기 위해서는 get("속성명") 메소드를 활용하여 속성값을 추출할 수 있다.

print(soup.select_one("#Profile1 > div > a").get("href")) 

라. 반복되는 내용 추출

웹페이지에 있는 세부 텍스트 내용은 통상 패러그래프 태그인 P 태그에 반복적으로 들어있기 때문에 아래와 같이 for문을 이용하여 추출할 수 있다.

text =""

body=soup.find("div", {"class":"post-body entry-content"})

for para in body.select("p"):

    text=text+para.text.strip()

text

Ubuntu 22.04 server에 LAMP 설치를 통한 RStudio Server 설치와 owncloud 클라우드 서비스 운용 최신화

 1. 우분투 설치 및 기본설정 

가. root 계정 암호 설정

# passwd 실행해서 root unix 암호 등 설정

나. 관리자 계정 추가 및 sudo 권한부여 

# adduser admin

추가 확인 ls /home

# usermod -a -G sudo admin

다. hostname 변경

# hostnamectl set-hostname 원하는hostname

# hostnamectl 

라. 방화벽 설정 생략 : 호스트 컴퓨터 방화벽 사용하려면 ufw 비활성화 필요

# ufw disable

2. apache2 설치

가. 기본설치

# apt update

# apt install apache2

# apache2 -v

나. 인증 관련 설치 

https 인증서 관련 프로그램 설치

# apt install ssl-cert

무료인증서 발급 프로그램

# apt install certbot

다. 주요 apache2 모듈 설치

# a2enmod rewrite

# a2enmod headers

# a2enmod ssl

# a2dismod -f autoindex

변경사항 적용

# service apache2 restart

아파치 한경설정 분석

# apache2ctl -S

라. 환경설정 확인 

nano 에디터 설치

# apt install nano

기본언어셋 설치 utf-8로 설정(# 부분 제거)

# nano /etc/apache2/conf-available/charset.conf

보안설정 

# nano /etc/apache2/conf-available/security.conf

추가보안 패치 : 폴더보고, access 제어

# nano /etc/apache2/apache2.conf

서비스 재시작

# service apache2 restart

마. 아파치 개별 사용자 권한설정

# apt-cache search mpm-itk

# apt install libapache2-mpm-itk

# service apache2 restart

바. 기본사이트 추가 구성

서버 이름 ServerName localhost 예제 밑에 추가, 필요시 웹서버 어드민 추가 

# nano /etc/apache2/sites-available/000-default.conf

HTTPS 기본사이트 켜기

# mv /etc/apache2/sites-available/default-ssl.conf /etc/apache2/sites-available/000-default-ssl.conf

서버네임 추가 ServerName localhost

# nano /etc/apache2/sites-available/000-default-ssl.conf

실행 및 확인

# a2ensite 000-default-ssl.conf

# apache2ctl -S

설정 적용 및 확인

# service apache2 reload

http://server_ip 웹페이지에서 확인 

3. PHP 설치 및 설정

가. 기본설치

* 내가 운용할 웹서비스 버전확인: owncloud php7.4까지만 호환, 8.0사용 불가 

# apt update

# apt install php

# php -v

최신 php가 아닌 다운그레이드는 아래 명령어로 버전 선택

sudo update-alternatives --config php

또는 아래처럼 수동으로 7.4 사용 설정

# a2dismod php8.3

# a2dismod php8.2

# a2dismod php8.1

# a2dismod php8.0

# a2enmod php7.4

추가 모듈 : 다국어처리모듈, 이미지 처리모듈, 원격ㄹ지정보 및 xml처리, 수학연산모듈, oauth 인증모듈 mysql 모듈, 의존성관리 모듈 등 설치

# apt install php-mbstring php-gd php-curl php-xml php-bcmath php-oauth php-mysql composer

기차 추가시 아래 명령어에서 이름 보고 선택 추가설치

# apt-cache search php- | grep ^php- | grep module

나. 보안 설치 : 파일 매치 거절 부분에 거절하고 싶은 확장자 추가 예제 확인

# nano /etc/apache2/mods-available/php7.4.conf

# service apache2 restart

다. 기본 time zone 설정

# nano /etc/php/7.4/apache2/php.ini

cron 및 console php php실행 참조

# nano /etc/php/7.4/cli/php.ini

라. phpinfo 파일 생성

# hostname 

hostname 보안

웹페이지에서 phpinfo확인을 위한 입력 

# echo "<?php phpinfo(); ?>" > /var/www/html/info.php

## nano  /var/www/html/info.php 들어가서 아래내용 붙여넣기 해도 됨

<?php phpinfo(); ?> 

apache2 재동작 및 확인

# systemctl restart apache2

# systemctl status apache2

아래주소로 확인 

http://서버의아이피/info.php

http://64.176.54.9/info.php

4. MySQL 설치 8.0 

패스워드 길이 조합 각별히 통제

# apt install mysql-server

# mysql -u root

mysql>create user '사용자id'@'localhost' identified by '사용자패스';

mysql>GRANT ALL PRIVILEGES ON *.* TO '사용자id'@'localhost';

mysql>flush privileges;

mysql>quit;

5.서버 R서버 설치

sudo apt update -qq

sudo apt install dirmngr gnupg apt-transport-https ca-certificates software-properties-common

sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys E298A3A825C0D65DFD57CBB651716619E084DAB9

lsb_release -a 

sudo add-apt-repository "deb https://cloud.r-project.org/bin/linux/ubuntu jammy-cran40/"

sudo apt install r-base r-base-dev

R --version

6. Rstudio server 설치

#참조:https://rstudio.com/products/rstudio/

sudo apt-get install gdebi-core

sudo wget https://download2.rstudio.org/server/jammy/amd64/rstudio-server-2023.12.1-402-amd64.deb

sudo gdebi rstudio-server-2023.12.1-402-amd64.deb

서버에서 방화벽 설정 allow 8787

sudo rstudio-server status

sudo rstudio-server verify-installation

-working diretory 설정

터미널에서 mkdir rstudio_ex

상단메뉴를 이용하여 Session > Set Working Directory > Choose Directory.

한글깨지는 것방지

$ cd /usr/share/fonts

$ sudo wget http://cdn.naver.com/naver/NanumFont/fontfiles/NanumFont_TTF_ALL.zip

$ sudo unzip NanumFont_TTF_ALL.zip -d NanumFont

$ sudo rm -f NanumFont_TTF_ALL.zip

$ fc-list :lang=ko

R 콘솔에서

library(sysfonts) # 없다면 install.packages("sysfonts")

font_add("NanumGothicBold","/usr/share/fonts/NanumFont/NanumGothicBold.ttf")

par(family="NanumGothicBold")

우상단 전원버튼으로 재시작 확인

plot(c(1:5), main="가나다")

 

7.owncloud 서버 설치

가. 서버설치

sudo wget https://download.owncloud.com/server/stable/owncloud-complete-latest.tar.bz2

sudo tar -xjf owncloud-complete-latest.tar.bz2 

sudo mv owncloud /var/www/

sudo chown -R www-data:www-data /var/www/owncloud/

sudo chmod -R 755 /var/www/owncloud/

나.Mysql DB 생성 및 설정

$ sudo mysql

su

mysql -u root -p

mysql> create user 'yourid'@'%' identified by '자기 비번';

mysql> create database owncloud;

mysql>GRANT ALL on owncloud.* to 'yourid'@'%';

mysql> flush privileges;

mysql>exit;

su 사용자 

-https 가능하기 위해서는 SSL 인증서 필요(비쌈)

-Configure Apache for OwnCloud

다. 접속폴더 및 환경 설정

sudo nano /etc/apache2/conf-available/owncloud.conf

-------아래 입력

Alias /owncloud "/var/www/owncloud/"

<Directory /var/www/owncloud/>

  Options +FollowSymlinks

  AllowOverride All

 <IfModule mod_dav.c>

  Dav off

 </IfModule>

 SetEnv HOME /var/www/owncloud

 SetEnv HTTP_HOME /var/www/owncloud

</Directory>

---------------

라. 기타 설정 확인

sudo a2enconf owncloud

sudo a2enmod rewrite

sudo a2enmod headers

sudo a2enmod env

sudo a2enmod dir

sudo a2enmod mime

sudo systemctl restart apache2

마. 접속 및 설치확인

방화벽 포트 설정 : sudo ufw allow mysql

웹서비스 접속 및 확인

http://ip/owncloud

우분투 22.04에 R과 RStudio 설치

1. R 설치

sudo apt update -qq

sudo apt install dirmngr gnupg apt-transport-https ca-certificates software-properties-common

sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys E298A3A825C0D65DFD57CBB651716619E084DAB9

lsb_release -a 

sudo add-apt-repository "deb https://cloud.r-project.org/bin/linux/ubuntu jammy-cran40/"

sudo apt install r-base r-base-dev

R --version

2. RStudio 설치 

sudo apt-get install gdebi-core

sudo wget https://download2.rstudio.org/server/jammy/amd64/rstudio-server-2023.12.1-402-amd64.deb

sudo gdebi rstudio-server-2023.12.1-402-amd64.deb

서버에서 방화벽 설정 allow 8787

sudo rstudio-server status

sudo rstudio-server verify-installation

-working diretory 설정

터미널에서 mkdir rstudio_ex

상단메뉴를 이용하여 Session > Set Working Directory > Choose Directory.

3. 한글깨지는 것방지

$ cd /usr/share/fonts

$ sudo wget http://cdn.naver.com/naver/NanumFont/fontfiles/NanumFont_TTF_ALL.zip

$ sudo unzip NanumFont_TTF_ALL.zip -d NanumFont

$ sudo rm -f NanumFont_TTF_ALL.zip

$ fc-list :lang=ko

R 콘솔에서

library(sysfonts) # 없다면 install.packages("sysfonts")

font_add("NanumGothicBold","/usr/share/fonts/NanumFont/NanumGothicBold.ttf")

par(family="NanumGothicBold")

우상단 전원버튼으로 재시작 확인

plot(c(1:5), main="가나다")

우분투 리눅스 Visual Studio Code의 C++ 개발환경 설정

 task.json 파일의 아래부분에 c++17 환경 설정

"args": [

"-fdiagnostics-color=always",

"-g",

"-std=c++17",

"${file}",

"-o",

"${fileDirname}/${fileBasenameNoExtension}"

],

Spark에서 자료 형태별로 읽기 및 저장하기

 조건 : HDFS Cluster와 연동이 되고 있는 상태

start-dfs.sh

start-yarn.sh

start-all.sh

1. HDFS로부터 RDD 읽고 저장하기

종합된 자료만 읽기

val myrdd = sc.textFile("hdfs:///user/spark/text/word_counts")

myrdd.collect().foreach(println)

파일 위치까지 읽기

val rddWhole = spark.sparkContext.wholeTextFiles("hdfs:///user/spark/text/word_counts")

rddWhole.collect().foreach(println)

rddWhole.take(2).foreach(println)

저장하기

myrdd.saveAsTextFile("hdfs:///user/spark/word_rdd")

2. HDFS로부터 CSV 읽고 저장하기

val csv_data = sc.textFile("hdfs:///user/spark/names.csv")

csv_data.take(5)

csv파일을 데이터프레임으로 읽기

val df = spark.read.option("header", "true").csv("hdfs:///user/spark/names.csv")

df.show()

데이터프레임으로 저장하기

df.write.option("header","true").mode("overwrite").csv("hdfs:///user/spark/df")

3. json 파일 읽어오기 및 저장

val df1 = spark.read.json("file:///home/spark/names.json")

df1.show()

df1.write.json("hdfs:///user/spark/names.json")

Vagrant를 이용한 Hadoop과 Spark 설치

1. 설치환경 

virtualbox 설치된 상태

2. vagrant 다운로드 및 설치 : 다운로드 25분 정도 소요

wget https://raw.githubusercontent.com/spark-in-action/first-edition/master/spark-in-action-box.json

vagrant box add --name manning/spark-in-action spark-in-action-box.json

vagrant init manning/spark-in-action

3. 환경설정 파일 수정

nano Vagrantfile

-- 두개 수정 및 활성화

  config.vm.network "private_network", ip: "192.168.10.2"

  config.vm.network "public_network"

--

4. 가상환경 시작  

vagrant up 

# 나중에 virtualbox를 전원끄기 vagrant halt, 초기화시키고 싶으면 vagrant destroy 

# 모든 자료 없애기 vagrant box remove manning/spark-in-action  

5. 터미널 연결  

ssh spark@192.168.10.2

#password spark

로그인 하면 spark@spark-in-action으로 들어옴

6. 설치환경 확인

spark-submit --version

hadoop version

java -version

7. 사용자 하둡 운용환경 설정

nano .bashrc

--

## hadoop setup

export HADOOP_HOME=/opt/hadoop-2.7.2

export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native

--

source .bashrc

8. 하둡 시작

start-dfs.sh

start-yarn.sh

jps

hadoop fs -ls

hadoop fs -mkdir text

touch testfile0

echo >> testfile0 '안녕 안녕 나는 열심이 열심이 공부 공부 공부 사람'

hadoop fs -put testfile0 text

9. 하둡과 스파크 연동 준비

nano /opt/spark-2.0.0-bin-hadoop2.7/conf/spark-defaults.conf

--- master 를 local[*]을 yarn으로 변경

nano /opt/spark-2.0.0-bin-hadoop2.7/conf/spark-env.sh

---추가

export HADOOP_CONF_DIR=/opt/hadoop-2.7.2/etc/hadoop

---

# hdfs://localhost:9000/user/spark/text/test.txt파일의 경우 

---

10. 하둡과 스파크 연동

spark 클러스터 구동

$ start-master.sh

$ start-slaves.sh

$ jps  : 총 8개 프로세스 확인

---

3328 DataNode

3153 NameNode

4418 Worker

4467 Jps

3700 ResourceManager

3546 SecondaryNameNode

3853 NodeManager

4286 Master

---

이로서 스파크와 하둡 클러스터 연동 완료

11. 스파크에서 하둡파일 불러서 word count 하기

참고로 아래와 같이

### spark-shell scala wordcount

sc.textFile('text/test.txt').flatMap(_.split('\\W+')).map(w =>(w,1)).reduceByKey((a,b) =>(a+b)).foreach(println)

$ spark-shell 실행

--- 이후 scala 코드

var linesRDD = sc.textFile("hdfs://localhost:9000/user/spark/text/testfile0")

var wordsRDD = linesRDD.flatMap(_.split(" "))

var wordsKvRdd = wordsRDD.map((_, 1))

var wordCounts = wordsKvRdd.reduceByKey(_ + _ )

wordCounts.first

wordCounts.take(5)

# HDFS에 저장

wordCounts.saveAsTextFile("hdfs://localhost:9000/user/spark/text/word_counts")

### 

12. spark-sumit를 이용한 작업

spark-submit --master local /opt/spark-2.0.0-bin-hadoop2.7/examples/src/main/python/pi.py

hadoop standalone 환경설정

master

 1. core-site.xml

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://master:9000</value>

    </property>

</configuration>

2. hdfs-site.xml

<configuration>

    <property>

            <name>dfs.namenode.name.dir</name>

            <value>/home/hadoop/hdfsdata/namenode</value>

    </property>

    <property>

            <name>dfs.datanode.data.dir</name>

            <value>/home/hadoop/hdfsdata/datanode</value>

    </property>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

</configuration>

3. yarn-site.xml

<configuration>

    <property>

            <name>yarn.resourcemanager.hostname</name>

            <value>master</value>

    </property>

    <property>

            <name>yarn.nodemanager.aux-services</name>

            <value>mapreduce_shuffle</value>

    </property>

</configuration>

4. mapred-site.xml

configuration>

    <property>

            <name>mapreduce.framework.name</name>

            <value>yarn</value>

    </property>

</configuration>

5. workers

master

hadoop-3.3.1 standalone mode 설치하기

 1. 사용자 hadoop 생성

sudo 사용자 계정에서

$ sudo visudo

root 밑에 똑같은 권한 추가

 hadoop ALL=(ALL:ALL) ALL

저장

sudo adduser hadoop

su - hadoop

2. ssh 및 openssh-server 설치

sudo apt update

sudo apt install ssh

ssh localhost

sudo apt install openssh-server

3. java 설치

sudo apt install openjdk-8-jdk

java -version #확인결과 아래와 같이

-----------------

openjdk version "1.8.0_292"

OpenJDK Runtime Environment (build 1.8.0_292-8u292-b10-0ubuntu1~20.04-b10)

OpenJDK 64-Bit Server VM (build 25.292-b10, mixed mode)

-----------------

4. hadoop 다운로드

참조 : https://hadoop.apache.org/releases.html

바이너리 다운로드 사이트 참조

wget https://mirror.navercorp.com/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

tar xvzf hadoop-3.3.1.tar.gz

5. standalone mode 설치 

sudo apt install maven

sudo apt install git

git clone https://github.com/PacktPublishing/Apache-Hadoop-3-Quick-Start-Guide/ src/

mvn

Hive 3.1.2 운용 연습

 대부분 MySQL 명령어와 유사

1. 파일로 입력하기 

hdfs dfs -put names.txt text

> show databases;

> create database testdb;

> use testdb;

> CREATE EXTERNAL TABLE IF NOT EXISTS names(

EmployeeID INT, FirstName STRING, Title STRING, State STRING, Laptop STRING)

COMMENT 'Employee Names'

ROW FORMAT DELIMITED

FIELDS TERMINATED BY ','

STORED AS TEXTFILE

location '/user/bjyoo/text';

>select * from names;

지우기 

>drop table names;

>drop database testdb;

>exit;

Sqoop 1.4.7 설치

1. 다운로드

wget http://mirrors.estointernet.in/apache/sqoop/1.4.7/sqoop-1.4.7.tar.gz

tar -xvf sqoop-1.4.7.tar.gz

mv sqoop-1.4.7/ sqoop

2. bashrc 설정

export SQOOP_HOME=/home/stat/sqoop

export PATH=$PATH:$SQOOP_HOME/bin

3. sqoop-env.sh 환경설정

cd $SQOOP_HOME/conf

mv sqoop-env-template.sh sqoop-env.sh

nano sqoop-env.sh

hadoop 홈 path 설정 입력

-------

export HADOOP_COMMON_HOME=/home/stat/hadoop

export HADOOP_MAPRED_HOME=/home/stat/hadoop

-------

4. mysql connector 설치

wget http://www.mirrorservice.org/sites/ftp.mysql.com/Downloads/Connector-J/mysql-connector-java-8.0.25.tar.gz

tar -xvf mysql-connector-java-8.0.25.tar.gz

mv mysql-connector-java-8.0.15/mysql-connector-java-8.0.25.jar /$SQOOP_HOME/lib

5. 실행

sqoop -version

 

우분투에 스파크 spark 3.1.2 설치

참조 : https://computingforgeeks.com/how-to-install-apache-spark-on-ubuntu-debian/

1. 자바 설치

sudo apt install curl mlocate default-jdk -y

java -version

2. 아파치 스파크 다운로드

https://archive.apache.org/dist/spark/에서 버전확인

curl -O https://archive.apache.org/dist/spark/spark-3.1.1/spark-3.1.1-bin-hadoop3.2.tgz

tar -xvzf spark-3.1.1-bin-hadoop3.2.tgz

sudo mv spark-3.1.1-bin-hadoop3.2/ spark 

3. path 설정

nano .bashrc

----------

export SPARK_HOME=/home/stat/spark

export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

-----------

source ~/.bashrc

4. master server 작동

start-master.sh 

sudo ss -tunelp | grep 8080

5. Worker Process 작동

start-worker.sh spark://ubuntu:7077

sudo updatedb

locate start-worker.sh

* 웹페이지 확인 localhost:8080

6. python 쉘명령어 사용

pyspark

도움말 help()

종료 exit()

7. Spark shell 명령 사용

spark-shell

:help

:quit

8. 정지시 stop-worker.sh, stop-master.sh 순으로 정지 

하둡 3.2.1과 Mysql과 함께 Apache-hive-3.1.2 설치

 참조 : http://hive.apache.org , http://hisoftlab.com/4907

1. 아파치 홈페이지에서 다운로드 http://hive.apache.org

하둡 3.X 대는 Hive도 3.x대로 다운로드

2. 압축해제 및 설치

tar xvzf apache-hive-3.1.2-bin.tar.gz

mv apache-hive-3.1.2-bin/ hive

3. path 환경설정

nano .bashrc

------- 아래내용 입력

## Hive setup

export HIVE_HOME=/home/stat/hive

export PATH=$PATH:$HIVE_HOME/bin

--------

source .bashrc

4. hive-env.sh 환경설정 

cd $HIVE_HOME/conf

cp hive-env.sh.template hive-env.sh

nano hive-env.sh

--------아래

HADOOP_HOME=/home/stat/hadoop

----------

5. mysql connector 다운 및 설치

mysql jar 파일 다운로드

wget https://downloads.mysql.com/archives/get/p/3/file/mysql-connector-java-5.1.46.zip

unzip mysql-connector-java-5.1.46

cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar /usr/local/hive/lib

6. hive-site.xml 설정

nano hive-site.xml

-----

<?xml version="1.0" encoding="UTF-8" standalone="no"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <property>

        <name>hive.metastore.local</name>

        <value>true</value>

    </property>

    <property>

        <name>javax.jdo.option.ConnectionURL</name>

    <value>jdbc:mysql://localhost:3306/hive?allowPublicKeyRetrieval=true&amp;useSSL=false&amp;createDatabaseIfNotExist=true</value>

    </property>

    <property>

        <name>javax.jdo.option.ConnectionDriverName</name>

        <value>com.mysql.jdbc.Driver</value>

    </property>

    <property>

        <name>javax.jdo.option.ConnectionUserName</name>

        <value>mysql서버사용자id</value>

    </property>

    <property>

        <name>javax.jdo.option.ConnectionPassword</name>

        <value>mysql서버 사용자패스</value>

    </property>

</configuration>

-----------

## mysql 계정이 없으면 아래처럼 생성

mysql>create user '사용자id'@'localhost' identified by '사용자패스';

mysql>GRANT ALL PRIVILEGES ON *.* TO '사용자id'@'localhost';

flush privileges;

7. 디렉토리 생성

hdfs dfs -mkdir /tmp

hdfs dfs -mkdir /user

hdfs dfs -mkdir /user/hive

hdfs dfs -mkdir /user/hive/warehouse

hdfs dfs -chmod g+x /tmp

hdfs dfs -chmod g+x /user/hive

hdfs dfs -chmod g+x /user/hive/warehouse

8. schematool 띄우기

schematool -dbType mysql -initSchema

# 이미 실행해서 실패한 경우 mysql에서

drop database hive; 하고 시행해야 함

9. 하이브 실행

hive

10. 만약 아래와 같은 오류 발생시 조치

# hive error Exception in thread "main" java.lang.NoSuchMethodError

ls -al $HIVE_HOME/lib/guava-*

ls -al $HADOOP_HOME/share/hadoop/common/lib/guava-*

rm /home/stat/hive/lib/guava-19.0.jar

cp $HADOOP_HOME/share/hadoop/common/lib/guava-* $HIVE_HOME/lib/

우분투 20.04서버와 ssh-keygen을 사용하여 RSA key pairing으로 원격접속

1. 조건 : local 서버의 myid와 remote 서버의 myid가 같고 방화벽 port22 개방

2. /etc/hosts에 remote 서버의 ip주소와 hostname을 입력 설정

192.168.219.111 remote

3. ssh Key 생성

ssh-keygen -t rsa

scp ~/.ssh/id_rsa.pub myid@remote:id_rsa.pub1

4.접속 대상 myid@remote로 이동

cat ~/id_rsa.pub1 >> ~/.ssh/authorized_keys

5. 이제 내 서버에서 remote 서버로 접속 가능

ssh remote

Ubuntu 20.04환경과 Java-1.8.0 버전으로 Hadoop-3.3.0 cluster 2개 노드 설치 방법

참조 : https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html

https://linuxconfig.org/ubuntu-20-04-hadoop

2개 노드 구성 : 2개의 데이터노드

node1 : namenode, datanode, resourcemanager, nodemanagers

node2: secondary namenodes, datanode, nodemanagers

sudo apt update

1. 기본적으로 java 8버전은 Apache Hadoop 3.x 버전을 지원할 수 있음

sudo apt install openjdk-8-jdk -y

java -version; javac -version

#버전이 1.8.0_252

2. openssh 설치

sudo apt install ssh 

ssh localhost

sudo apt install openssh-server openssh-client -y

3. /etc/hosts 설정  

sudo nano /etc/hosts

--------------------

127.0.0.1 localhost

192.168.219.101 node1

192.168.219.102 node2

----------------------

필요시 hadoop 사용자 생성

sudo adduser hadoop

su -hadoop

* node1 사용자와 node2 사용자 계정이 동일해야함

4. 패스워드 없이 로그인 설정 : authorized_keys에 양쪽것 모두 추가

ssh-keygen -t rsa 

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys # 내 것 추가

scp ~/.ssh/id_rsa.pub ndoe2:

ssh node2 옮겨서 

cat ~/id_rsa.pub1 >> ~/.ssh/authorized_keys # 상대것 추가

* node2 것을 node1에도 추가하고, 자신 것도 추가

5. 하둡 설치

참조 : https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html

# https://hadoop.apache.org/releases.html 접속 버전확인

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz

tar xvzf hadoop-3.3.0.tar.gz

mv hadoop-3.3.0 hadoop

nano .bashrc

----- 아래 환경설정  입력

#java home setup

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

export PATH=$PATH:$JAVA_HOME/bin

#Hadoop Related Options

export HADOOP_HOME=/home/hadoop/hadoop

export HADOOP_INSTALL=$HADOOP_HOME

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

----------------------

source ~/.bashrc

6. hadoop-env.sh 환경설정 

nano hadoop/etc/hadoop/hadoop-env.sh

---------------위의 파일 들어가서 아래 주석부분 밑에 자바 홈 활성화

# The java implementation to use. By default, this environment

# variable is REQUIRED on ALL platforms except OS X!

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

-----------------

# 하둡과 자바 설정 확인

hadoop version

java -version

7. core-site.xml 파일 수정

nano hadoop/etc/hadoop/core-site.xml

------------- 아래 내용 입력

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://node1:9000</value>

    </property>

</configuration>

8.  hdfs-site.xml 파일 수정

nano hadoop/etc/hadoop/hdfs-site.xml

---------# 아래내용

<configuration>

    <property>

            <name>dfs.namenode.name.dir</name>

            <value>/home/hadoop/hdfsdata/nameNode</value>

    </property>

    <property>

            <name>dfs.datanode.data.dir</name>

            <value>/home/hadoop/hdfsdata/dataNode</value>

    </property>

    <property>

        <name>dfs.replication</name>

        <value>2</value>

    </property>

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>node2:50090</value>

    </property>

</configuration>

--------------------

9. yarn-site.xml 파일 수정

nano hadoop/etc/hadoop/yarn-site.xml

----------------#

<configuration>

    <property>

            <name>yarn.resourcemanager.hostname</name>

            <value>node1</value>

    </property>

    <property>

            <name>yarn.nodemanager.aux-services</name>

            <value>mapreduce_shuffle</value>

    </property>

</configuration>

---------------

 10. mapred-site.xml 파일 수정

nano hadoop/etc/hadoop/mapred-site.xml

-------------#

<configuration>

    <property>

            <name>mapreduce.framework.name</name>

            <value>yarn</value>

    </property>

</configuration>

----------------

11. workers 설정

nano hadoop/etc/hadoop/workers

node1

node2

## node1에서 node2로 설정파일 일괄적으로 보내기

rsync -avzh ~/hadoop/etc/hadoop/* node2:/home/hadoop/hadoop/etc/hadoop/

또는 

scp ~/hadoop/etc/hadoop/* node2:/home/hadoop/hadoop/etc/hadoop/

12.  HDFS NameNode 포맷/ Start Hadoop Cluster

hdfs namenode -format

start-dfs.sh

start-yarn.sh

jps # 자바 프로세스 5개 확인

또는 start-all.sh로 동시실행  

node1에서 jps 명령 입력하면 5개 프로세스 확인

--------------

 10289 ResourceManager

10452 NodeManager

10838 Jps

10010 DataNode

9852 NameNode

--------------

ssh node2에서 jps 명령입력시 4개 프로세스 확인

----------

5648 DataNode

6372 Jps

5959 NodeManager

5817 SecondaryNameNode

------------

13. 실행상태 확인 

hdfs dfsadmin -report로 확인 가능하고

브라우저는 아래로 확인 

node1:9870 # hadoop name node

node2:9864 # DataNodes

node1:8088 #  YARN Resource Manager

* 필요시 namenode 리프레쉬 명령

hadoop dfsadmin -refreshNodes

14. 혹시 설정 변경 후 다시 시행하려면 namenode 포맷 전에 node1과 node2에서 기존 자료 삭제

rm -rf  hdfsdata

hdfs namenode -format

 15. 필요시 실행 정지 일괄은 stop-all.sh

구분은 stop-yarn.sh, stop-dfs.sh 순으로

 16. 기타 명령어 데이터 디렉토리 생성 및 입력

hdfs dfs -mkdir /user

hdfs dfs -mkdir /user/your-id

hdfs dfs -mkdir text

wget http://167.179.112.24/blog/wp-content/uploads/2021/06/names.csv

hdfs dfs -put *.csv text

hdfs dfs -ls text 

hdfs dfsadmin -report

재미있는 통계 무료 프로그램 Orange

 홈페이지 : https://orangedatamining.com/

python 설치프로그램 pip3로 설치 가능

설치 pip3 install orange3

실행 python3 -m Orange.canvas

사용법: 아주 간단하게 쓸수 있음 

유튜브 내용 확인  : https://www.youtube.com/channel/UClKKWBe2SCAEyv7ZNGhIe4g

jamovi 통계 프로그램 설치

 통계 무료프로그램 jamovi 홈페이지 : https://www.jamovi.org/

1.설치를 위해 Flatpak을 먼저 설치

 sudo apt install flatpak

 sudo apt install gnome-software-plugin-flatpak

 flatpak remote-add --if-not-exists flathub https://flathub.org/repo/flathub.flatpakrepo

 2. 재부팅

 sudo reboot

 

3. jamovi 설치

 flatpak install flathub org.jamovi.jamovi

4. jamovi 실행

 flatpak run org.jamovi.jamovi

Hadoop 설치와 운용 : VirtualBox환경에서 우분투 16.04 두개를 이용해서 설치

 1. 설치 환경 : Virtualbox 6.1, Ubutu 16.04, hadoop 2.6.5, JAVA jdk1.8

가장먼저 내 Virtualbox에 하나의 Ubuntu 16.04 OS를 설치하여, java jdk1.8을 설치해주고, hadoop 2.6.5를 설치해주고, 환경설정과 ssh 키 생성까지 완료한다.

그리고 이 pc를 virtualbox에서 복제해서 하나의 pc를 더준비하고 ssh-copy-id로 공유환경설정 후 하둡환경을 설정한다.

기본적으로 두개의 서버를 활용하는 개념으로 구성하였으며 설치전략은 doop1 서버에는 NN, DN, RM, NM를 운용하고 doop2 서버에는 DN, NM, SNN를 운용하는 개념으로 준비한다.

이후 start-all.sh 실행시킨 후 여러 가지 모니터링 방법을 확인한다.  

2. 내 pc에 필요한 설치파일 다운로드 

가. https://releases.ubuntu.com/16.04/ :

ubuntu os ubuntu-16.04.7-desktop-amd64.iso 다운로드

나. https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html :

oracle jdk 1.8 찾아서 jdk-8u291-linux-x64.tar.gz 다운로드

다. http://archive.apache.org/dist/ : 

archive.apache.org 에서 common에서 hadoop2.6.5.tar.gz 다운로드

라. 가상머신에서 우분투 서버나 pc가 준비되면 scp를 이용해 아래와 같이 전송해준다. 

scp jdk-8u291-linux-x64.tar.gz hdc@192.168.219.111:downloads

scp hadoop-2.6.5.tar.gz hdc@192.168.219.111:downloads

3. VirtualBox에 하나의 Ubuntu PC 준비

가. 우분투 설치

가상 우분투 PC 설치 환경 : 메모리 1536정도, vmdk 선택, 용량 20G정도,  

설치후 storage IDE 우분투 데스크탑 iso 연결, 네트워크 어뎁처브리지 선택

OS 설치간에 이름 doop1, id hdc 로 설정 설치완료 후 

sudo passwd 설정

ifconfig # 네트워크 주소 확인

ufw disable # 방화벽 제거

apt install wget 

apt install openssh-server # ssh 통신가능토록 설치

visudo에서 hdc를 root 사용자와 동일 권한 부여 설정 및 저장

hdc   ALL=(ALL:ALL) ALL

ping 192.168.219.104 # 확인후 ctrl+c 

설치할 java hadoop 파일 가져오기 : 내 pc 터미널에서 

scp jdk-8u291-linux-x64.tar.gz hdc@192.168.219.111:downloads

scp hadoop-2.6.5.tar.gz hdc@192.168.219.111:downloads

나. java 설치

sudo apt install openjdk-8-jdk -y

java -version

다. hadoop 설치 hdc 계정에서 

cd /usr/local

tar -xvf /home/hdc/downloads/hadoop-2.6.5.tar.gz

ln -s hadoop-2.6.5 hadoop

chown -R hdc:hdc hadoop*

cd

라. 환경설정

nano .bashrc ##for examples 밑에 추가

-----------

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_291

export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

--------

source .bashrc

java -version

hadoop version

su - hdc 

나와서 동일하게 .bashrc 설정

마. 인증키 생성 

ssh-keygen -t rsa -P ""

ll .ssh

4. 복제 ubuntu pc 준비

가. virtualBox에서 우측마우스로 복제, 이름 doop2, 모든 네트워크 어뎁터의 새 MAC 주소 생성 선택, 완전한 복제

ifconfig # 네트워크 새주소 확인

hostnamectl set-hostname doop2

sudo su  # host 변경확인가능

nano /etc/hosts  # localhost 밑에 doop1, doop2 추가

-----

127.0.0.1 localhost

192.168.219.111 doop1

192.168.219.112 doop2

------

reboot # 재부팅하여 화면 최소화 내려놓기

## doop1 pc도 nano /etc/hosts 파일 수정

나. 두개의 pc를 모두 가동시킨 상태에서 내 피시 터미널로 doop1 작업

ssh hdc@192.168.219.111

ssh-copy-id -i $HOME/.ssh/id_rsa.pub hdc@doop2

자체 인증 설정

cat $HOME/.ssh/id_rsa.pub>>$HOME/.ssh/authorized_keys

ssh doop1 등으로 로그인 가능

다. hadoop 환경 설정

cd /usr/local/hadoop/etc/hadoop

설치전략 doop1번 : NN, DN, RM, NM

doop2번 : DN, NM(노드매니저),SNN(세컨드내임노드)

해당파일 설정시 아래의 property들을 <configuration></configuration> 사이에 붙여넣는다.

설정1 : nano core-site.xml

-----------

<property>

<name>fs.defaultFS</name>

<value>hdfs://doop1:9000</value>

</property>

-------

설정 2:

mv mapred-site.xml.template mapred-site.xml

nano mapred-site.xml

-----------

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

---------

설정3:

nano hdfs-site.xml

-----

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>/abc/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/abc/data</value>

<final>true</final>

</property>

<property>

<name>dfs.namenode.http-address</name>

<value>doop1:50070</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>doop2:50090</value>

</property>

-------------

설정4:

nano yarn-site.xml

--------------------

<property>

<name>yarn.resourcemanager.address</name>

<value>doop1:9001</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>doop1:8031</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.pmem-check-enabled</name>

<value>false</value>

</property>

<property>

<name>yarn.nodemanager.vmem-check-enabled</name>

<value>false</value>

</property>

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

<property>

<name>yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds</name>

<value>3600</value>

</property>

----------

설정5:

nano slaves

-----------

doop1

doop2

----------

설정6:

nano hadoop-env.sh # 변경없음

라. doop2에게 보내주고 설정하기

scp core-site.xml hdc@doop2:/usr/local/hadoop/etc/hadoop

scp mapred-site.xml hdc@doop2:/usr/local/hadoop/etc/hadoop

scp hdfs-site.xml hdc@doop2:/usr/local/hadoop/etc/hadoop

scp yarn-site.xml hdc@doop2:/usr/local/hadoop/etc/hadoop

scp slaves hdc@doop2:/usr/local/hadoop/etc/hadoop

마. 데이터 폴더 준비하기

sudo mkdir /abc

sudo chown -R hdc:hdc /abc

바. doop2 설정확인 및 조정

ssh doop2로 이동해서

설정변경 1: 

nano hdfs-site.xml 수정

두번째 property namenode 관련 제거

세번째 datanode에는 value에서 data2로 

dfs.namenode.checkpoint.period 축가 

------------

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/abc/data2</value>

<final>true</final>

</property>

<property>

<name>dfs.namenode.http-address</name>

<value>doop1:50070</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>doop2:50090</value>

</property>

<property>

<name>dfs.namenode.checkpoint.period</name>

<value>600</value>

</property>

---------------------

설정변경 2:

home에 abc 폴더 생성

sudo mkdir /abc

sudo chown -R hdc:hdc /abc

사 . 이제 모든 것에서 logout

doop1 home에서

hdfs namenode -format   ##한번만 

ls -all /abc #확인

ll /abc/name/current/

버전확인

cat /abc/name/current/VERSION 

5. 시작 및 모니터 

start-all.sh

이것을 실행시키면 start-dfs.sh, start-yarn.sh>(hadoop-daemon.sh start nn/dn/snn & yarn-daemon.sh start rm/nm)

jps #프로세스확인(5개 작동중)

ssh doop2 # doop2에서 확인

jps (4개 프로세스)

ls -all /abc/data2/current/  #data2 확인가능

hdfs -h 명령어 옵션확인

hdfs dfsadmin

hdfs dfsadmin -report

브라우저 확인 : http://doop1:50070

resourcemanager확인 : http://doop1:8088

우분투에 한글 latex 설치 방법

 ktug에서 제시하는 방법으로 사용해왔었는데 그냥 우분투에서 제공하는 texlive 라이비브러리로도 가능한 것을 확인하였다.

다만 용량을 많이 차지할 뿐이다.

가. 설치하기

$ sudo apt-get update

$ sudo apt-get install texlive-full

# 만약 라이브러리 설치안되면 아래 repository 추가후 설치

 $ sudo add-apt-repository ppa:texlive-backports/ppa

나. 확인 

$ nano a.tex

----- 아래 입력 및 저장

documentclass{article}

\usepackage{kotex}

\usepackage{lmodern}

\title{한글 test}

\begin{document}

\maketitle

한글 문서 작성을 해보자.

\end{document}

---------------- 저장 후

$ pdflatex a.tex

하면 폴더에 a.pdf 파일 컴파일 된 것 확인 가능 

다. 에디터 texstudio 설치

$ sudo apt-get install texstudio

$ texstudio   

위에있는 파일 불러들여서 화살표두개로 실행 시 결과 확인 가능 

우분투 18.04에서 python 3.6에서 3.7로 업그레이드 방법

sudo apt update

sudo apt-get install python3.7

ls -lh /usr/bin/python* # 으로 현재 설정 확인

sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.6 1

sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.7 2

sudo update-alternatives --config python3  #2입력

sudo rm /usr/bin/python3

sudo ln -s python3.7 /usr/bin/python3

python3 -V

## ls -lh /usr/bin/python* 으로 확하여 불필요한 것 지우기

## CommandNotFound.db.creator import DbCreator 에러 발생시 

sudo apt-get remove --purge python3-apt

sudo apt autoremove 

sudo apt-get install python3-apt