[Apache Kafka] 카프카 Window 설치 & 테스트

• 안녕하세요~ 이전에 운영하던 블로그 및 GitHub, 공부 내용을 정리하는 Study-GitHub 가 있습니다!

• 네이버 블로그

• GitHub

• Study-GitHub

• 🐔

---

✔ Kafka/카프카 윈도우 설치 & 테스트 하기

안녕하세요~ 이번 시간에는 윈도우에서 카프카를 설치하고 실행해서 간단하게 테스트를 진행해보겠습니다.

 

 

• 카프카란 ?

실시간으로 기록 스트림을 게시, 구독, 저장 및 처리할 수 있는 분산 데이터 스트리밍 플랫폼입니다.  여러 소스에서 데이터 스트림을 처리하고 여러 사용자에게 전달하도록 설계되었습니다. 즉, 간단히 말하자면 A지점 -> B지점 이동하는 것뿐만 아니라 A지점 -> Z지점을 비롯해 필요한 모든 곳에서 대규모 데이터를 동시에 이동할 수 있습니다. Apache Kafka는 전통적인 엔터프라이즈 메시징 시스템의 대안입니다. 하루에 1조4천억 건의 메시지를 처리하기 위해 LinkedIn이 개발한 내부 시스템으로 시작했으나, 현재 이는 다양한 기업의 요구사항을 지원하는 애플리케이션을 갖춘 오픈소스 데이터 스트리밍 솔루션이 되었습니다. 보다 자세한 내용은 다음 사이트를 참고해주세요! www.redhat.com/ko/topics/integration/what-is-apache-kafka Kafka 이해하기 Kafka 조금 아는 척 하기 1 (영상) team-platform.tistory.com/11

 

 

✔ 아래 사이트를 접속합니다.

 

kafka.apache.org/downloads

Apache Kafka

 

 

 

 

✔ 현재 카프카의 최신 버전은 2.7.0 버전인데요, 저는 2.6.1 버전을 다운받도록 하겠습니다!

아래 보이는 .tzg 파일을 다운받습니다.

(최신 버전을 다운 받더라도 동일하게 작업하시면 될 듯 합니다.)

(또한 Scala의 버전에 따라 나누어지는데, 스칼라를 사용하지 않으면 아무 버전이나 상관없는 듯 합니다..)

 

 

 

 

✔ 위에서 다운받은 .tgz 압축 파일을 해제합니다.

 

 

 

✔ Kafka의 동작은 Zookeeper와 함께 작동하기 때문에 Zookeeper 없이는 Kafka를 구동할 수 없습니다.

따라서 Zookeper을 먼저 구동해주도록 합니다.

※ 반드시 Zookeeper 서버를 먼저 구동해야 합니다.

(저는 cmd창이 아닌 PowerShell 에서 작업을 진행하겠습니다.)

 

 

• 아래 명령어를 실행합니다.

* bin 폴더로 들어가시지 말고 kafka 경로에서 바로 실행하시면 됩니다.

 

bin\windows\zookeeper-server-start.bat config\zookeeper.properties 

 

+ 혹시나 아래와 같은 문구가 나오면 카프카의 폴더를 다른 곳에 지정하셔서 경로를 짧게 해주세요!!

 

 

 

 

✔ 위 과정을 통해 Zookeeper이 구동 되었으면 이제 Kafka를 구동합니다.

    • PowerShell을 하나 더 열고 카프카 서버를 실행합니다.

    * bin 폴더로 들어가시지 말고 kafka 경로에서 바로 실행하시면 됩니다.

bin\windows\kafka-server-start.bat config\server.properties

엄청나게 많은 로그가 찍힐텐데요, 위와 같이 started 라는 로그가 찍히면 정상적으로 카프카 서버가 실행되었습니다.

 

 

 

 

✔ Windows PowerShell 을 하나 더 실행해 netstat -a 명령어를 통해 포트를 확인합니다.

   • 주키퍼의 default 포트는 2181이고, 카프카의 default 포트는 9092 입니다.

 

 

 

 

✔ Kafka 테스트 하기

위와 같이 Zookeeper 와 Kafka 서버가 구동되었으면, 간단하게 테스트를 진행해보겠습니다.

PowerShell을 하나 더 열고 Kafka 설치 경로 > \bin\windows 로 이동합니다.

(현재까지 실행 한 PowerShell은 Zookeeper 서버, Kafka 서버, 포트 확인, 테스트 로 총 4개의 쉘을 실행했습니다.)

 

 

 

 

• 카프카 브로커(broker)에 토픽(topic) 생성하기

.\kafka-topics.bat --create --bootstrap-server localhost:9092 --topic test  

    • create 옵션으로 test라는 토픽을 생성하고, bootstrap-server 옵션으로 카프카 서버인 9092 포트에 연결

 

 

• 생성된 토픽 확인

.\kafka-topics.bat --list --bootstrap-server localhost:9092

 

 

 

• 프로듀서(producer)를 실행하여 토픽(test)에 메시지 보내기(push)

.\kafka-console-producer.bat  --broker-list  localhost:9092 --topic test

    • > 모양이 나타나면 보낼 메시지를 입력하시면 됩니다. (저는 중간에 종료해서 두 번의 메시지를 작성했습니다!)

 

 

 

 

• 컨슈머(consumer)를 실행해서 토픽(test)에서 메세지를 가져오기(pull)

.\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

 

 

또한 프로듀서를 통해 메시지를 계속 보낼경우(push), 컨슈머가 메시지를 받아옵니다(pull)

 

 

 

• Kafka의 구조는 다음과 같습니다.

https://programmers.co.kr/learn/courses/11186

 

 

 

--from-beginning 명령어는 기존에 입력한 메시지를 가져올지 안가져올지를 설정하는 명령어입니다.

 

 

 

 

 

 

 

 

✔ References

cookiethecat2020.blogspot.com/2020/03/blog-post_14.html