windows에 kafka 설치하기

0. 요약

• 저의 설치 환경: Windows 11

1) windows 설치를 위한 kafka 다운로드 받습니다.

2) kafka 폴더에는 zookeeper, kafka 실행을 위한 bat형식의 배치파일과 zookeeper, kafka config파일이 들어 있습니다.

3) zookeeper와 kafka를 실행 bat파일을 config파일을 이용하여 실행시키면 됩니다.

4) 실행 순서는 zookeeper -> kafka 실행 순으로 합니다.

5) zookeeper는 (port: 2181)로, kafka는 (port: 9092)로 띄워집니다.

6) 마지막으로 kafka topic도 생성해봅니다.

 

1. kafka 다운로드 받기: https://kafka.apache.org

(저의 설치 환경: Windows 11 - 저는 kafka 2.8.0으로 설치해야 오류없이 무난하게 설치되었습니다.)

Apache Kafka

 

 

다운로드 받은 kafka_2.13-2.8.0.taz 파일을 압축해제 해줍니다.

압축 해제하면 아래와 같이 tar확장자의 파일이 나옵니다.

한번 더 압축을 해제하면 아래와 같이 폴더가 나옵니다.

 

2. kafka 파일 구성 확인하기

kafka_2.13-2.8.0 폴더 안의 구성은 아래와 같이 되어 있습니다.

우리가 필요한 건 bin, config폴더 입니다.

1) {kafka 폴더}/bin/windows: zookeeper, kafka 실행 bat파일 들어있습니다.

2) {kafka 폴더}/config: zookeeper, kafka config파일 들어있습니다.

 

1) kafka_2.13-2.8.0/bin/windows 안에는 아래와 같이 zookeeper와 kafka를 start, stop 시킬 수 있는 파일들이 들어 있습니다.

 

2) kafka_2.13-2.8.0/config 안에는 아래와 같이 zookeeper와 kafka의 properties정보를 담고 있는 config파일들이 들어 있습니다.

 

3. zookeeper, kafka 실행시키기

kafka_2.13-2.8.0 폴더 위치에서 cmd창을 띄워줍니다.

 

1) zookeeper 실행하기

# zookeeper 실행 명령어
bin\windows\zookeeper-server-start.bat config\zookeeper.properties

- zookeeper 실행 결과 -

- zookeeper가 정상적으로 실행되었는지 port확인 -

새로운 cmd창을 띄운 뒤 아래 명령어를 이용하여 port를 조회합니다.

(cmd창 실행위치는 kafka폴더가 아니어도 됩니다. cmd창만 실행시키면 됩니다.)

# windows에서 2181포트가 실행되었는지 확인
netstat -na | findstr "2181"

 

2. kafka 실행하기

다시 kafka_2.13-2.8.0 폴더 위치에서 새로운 cmd창을 띄워줍니다.

# kafka 실행 명령어
bin\windows\kafka-server-start.bat config\server.properties

 

- kafka 실행 결과 -

 

- kafka가 정상적으로 실행되었는지 port확인 -

새로운 cmd창을 띄운 뒤 아래 명령어를 이용하여 port를 조회합니다.

(cmd창 실행위치는 kafka폴더가 아니어도 됩니다. cmd창만 실행시키면 됩니다.)

# windows에서 9092포트가 실행되었는지 확인
netstat -na | findstr "9092"

 

!! 만약 실행 도중 오류가 발생한다면?

zookeeper, kafka를 실행시키면 C:\tmp 위치에 로그 정보가 생성됩니다.

만약 이전에 설치되었던 정보가 있거나 띄울때 오류가 날 경우 tmp폴더를 제거하고 zookeeper와 kafka를 다시 실행시키면 정상 동작합니다.

 

이 방법으로도 오류가 계속 발생한다면 다른 버전들을 설치해보시기를 권장합니다.

처음 가장 최근의 버전을 설치했더니 오류가 발생하여 여러 버전들을 설치하면서 테스트 했는데 저의 경우는 2.8.0버전이 오류없이 정상 동작하였습니다.

 

3. kafka topic 생성하기

# kafka topic 생성하기
# bin\windows\kafka-topics.bat --create --bootstrap-server 카프카 접속주소:카프카 포트 --topic 카프카 토픽이름
ex)
bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092 --topic dev-topic

# kafka topic 생성확인
# bin\windows\kafka-topics.bat --list --bootstrap-server 카프카 접속주소:카프카 포트
ex)
bin\windows\kafka-topics.bat --list --bootstrap-server localhost:9092

 

kafka topic이 생성되면 C:\tmp\kafka-logs 위치에도 topic의 폴더가 생성됩니다.