[Java] - Jsoup을 이용한 크롤링(feat. 인프런)

• 안녕하세요~ 이전에 운영하던 블로그 및 GitHub, 공부 내용을 정리하는 Study-GitHub 가 있습니다!

• 네이버 블로그

• GitHub

• Study-GitHub

• 🐔

---

 

📎 Jsoup을 이용한 크롤링

 

안녕하세요! 이번에 정리할 내용은 Java에서 Jsoup을 이용해 크롤링 하는 방법입니다.

 

현재 진행중인(?) 사이드 프로젝트에서 인프런 사이트의 강의 데이터들이 필요해서 크롤링을 해야 했는데요,

예전에 해본 Python으로 크롤링을 할 지, 아니면 익숙한 Java로 할 지 고민하다가 결국엔 Java로 하게 되었습니다.

 

사이트에 접속한 뒤 태그를 통해 데이터를 가져오는 전체적인 맥락은 Python과 비슷하기 때문에 큰 어려움없이 진행할 수 있었는데요,

인프런 사이트에서 필요한 데이터를 가공 & 크롤링 하는 과정을 정리해보도록 하겠습니다 !

 

 

 

 

📎 필요한 데이터

정확하지는 않지만 프로젝트에 필요한 데이터는 다음과 같습니다.

• 썸네일 링크
• 강의 제목
• 가격(+할인 가격)
• 평점
• 강의자
• 강의 링크
• 수강자 수
• 강의 세션 개수
• 강의 부가설명
• 강의 스킬 & 스택

 

필요한 데이터가 꽤 많은데요... 😂 이 때문에 꽤 애먹기도 했습니다... 😂😂

위 데이터들은 가져올 수 있는 방법이 전부 동일하지는 않기 때문에 하나하나 확인해가며 데이터를 가져와야 합니다.

 

특정 데이터는 아래 사이트에서 바로 가져올 수 있는 반면, 특정 데이터는 사이트를 타고 들어가야 가져올 수 있는 데이터도 존재합니다.

 

코드를 통해 어떠한 방식으로 데이터를 크롤링하는지 살펴보겠습니다.

 

 

 

 

 

📎 코드

먼저 자바에서 크롤링을 하기 위해 Jsoup 라이브러리가 필요합니다.

 

 

저는 Maven 기반으로 개발을 진행했기 때문에 pom.xml 에 jsoup 라이브러리를 추가합니다.

 

 

final String inflearnUrl = "https://www.inflearn.com/courses/it-programming
Connection conn = Jsoup.connect(inflearnUrl);
Document document = conn.get();

크롤링을 하기 위해 필요한 URL 주소 및 Jsoup 객체들을 선언합니다.

 

 

 

 

🎯 썸네일 링크

이제 인프런 사이트에서 개발자 도구를 통해 필요한 데이터의 태그를 확인한 후 가져와보도록 하겠습니다.

F12 를 누른 후 상단의 마우스 표시를 클릭한 후 강의 사진을 클릭하면 우측과 같이 요소들이 나오는데요,

그 중 class="swiper-lazy" 의 태그를 통해 썸네일 링크를 가져올 수 있습니다.

  ※ 위와 같이 class="swpier-lazy" 로 데이터를 가져올 경우, 해당 페이지의 모든 썸네일 링크를 전부 가져옵니다.

 

그럼 위 태그를 통해 현재 페이지(www.inflearn.com/courses/it-programming) 의 썸네일 링크를 모두 가져와보도록 하겠습니다.

 

 

import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;

public class Crawling {

    public static void main(String[] args) {
        final String inflearnUrl = "https://www.inflearn.com/courses/it-programming";
        Connection conn = Jsoup.connect(inflearnUrl);

        try {
            Document document = conn.get();
            Elements imageUrlElements = document.getElementsByClass("swiper-lazy");

            for (Element element : imageUrlElements) {
                System.out.println(element);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

document의 getElementsByClass 메서드를 통해 class가 "swiper-lazy" 인 데이터를 모두 가져오는 코드입니다.

복수의 데이터이기 때문에 Elements(복수형) 요소로 가져온 뒤, 각 요소에 접근하기 위해 for문을 반복하며 출력합니다.

 

 

음 뭔가 모두 가져오긴 한 것 같은데.. 불필요한 요소가 정말 많네요~

 

 

가장 위의 src 링크를 클릭하면 위와 같이 썸네일 링크가 출력이 되는데요, 하지만 저희가 필요한건 위와 같은 전체 html 태그가 아닌 

썸네일 링크 만 필요합니다.

 

따라서 해당 태그를 가공해줄 필요가 있습니다.

            for (Element element : imageUrlElements) {
                System.out.println(element.attr("abs:src");
            }

위와 같이 element의 attr메서드를 통해 필요한 부분(src:) 만 가져올 수 있습니다.

 

위와 같이 for문을 수정하고 다시 출력해보면 필요한 부분만 가져올 수 있습니다.

자 이제 필요한 데이터 중 하나 가져왔네요.. ㅎㅎ

갈길이 멀기 때문에 다른 데이터들도 빠르게 가져와보도록 하겠습니다 !

 

 

🎯 강의 제목

 

강의도 썸네일과 비슷한데요, 강의를 찍어보면 다음과 같이 2개의 class로 묶여있습니다.

<div class="card-content">

    <div class="course_title">

 

위 태그는 "card-content" > "course_title" 와 같이 하위로 묶여있는 형태인데요, 이 데이터는 강의와는 조금 다르게 select 메서드를 통해 가져와보도록 하겠습니다.

(왜 그렇게 가져왔는지는 저도 잘 몰라요 ㅎㅎ 아마 다른 방법이 안되어서 저렇게 가져왔던 것 같습니다 __ )

 

 

 

코드의 윗 부분과 아랫 부분은 썸네일 코드와 동일하기 때문에 생략하겠습니다 :)

            Elements titleElements = document.select("div.card-content > div.course_title");
            for (int j = 0; j < titleElements.size(); j++) {
                final String title = titleElements.get(j).text();
                System.out.println("강의 제목: " + title);
            }

위와 같이 document 의 select 메서드를 통해 div.card-content 하위(>) 의 div.course_title 를 가져옵니다.

 

 

😃좋습니다. 현재 사이트에 존재하는 강의 제목들을 모두 가져왔습니다.😃

 

 

 

 

🎯 가격 + 할인 가격

인프런 사이트에서 가격의 경우 일반 가격과 할인 가격 두 가지의 유형이 존재하는데요, 여기서도 트릭이 존재하니 유의해야 합니다.

 

먼저 위와 같이 할인 가격이 없는 경우가 존재합니다. 

 

 

 

또한 가격이 존재하지 않는 무료 라는 글씨도 존재합니다.

 

즉, 가격의 경우 다음과 같은 세 가지의 케이스가 존재합니다.

• 일반 가격만 존재하는 경우
• 일반 가격, 할인 가격 모두 존재하는 경우
• 가격이 없는 경우(무료)

따라서 위의 데이터에 유의해서 크롤링을 해야합니다.

(저는 가격이 없는 경우는 0 으로 표시하기로 약속을 했습니다.)

 

 

 

가격을 가져오는 class의 태그는 "price" 입니다.

 

 

먼저 가격, 할인 가격을 가져오는 전체 코드는 다음과 같습니다.

    public static void main(String[] args) {
        final String inflearnUrl = "https://www.inflearn.com/courses/it-programming";
        Connection conn = Jsoup.connect(inflearnUrl);

        try {
            Document document = conn.get();
            Elements priceElements = document.getElementsByClass("price");

            for (int j = 0; j < priceElements.size(); j++) {
                final String price = priceElements.get(j).text();
                final String realPrice = getRealPrice(price);
                final String salePrice = getSalePrice(price);

                final int realIntPrice = toInt(removeNotNumeric(realPrice));
                final int saleIntPrice = toInt(removeNotNumeric(salePrice));

                System.out.println("가격: " + realIntPrice);
                System.out.println("할인 가격: " + saleIntPrice);
            }

        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    private static String getRealPrice(final String price) {
        final String[] pricesArray = price.split(" ");
        return pricesArray[0];
    }

    private static String getSalePrice(final String price) {
        final String[] pricesArray = price.split(" ");
        return (pricesArray.length == 1) ? price : pricesArray[1];
    }

    private static String removeNotNumeric(final String str) {
        return str.replaceAll("\\W", "");
    }

    private static int toInt(final String str) {
        return Integer.parseInt(str);
    }

 

final String price = priceElements.get(j).text(); 의 코드를 통해 가격을 가져오게 됩니다.

 

만약 할인 가격이 존재하면, 공백을 기준으로 두 개의 데이터를 가져오고, 그렇지 않다면 한 개의 데이터만 가져옵니다.

 

따라서 getRealPrice() 메서드와 getSalePrice() 메서드를 통해 일반 가격 / 할인 가격을 가져오고,

removeNotNumeric() 메서드를 통해 숫자가 아닌 데이터는 제거합니다.

 

위 코드를 출력하면 다음과 같습니다.

 

 

 

 

 

🎯 강의 링크

다른 데이터보다 강의 링크의 데이터를 먼저 가져와야 강의 링크에서 데이터를 얻을 수 있습니다.

따라서 강의 링크 데이터를 먼저 크롤링 해보도록 하겠습니다.

 

강의 링크는 a태그의 course_card_front 값으로 가져올 수 있습니다.

 

 

            Elements linkElements = document.select("a.course_card_front");

            for (int j = 0; j < linkElements.size(); j++) {
                final String url = linkElements.get(j).attr("abs:href");
            }

강의 링크 또한 썸네일 링크와 비슷하게 html 태그가 전부 포함되어 있습니다.

따라서 attr("abs:href") 를 통해 필요한 데이터만 뽑아오도록 합니다.

 

 

출력해보면 위와 같이 정상적으로 링크 데이터를 뽑아올 수 있습니다.

 

 

 

 

🎯 평점

다음으론 평점입니다.

 

평점은 해당 강의를 들어가야 확인할 수 있습니다.

따라서 크롤링을 하며 인프런 사이트를 방문할 때, 한 번 더 내부로 들어가야 합니다.

위에서 뽑은 강의 링크 데이터를 통해 강의 내부로 들어갑니다.

/* 강의 링크 내부 */
Connection innerConn = Jsoup.connect(url);
Document innerDocument = innerConn.get();

 

 

 

 

위와 같이 강의를 클릭해서 들어가면 <div class="dashboard-star__num"> 의 태그로 평점을 가져올 수 있습니다.

 

 

평점을 가져오는 코드는 다음과 같습니다.

/* 평점 */
Element ratingElement = innerDocument.selectFirst("div.dashboard-star__num");
final float rating = Objects.isNull(ratingElement)
    ? toFloat("0")
    : toFloat(ratingElement.text());
System.out.println("평점: " + rating);



private static float toFloat(final String str) {
    return Float.parseFloat(str);
}

평점 또한 약간의 트릭이 존재하는데요, 모든 강의가 위와 같이 평점이 존재하지는 않습니다.

따라서 평점이 없는 데이터의 경우 NullPointerException 예외가 발생하기 때문에, Objects.isNull() 메서드를 통해 필터링을 진행합니다.

 

출력해보면 평점이 없는 경우 0.0 으로 출력이 되고, 그 외의 데이터는 모두 평점이 출력됩니다.

 

 

 

 

🎯 강의자, 강의 부가설명, 기술 스택

강의자, 부가설명, 기술 스택은 모두 인프런 첫 사이트에서 데이터를 뽑아낼 수 있으므로 같이 정리를 진행하겠습니다.

 

강의자, 부가설명은 기존과 동일하게 태그를 크롤링하면 되므로 넘어가고 기술 스택의 태그만 간단히 살펴보겠습니다.

 

기술 스택은 div 태그의 course_skills > span 태그에 존재합니다.

 

코드를 보면 다음과 같습니다.

    public static void main(String[] args) {
        final String inflearnUrl = "https://www.inflearn.com/courses/it-programming";
        Connection conn = Jsoup.connect(inflearnUrl);

        try {
            Document document = conn.get();
            Elements instructorElements = document.getElementsByClass("instructor");
            Elements descriptionElements = document.select("p.course_description");
            Elements skillElements = document.select("div.course_skills > span");

            for (int j = 0; j < instructorElements.size(); j++) {
                final String instructor = instructorElements.get(j).text();
                final String description = descriptionElements.get(j).text();
                final String skills = removeWhiteSpace(skillElements.get(j).text());

                System.out.println("강의자: " + instructor);
                System.out.println("강의 부가설명: " + description);
                System.out.println("기술 스택: " + skills);
            }

        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    private static String removeWhiteSpace(final String str) {
        return str.replaceAll("\\s", "");
    }

 

 

 

 

 

🎯 전체 코드

수강자 수, 강의 세션 개수 등의 데이터는 위와 같은 방법으로 진행하면 되므로 생략하고 전체 코드에 나타내보겠습니다!

 

package com.github.oneline.onelinecourse.util;

import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.safety.Whitelist;
import org.jsoup.select.Elements;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.io.IOException;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;
import java.util.Objects;

public class InflearnCrawling {

    private static final Logger log = LoggerFactory.getLogger(InflearnCrawling.class);
    private static final int FIRST_PAGE_INDEX = 1;
    private static final int LAST_PAGE_INDEX = 32;
    private static final String PLATFORM = "Inflearn";

    public static void main(String[] args) {
        try {
            // 개발 강의 모든 페이징 순회
            for (int i = FIRST_PAGE_INDEX; i <= LAST_PAGE_INDEX; i++) {
                final String inflearnUrl = "https://www.inflearn.com/courses/it-programming?order=seq&page=" + i;
                Connection conn = Jsoup.connect(inflearnUrl);
                Document document = conn.get();

                // 크롤링 항목 필요 리스트
                //   - 썸네일 링크, 강의 제목, 가격(할인가격), 평점, 강의자, 강의 링크, 수강자 수, 플랫폼, 강의 세션 개수 + 시간
                Elements imageUrlElements = document.getElementsByClass("swiper-lazy");
                Elements titleElements = document.select("div.card-content > div.course_title");
                Elements priceElements = document.getElementsByClass("price");
                Elements instructorElements = document.getElementsByClass("instructor");
                Elements linkElements = document.select("a.course_card_front");
                Elements descriptionElements = document.select("p.course_description");
                Elements skillElements = document.select("div.course_skills > span");
                String[] imageUrls = new String[imageUrlElements.size()];

                int setIndex = 0;
                int getIndex = 0;

                for (Element e : imageUrlElements) {
                    imageUrls[setIndex++] = e.attr("abs:src");
                }

                for (int j = 0; j < titleElements.size(); j++) {
                    final String title = titleElements.get(j).text();
                    final String price = priceElements.get(j).text();
                    final String realPrice = getRealPrice(price);
                    final String salePrice = getSalePrice(price);
                    final int realIntPrice = toInt(removeNotNumeric(realPrice));
                    final int saleIntPrice = toInt(removeNotNumeric(salePrice));
                    final String currency = String.valueOf(price.charAt(0));
                    final String instructor = instructorElements.get(j).text();
                    final String url = linkElements.get(j).attr("abs:href");
                    final String description = descriptionElements.get(j).text();
                    final String skills = removeWhiteSpace(skillElements.get(j).text());

                    System.out.println("썸네일: " + imageUrls[j]);
                    System.out.println("강의 제목: " + title);
                    System.out.println("가격: " + realIntPrice);
                    System.out.println("할인 가격: " + saleIntPrice);
                    System.out.println("원화: " + currency);
                    System.out.println("강의자: " + instructor);
                    System.out.println("강의 링크: " + url);
                    System.out.println("강의 설명: " + description);
                    System.out.println("기술 스택: " + skills);

                    /* 강의 링크 내부 */
                    Connection innerConn = Jsoup.connect(url);
                    Document innerDocument = innerConn.get();

                    /* 평점 */
                    Element ratingElement = innerDocument.selectFirst("div.dashboard-star__num");
                    final float rating = Objects.isNull(ratingElement)
                            ? toFloat("0")
                            : toFloat(ratingElement.text());
                    System.out.println("평점: " + rating);

                    /* 수강자 수 */
                    Element listenerElement = innerDocument.selectFirst("div.cd-header__info-cover");
                    final String listener = Objects.isNull(listenerElement)
                            ? innerDocument.selectFirst("span > strong").text()
                            : innerDocument.select("div.cd-header__info-cover > span > strong").get(1).text();
                    System.out.println("수강자 수: " + removeNotNumeric(listener));
                    final int viewCount = Integer.parseInt(removeNotNumeric(listener));

                    /* 강의 세션 개수 */
                    final String course = innerDocument.selectFirst("span.cd-curriculum__sub-title").text();
                    System.out.println("강의 세션 개수: " + getSessionCount(course));
                    final int sessionCount = Integer.parseInt(getSessionCount(course));
                    System.out.println();

                }
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    private static String getRealPrice(final String price) {
        final String[] pricesArray = price.split(" ");
        return pricesArray[0];
    }

    private static String getSalePrice(final String price) {
        final String[] pricesArray = price.split(" ");
        return (pricesArray.length == 1) ? price : pricesArray[1];
    }

    // html 태그 제거
    private static String stripHtml(final String html) {
        return Jsoup.clean(html, Whitelist.none());
    }

    // 맨 앞, 맨 뒤 소괄호 제거
    private static String removeBracket(final String str) {
        return str.replaceAll("^[(]|[)]$", "");
    }

    private static String getSessionCount(final String course) {
        return removeNotNumeric(course.substring(0, course.indexOf("개")));
    }

    private static String removeNotNumeric(final String str) {
        return str.replaceAll("\\W", "");
    }

    private static String removeWhiteSpace(final String str) {
        return str.replaceAll("\\s", "");
    }

    private static int toInt(final String str) {
        return Integer.parseInt(str);
    }

    private static float toFloat(final String str) {
        return Float.parseFloat(str);
    }

}

 

 

final String inflearnUrl = "https://www.inflearn.com/courses/it-programming?order=seq&page=" + i;

위 코드에서 url은 다음과 같이 되어있는데요, 이는 인프런 사이트에서 전체 강의를 크롤링 해야 하기 때문에 전체 페이지를 순회하도록 설정했습니다.

 

 

/* 수강자 수 */
Element listenerElement = innerDocument.selectFirst("div.cd-header__info-cover");
final String listener = Objects.isNull(listenerElement)
        ? innerDocument.selectFirst("span > strong").text()
        : innerDocument.select("div.cd-header__info-cover > span > strong").get(1).text();
System.out.println("수강자 수: " + removeNotNumeric(listener));
final int viewCount = Integer.parseInt(removeNotNumeric(listener));

수강자 수 또한 데이터가 존재하지 않거나, 동일한 태그가 중복되어 있거나 등의 트릭이 존재해서 조건 처리를 해주었습니다.

 

 

for (Element e : imageUrlElements) {
    imageUrls[setIndex++] = e.attr("abs:src");
}

또한 썸네일 링크의 경우, 다른 데이터와는 다르게 크롤링 할 때 이슈가 있었기 때문에, 따로 데이터를 추가해주었습니다.