본문 바로가기
  • 문과생의 백엔드 개발자 성장기

전체 글199

PJT1_Web_Crawling 프로젝트명 웹 크롤링을 쿠팡에서 제품 검색 및 조건에 맞는 정보 가져오기 1. 쿠팡의 빔프로젝터의 자료를 받는다. 2. 별점과 리뷰수를 만족하는 상품을 출력한다. 3. 위의 상품에 관련된 이미지를 저장한다. 프로젝트 목적 파이썬을 이용한 웹 크롤링 기능을 활용해 조건에 맞는 데이터를 받아오자 사용모듈 from bs4 import BeautifulSoup import urllib.request as req import urllib.parse as par import requests import os 코드 # 라이브러리 등록 # BeautifulSoup :: 읽어 온 웹페이지를 파싱한다. # requests :: 작은 웹브라우저로 웹사이트 내용을 가져온다. # urllib :: 웹과 관련된 데이터를 쉽게 이.. 2021. 5. 12.
210512_웹 크롤링2 복습! (list 객체를 txt파일로 저장) def Test(): listdata = [2, 2, 1, 3, 8, 5, 7]; result = sorted(listdata) #리스트의 요소를 정렬한다. print(result) #[1,2,2,3,5,7,8] f = open("c:\\data\\mydata11.txt", "w") #mydata11.txt를 생성하겠다 f.write(str(result)) #result에 있는 내용을 mydata11.txt로 생성한다. f.close() #result 에 있는 내용을 문자로 변환 해야한다. def Test01(): #아래의 리스트를 mydata12.txt로 저장하시오! listdata2 = ['a','b','c','d','e','f','g'] result = .. 2021. 5. 12.
210511_웹 크롤링 * 웹 의 개념을 이해하고 기술 할 수 있다. * 웹 수집 연동을 구현할 수 있다. 데이터 분석순서 데이터 수집 → 데이터 유형 및 속성 파악 → 데이터변환 → 데이터저장 → 데이터정제 → 분석단계 데이터 수집 기술 (웹 스크롤링 기술) html이란 ? Hyper Text Markup Language의 약자이고 여러개의 태그를(tag)연결해서 모아놓은 순서 html api : http://www.w3.org/ 연습용사이트 : http://www.w3schools.com/ 웹페이지 동적페이지 클라이언트가 입력한 값을 처리해주는 페이지 (게시판, 방명록, 회원가입, 장바구니) asp, aspx, php, jsp등 정적페이지 클라이언트가 입력한 값을 처리할 수 없는 페이지 .html WAS (Web Appli.. 2021. 5. 11.
백준 _ 입출력과 사칙연산 1. 문제번호 2557 (Hello World) 2. 문제번호 10718 (We love kriii) 3. 문제번호 10171 (고양이) \를 사용하기 위해서 \\를 두번 입력해야한다. 4. 문제번호 10172 (개) 고양이와 같은유형 문제, \출력하기 위해선 \\ 두 번 입력 (" , 큰따옴표) 출력구간은 (' , 작은따옴표) 로 문자출력 5. 문제번호 1000 (A+B) # 첫째줄에 A, B가 주어진다 = A, B 가 동시에 입력받고 split( ) 함수로 나눈다. 두 정수이기 때문에 int( ) 로 형변환 시켜준다. (디폴드로 문자열로 인식, 이 과정을 거쳐 A, B가 정수임을 선언) 6. 문제번호 1001 (A-B) 7. 문제번호 10998 (A*B) 8. 문제번호 1008 (A/B) 9. 문제번.. 2021. 5. 10.
210510_Json 구현 및 웹 서비스 * json 형식을 이용한 파일 입출력의 구현 및 실행 * 웹 페이지에 연동에 관한 구문 확인 및 실행 * 정적 페이지 연동의 이해 및 실행 * xml 형식을 이용한 파일 입출력을 구현 및 실행 MEAN stack : mongoDB, Express.js, AngularJS, Node.js MongoDB - document database Express(. js) - Node.js web framework Angular(. js) - a client-side JavaScript framework Node(. js) - the premier JavaScript web server Json 이란? Json (JavaScript Object Notation) : 데이터 교환용으로 설계된 경량 텍스트 기반 개방형.. 2021. 5. 10.
210507_모듈 활용 및 csv 모듈 활용 # import defaultdict # import string / sum( ) # all ( ) /any ( ) True = 1 , False = 0 all( ): 인자로 입력되는 리스트의 모든 요소가 참일 경우만 True, 거짓이 하나라도 있으면 False를 리턴 any( ): 인자로 입력되는 리스트의 모든 요소가 거짓인 경우만 False, 참이 하나라도 있으면 True 리턴 # ord ( ) : 문자를 컴퓨터가 인식하는 코드값으로 변환 ex) A(사람)-----> 인코딩---->65(컴퓨터)사람)----->인코딩---->65(컴퓨터) # chr ( ) : 인자로 정수를 입력하게 되면 정수 값에 해당하는 문자를 리턴 90 ------- chr ( ) ------> Z import csv .. 2021. 5. 7.
210506_예외처리 pickle 복습 * 예외처리를 할 수 있다. * 모듈을 사용해서 활용해보자. Error의 개념 이해, try ~ except, traceback.py, sys.py Exception을 상속받아 사용자 예외처리를 구현 ex) 자동차회사 1. 부서장 회의: 결정(3000,5000,12/24), 추가 논의 → 추상화 2. 각 부서장들은 1번을 가지고 각 부사에 가서 논의 : 결정, 추가논의 → 추상화 3. 각 부사에서 논의된 사항을 가지고 업무를 수행한다. (완성본) → 클래스, 객체 생성 4. 경쟁사에서 12/24 날 자동차 출하/그럴 줄/ 알았다. 2000만 원대 / Exception 5. 부도/회복 불가능//Error Exception(예외 클래스) 특정 Error에 대응하는 방법을 클래스로 pvm 제.. 2021. 5. 6.
210504_객체 단위 파일 입/출력 * 객체 단위 파일 입출력을 구현할 수 있다. * 예외처리를 구현하고 적용할 수 있다. 바이너리 타입 (2진화 = stream 파일 입출력) 파일을 열어서 1바이트씩 데이터를 읽어서 화면에 hex(16진수) 코드로 출력하는 방법을 말한다. 형식은 open(file, mode) rb, wb로 mode를 지정한다. → 영숫자 + 특수문자 => 1byte => stream → 1byte = unicode → 2byte = utf-8 → 3byte = utf-16 메서드를 선언하는 방법 추상화, overlode, overloding overloding 기능을 가진 메소드 : 메소드 이름은 동일한데 () 매개인자의 개수를 타입을 다르게 지정해서 호출하도록 선언하는 방법 class bytes(object) | by.. 2021. 5. 5.
210503_OS모듈 * os 모듈 내용을 살펴보고 운영체제의 값을 구현하는 클래스와 메서드를 활용할 수 있다. * 파일의 입 출력을 구현할 수 있다. 복습 # int, float, str, list, tuple, dict # 연산자 (오칙연산자, 비교 연산자 비트 연산자, in, not in , is, not is ) # 제어문, (if, while, for + else) , continue, break, return # def username(일반 변수,일반변수, 초기화 일반 변수, * tulple변수, ** dict(변수): 명령; # 객체화 → class → 인스턴스 ex) 동전, 주사위 예제 11문제 OS모듈 운영체제와 관련된 기능을 가진 모듈 새로운 폴더를 만들거나 폴더 내부의 파일 목록을 보는 일 모두 활용 가능.. 2021. 5. 3.