Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Feat: URL read 간 로그 출력 #35

Open
9 of 12 tasks
Taejin1221 opened this issue Nov 21, 2024 · 0 comments
Open
9 of 12 tasks

Feat: URL read 간 로그 출력 #35

Taejin1221 opened this issue Nov 21, 2024 · 0 comments
Assignees
@Taejin1221
Labels
기능 추가 기능 추가

Comments

@Taejin1221
Copy link
Contributor

Taejin1221 commented Nov 21, 2024 •
edited
Loading

기능 설명

URL 정보를 얻어올 때 관련 정보를 로그로 출력합니다.

  • 어떤 URL을 읽는지
  • 크롤링이 가능한 사이트인지
    • 콘솔 출력
    • 파일 저장
  • 토큰 사용량 (각 요청의 종류, 사용 토큰)
    • 콘솔 출력
    • 파일 저장
  • 소요 시간 로그 (각 요청의 종류, 시간 소요)
    • 콘솔 출력
    • 파일 저장
  • 어떤 오류가 발생하였는지
    • 추가적으로 오류 발생 시 로그를 출력하고 다음 링크의 태그를 부여하도록 합니다.

기대 효과

어떤 URL을 읽을 수 있는지, 없는지
어떤 오류가 발생했는지에 대해서 더 쉽게 알 수 있습니다.
@Taejin1221 Taejin1221 added the 기능 추가 기능 추가 label Nov 21, 2024
@Taejin1221 Taejin1221 mentioned this issue Nov 21, 2024
Merged
7 tasks
Yeeun-Jeong pushed a commit that referenced this issue Nov 21, 2024
@Taejin1221
#35 Feat: URL read 간 로그 출력 (#36)
6b3e93f 
* Feat: get_logger 함수 작성

#35

* Feat: content_read 간 오류 발생시 로그 출력

#35
Yeeun-Jeong added a commit that referenced this issue Dec 4, 2024
@Taejin1221 @Yeeun-Jeong @DvaCode
#37 Feat: 키워드 추출 기능 추가 (#39)
9b253b6 
* CI/CD: Dockerfile && Jenkinsfile 추가

#23

* Hotfix: DTO linkId Type error 수정 (#26)

#24

* Fix: 중괄호 누락 수정

#23

* Hotfix: 프롬프트 수정 (#28)

* FIX: Jenkinsfile 수정

#29

* Hotfix: 특정 사이트에서 발생하는  IndexError 수정

#31

* Hotfix: robots.txt의 주석을 무시하도록 수정 (#34)

#33

* #35 Feat: URL read 간 로그 출력 (#36)

* Feat: get_logger 함수 작성

#35

* Feat: content_read 간 오류 발생시 로그 출력

#35

* Refactor: 프롬프트 모듈화, metadata 부여 이름 변경

#37

* Feat: keyword 추출 기능 추가

+ Refactor: 프롬프트 출력 형식 일차

#37

* Docs: 주석 수정

#37

* Style: 기능 변경에 따른 이름 변경

Category -> Extract

#37

* Style: 불필요 모듈 제거

#37

---------

Co-authored-by: 정예은 <[email protected]>
Co-authored-by: All_right_Cool <[email protected]>
Co-authored-by: Dokyeong_lee <[email protected]>
@Taejin1221 Taejin1221 self-assigned this Dec 5, 2024
@Taejin1221 Taejin1221 mentioned this issue Dec 5, 2024
Merged
7 tasks
Yeeun-Jeong pushed a commit that referenced this issue Dec 6, 2024
@Taejin1221
#35 Feat: URL read 간 로그 출력 (#41)
a6e86c8 
* Style: 불필요 모듈 제거

#35

* Feat: Crawlability 체크 로그 추가

#35

* Feat: 토큰, 시간 로그 추가

#35
@Taejin1221 Taejin1221 mentioned this issue Dec 19, 2024
Merged
7 tasks
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees

@Taejin1221 Taejin1221

Labels
기능 추가 기능 추가
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
1 participant
@Taejin1221