[Linux] CentOS CPU 개수 및 코어 수 확인하기

리눅스(CentOS)에서 CPU 개수 및 Core 수를 확인 하는 방법을 소개하는 글입니다.현상회사에서 사용하는 분석 서버의 스펙을 요청받아 상세 CPU 정보 확인이 필요해 짐조치분석 서버(Linux)에서 아래 명령어들을 입력하여 상세 정보 확인1. 물리적인 CPU 개수grep "physical id" /proc/cpuinfo | sort -u | wc -l2. CPU 1개 당 물리적인 코어(Core) 수grep "cpu cores" /proc/cpuinfo | tail -13. CPU 전체 코어 개수사용중인 분석 서버는 하이퍼 스레딩을 지원하고 있어 전체 코어수가 36개가 아닌 72개로 나타남grep -c processor /proc/cpuinfo참고사항하이퍼 쓰레딩(hyper-threading)에 따..

• format_list_bulleted DataScience/OS
• · 2021. 3. 4.
• textsms

[Error] "SSL: CERTIFICATE_VERIFY_FAILED" - pip 사용시 인증서 에러 조치

pip 명령어 사용시 인증서 에러(ssl error) 가 발생하는 경우 해결하는 방법을 설명하는 글입니다.현상회사 PC 분석환경 세팅 중 파이썬 패키지 설치 과정에서 에러 발생 : SSL: CERTIFICATE_VERIFY_FAILED에러 메세지로 검색한 결과 인증서 관련 에러로 확인되었으며 아래 두 가지 방법으로 해결 가능1. trusted-host 옵션 사용 : pip 설치시 신뢰할 수 있는 호스트를 명령줄에서 등록ex) pandas 라이브러리 설치pip --trusted-host pypi.org --trusted-host files.pythonhosted.org install pandas 2. requests 라이브러리 내 SSL 검증 여부 변경Default 값은 True 이며, False로 변경하..

• format_list_bulleted DataScience/Python
• · 2021. 2. 26.
• textsms

[Linux] Ubuntu 계정 비밀번호 변경이 안될 때 우회 방법 (Authentication token manipulation error )

우분투(Ubuntu)에서 계정 비밀번호 변경 시 발생하는 에러를 우회하여 처리하는 방법을 소개하는 글입니다.현상우분투(Ubuntu) 서버 사용자로부터 비밀번호 초기화 요청을 받음서버에 접속하여 비밀번호 변경을 시도하였으나 Authentication token manipulation error 에러 발생> sudo -i> passwd user_idChanging password for user user_idChanging password for user_id(current) UNIX password: passwd: Authentication token manipulation error 접근1. 서버 재부팅, Remount Root Partition 등 현실적 어려움 존재아래 링크에서 다양한 해결책들이 있었..

• format_list_bulleted DataScience/OS
• · 2021. 2. 25.
• textsms

[Gitlab] CentOS7에 Gitlab 오프라인 설치

인터넷이 안되는 리눅스 환경(CentOS7)에 Gitlab을 설치하는 과정을 설명하는 글입니다.1. 설치 파일 다운로드1.1 링크 접속GitLab 다운로드 페이지 - https://packages.gitlab.com/gitlab/gitlab-ce/1.2 OS에 맞는 설치파일 클릭(RHEL 7.6 기준) https://packages.gitlab.com/gitlab/gitlab-ce/packages/scientific/7/gitlab-ce-13.8.4-ce.0.el7.x86_64.rpm1.3 파일 다운로드(WINDOWS10) 접속 페이지의 우측 상단 Download 버튼 클릭(CentOS7) wget 명령어 복사 후 터미널 창에 붙여넣기 (박스 클릭하면 명령어 자동 복사됨)# (RHEL 7.6 기준wget..

• format_list_bulleted DataScience/Tools
• · 2021. 2. 25.
• textsms

[R] R에서 반응 변수 비율에 맞춰 데이터셋 분할하기 (15회 ADP 실기 기출)

해당 포스트는 R에서 효율적인 데이터셋 분할 방법 을 설명하는 글입니다. '15회 데이터 분석 전문가(ADP) 실기시험'에 데이터 마이닝 과목 세부 문제로 출제되었습니다. 지난 ADP 15회 실기시험 의 데이터 마이닝 과목 1번 문제는 종속 변수의 비율이 train:valid:test = 6:2:2 가 되도록 데이터셋을 분할하는 문제였습니다. 시험에서는 caret::createDatapartition 함수 사용에 실수가 있어 sample()함수로 해결하였으나 복기하다보니 문제가 해결되어 정리하였습니다. 1. sample() 함수 접근 아래와 흔히 sample() 함수를 이용하는 매 시행에 랜덤 추출이 적용되며, 데이터 셋이 동일한 비율로 분할되지만 종속 변수의 비율이 일정하지 않습니다. 데..

• format_list_bulleted DataScience/R 프로그래밍
• · 2020. 11. 30.
• textsms

[R] R에서 날짜/시간 데이터 다루기 (feat. lubridate)

'15회 데이터 분석 전문가(ADP) 실기시험'에서 전처리 작업에 필요했던 날짜/시간 데이터를 처리하는 방법을 설명하는 글입니다. 참고 : 데이터분석전문가(ADP) 15회 실기시험 후기 0. 서론 15회 데이터 분석 전문가(ADP) 실기시험 2번 문제는 '데이터 처리 및 통계분석' 문제였습니다. 전력 사용량 데이터를 제공하면서 데이터 처리(변환, 병합, 요약 등)를 통해 목적에 맞는 분석을 수행하는 문제였고, 데이터는 시스템에서 생성된 로그 데이터가 제공되었습니다. 제공된 데이터를 처음 받았을 때 timestamp 컬럼에 처음보는 형식의 값이 들어있어 당황했었으나 저는 운좋게(?) 해결하게 되어 문제를 풀어나갈 수 있었습니다. 저처럼 당황하지 않으시길 바라며 해당 내용을 정리..

• format_list_bulleted DataScience/R 프로그래밍
• · 2020. 11. 21.
• textsms

[R] R에서 RDS 파일 활용하기 (feat. readr)

해당 포스트에서는 R에서 효율적인 데이터셋 관리 를 위한 RDS 파일 활용 에 대해 설명합니다. RDS 파일은 R 전용 데이터 파일로 다른 파일들에 비해 R에서 읽고 쓰는 속도가 빠르고 용량이 작다는 장점이 있습니다. 일반적으로 R에서 분석 작업을 할때는 RDS파일을 이용하고, R을 사용하지 앟는 사람과 파일을 주고받을 때는 CSV 파일을 이용합니다. 0. 샘플 데이터 준비하기 테스트에 사용할 데이터는 '네이버 영화 리뷰 데이터'로 파일 크기는 약 19MB 정도 됩니다. 데이터 불러오기 library(readr) system.time(nsmc_ratings

• format_list_bulleted DataScience/R 프로그래밍
• · 2020. 11. 18.
• textsms

[R] R스튜디오(R Studio)에서 글자가 다르게 입력되는 문제 해결하기

이번 포스트에서는 R스튜디오(RStudio)에서 글자 입력시 일반적이지 않은 형태로 입력되는 현상을 확인하고 조치하는 내용을 설명합니다.현상R스튜디오(R Studio)에서 코드 작성 시, 입력이 정상적으로 되지 않는 현상이 나타남ex) 글자 커짐, 자간 넒어짐 등접근주로 키보드 입력하다가 증상이 나타나므로 주로 사용하는 키들중에 오입력이 되는 것을 찾아보자!해결'Alt+='를 누르면 해결됨! (해당 키조합의의 정확한 용도는 파악 X)→ 자주 사용하는 할당 단축키 'Alt+-'를 사용하려다 오입력 되는 것으로 판단결과기존 증상이 해결되어 정상 입력되는 것을 확인함!

• format_list_bulleted DataScience/R 프로그래밍
• · 2020. 11. 17.
• textsms

[R] R스튜디오(R Studio)에서 자동 줄바꿈(soft-wrap) 사용하기

이번 포스트에서는 R스튜디오(R Studio)에서 자동 줄바꿈 기능(soft-wrap)을 적용하는 방법을 설명합니다.참고 : 파이참(Pycharm)에서 자동 줄바꿈(soft-wrap) 사용하기현상R스튜디오(R Studio)에서 코드 작성 시, 문장이 길어지는 경우 우측 화면을 넘어가 잘리는 현상이 나타남화면을 넘어가게 되는 경우 자동으로 줄바꿈이 되도록 설정하고자 함!접근일반적으로 자동 줄바꿈 기능이 있으니 옵션에서 찾아보자!해결상단 메뉴에서 [Tools]-[Global Options...]으로 이동[Code]탭에서 'General'-'Soft-wrap R source files' 체크박스 선택 후 OK버튼 클릭결과긴 문장에 자동 줄바꿈(Soft-Wrap) 이 적용되어 좌우 스크롤 없이도 확인할 수 있음..

• format_list_bulleted DataScience/R
• · 2020. 11. 17.
• textsms

[Windows] 컨트롤(Ctrl) 눌렀을 때 마우스 커서 위치 나타내기(focus 기능)

본문에서는 Windows 10에서 컨트롤(ctrl)키를 눌렀을 때 마우스 위치를 알려주는 기능을 활성화 시키는 법을 설명합니다. 업무를 하다보면 자신의 모니터를 함께 보며 설명하는 경우가 발생합니다.특히, 마우스로 포인트를 집어가며 설명하는데 마우스 커서가 잘 안보이지 않아 난감한 경우가 종종 발생 하기도 하는데요..이번에 소개드리는 마우스 효과 기능을 활용한다면 마우스 커서 위치를 바로 확인할 수 있어 효율적인 업무가 가능합니다!▲ 마우스 효과 적용 예시 마우스 옵션 적용 절차마우스 포인터 옵션을 활성화 하는 절차는 아래와 같습니다.1. [마우스 설정] 화면으로 이동좌측 하단 돋보기 그림(윈도우 검색 기능)을 누르고 '마우스 설정'을 입력합니다.윈도우 검색 기능 단축키 : `WIN` + `X` 검색 화..

• format_list_bulleted DataScience/OS
• · 2020. 10. 31.
• textsms