2023-02-24 Fri

Debug

(0) (1,822)

conda,pip及阿里云盘的代理设置

Conda.condarc中加入channels: - defaultsshow_channel_urls: truechannel_alias: https://mirrors.tuna.tsinghua.edu.cn/anacondadefault_channels: - https://m

阿里云盘 conda pip 代理设置

2023-02-20 Mon

Debug

(0) (1,209)

jupyter 新增内核

启动新环境后pip install ipykernelpython -m ipykernel install --name env_name然后就可在kernel列表里找到了

jupyterlab kernel

2022-08-20 Sat

Debug

(0) (1,111)

Linux rsync传输大量sparse文件

之前传文件发现原本23G的一组文件到超算上变成了200+G，考虑到超算的容量不是很多得处理下这个，发现是sparse文件的问题，解决方法入下：rsync -a --sparse ./local_folder/ xxx@xxx.xxx.xxx.xxx:/share/home/xxx/local_fol

rsync 文件传输

2022-08-20 Sat

Debug

(0) (1,211)

Linux高效传送大量小文件

如下，将本地local_folder传送至服务器目标位置，比scp -r高效非常多tar -c ./local_folder | ssh xxx@xxx.xxx.xxx.xxx 'tar -xf - -C /to/target/path/'最终在目标生成/to/target/path

文件传输 Linux

2022-08-19 Fri

Debug

(0) (1,493)

基于Ray在LSF上多节点并行的python数据处理

基于Ray在LSF上多节点并行的python数据处理考虑到未来肯定大概率还会在超算上处理东西，使用一种快速简单上手的方式使python并行是十分必要的，记录下后续备用。LSF作业提交构建详细参数文件如下#!/bin/sh#BSUB -q mpi#BSUB -n 48#BSUB -o ./output

LSF 并行多节点

2022-01-14 Fri

Debug

(0) (1,291)

LSF上指定每个节点运行单个任务

LSF上指定每个节点运行单个任务，最终实现如下：import osimport reimport timen_queues = 20while True: bjobs = os.popen('bjobs') bjobs = ''.join(bjobs.readlines()) pa

conda,pip及阿里云盘的代理设置

jupyter 新增内核

Linux rsync传输大量sparse文件

Linux高效传送大量小文件

基于Ray在LSF上多节点并行的python数据处理

LSF上指定每个节点运行单个任务

分类

标签

标签云

最新文章

最新文章

最新评论

Your browser is out of date!