Linux

このページは、Linuxのメモです。

Last modified: 2017/03/20

awk コマンド

hoge.txtの1行目だけ標準出力に渡す

$ awk '{print $1}' hoge.txt

hoge.txtの1行目に行番号をつけて標準出力に渡す

$ awk '{print NR,$1}' hoge.txt

hoge.txtの1行目の値が10より大きかったら標準出力に渡す

$ awk '($1>=10){print $1}' hoge.txt

hoge.txtの1行目が'huga'と一致する行を標準出力に渡す

$ awk '/huga/{print $1}' hoge.txt

hoge.txtの1行目が'huga'と一致しない行を標準出力に渡す

$ awk '! /huga/{print $1}' hoge.txt

区切り文字を「,」に変更する

$ awk -F , '{print $1}' hoge.txt

hoge.txtのフォーマットを指定して標準出力に渡す

$ awk '{printf("%3d %3d %3d %5.1f %3d %3d %3d\n",$2,$3,$4,$5,$6,$7,$1)}' hoge.txt

%3d : 3マスとって整数を表示

%5.1ｆ : 5マスとって小数点1桁の実数を表示

%s : 文字列を表示

\n : 改行を含める

sed コマンド

$ sed -e ”s/hoge/numa/g” namelist

hoge が numa に置換し表示

$ sed -n 2p hoge.txt

hoge.txt 内の2行目を表示

$ sed -e "s/[0-9]\{2\}/huga/g" hoge.txt

hoge.txt 内の任意の2桁の数字をすべて’huga’に変換.

$ sed -e "s/[0-9]\{2,4\}/huga/g" hoge.txt

hoge.txt 内の任意の2～4桁の数字をすべて’huga’に変換.

参考URL：

http://itpro.nikkeibp.co.jp/article/COLUMN/20060228/231171/?ST=oss

$ sed -e "s/B\t255\t255\t255/B\t0\t0\t0/g" GMT.cpt

B 255 255 255 というタブ区切り文字を \t を用いてTABを表現し, B 0 0 0 に置換.

$ sed -i.bak "/se-1/d" hoge.txt

hoge.txt 内の「se-1」を消去して, hoge.txt 自身を書き換える.

その際, 元ファイルを hoge.txt.bak というファイルにして残す.

参考URL：

http://d.hatena.ne.jp/SandRiver/20090305/1236271797

文字を描くときは・・・

参考URL：

http://blog.livedoor.jp/leaf_hiro/archives/51526900.html

sed コマンドで置換する場合、同時に -e オプションを複数指定できるのでとても便利。

grep コマンド

$ grep -n "hoge" namelist

namelist 内に hoge がある場合、行番号をつけて表示する。

$ sed -i "hoge" namelist

namelist 内に hoge の大文字小文字を区別せずに表示。

参考URL：

http://www.rsch.tuis.ac.jp/~mizutani/online/grep/grep.html

画像処理関連

convertでgifアニメ作成

$ convert -delay 50 -loop 5 -resize 80% *.gif anime.gif

convertでgifアニメ分解

$ convert +adjoin anime.gif file.gif (番号が付いて分解される)

convertでgif画像を左右に結合

$ convert +append pic1.gif pic2.gif output.gif

convertでgif画像を上下に結合

$ convert -append pic3.gif pic4.gif output.gif

convertで画像を切りぬく

$ convert -crop 400x400+100+100 input.png output.png

-crop [x方向に切りぬくピクセル数]x[y方向に切りぬくピクセル数]+[x方向の始点]+[y方向の始点]

convertで黒枠をつける

$ convert -bordercolor black -border 2x2 input.png output.png

参考: http://bal4u.dip.jp/mt/server/2004/10/imagemagick.html

convertで透過PNGを作る

$ convert -transparent "#ffffff" input.png output.png

ここでは，#ffffff つまり白を透過させる．

convertでグレースケールの図を作る

$ convert input.png -type Grayscale output.png

-type で Grayscaleを選択する。

参考: http://kyle-in-jp.blogspot.com/2006/11/imagemagick_28.html

convert で svg 形式から png 形式に変換する

$ rsvg-convert input.svg --fortam=png --output=output.png

参考: http://symfoware.blog68.fc2.com/blog-entry-288.html

処理系コマンド

ファイルやフォルダを開く

$ gnome-open ./

カレントディレクトリをGUIで開く

カレントディレクトリの .sh を含むファイルを探す

$ find ./ -name "*.sh"

ファイルのシンボリックリンクを貼る

$ ln -sf /home/username/hoge.txt /work/tmp/

ポイント：絶対パスを指定しないと, デッドリンクとなる.

標準出力も標準出力エラーも表示させない (正確には標準出力、標準出力エラーともに出力方向を /dev/null に向ける)

$ ls > /dev/null 2>&1

ファイルの先頭を見る

$ head hoge.txt

$ head -n 5 hoge.txt

- 上から5行のみ表示

ファイルの末尾を見る(更新されたら、すぐ表示する)

$ tail -f output.log

PATH が通っている実行ファイルを探す

$ which grads

- grads のバイナリファイルの場所が分かる。

指定したディレクトリ内で、指定した名前と一致するファイルを探す

$ find /home/username/ -name hoge.txt

- 'hoge.txt'を /home/username/ のなかで検索する。

ジョブを強制終了させる

$ kill -KILL 99999

- 99999は目的のジョブのPID

$ killall a.out

- a.outで実行している全てのジョブを終了させる

2つのファイルの違いを見つける

$ diff test1.txt test2.txt

- text* はテキストファイル

並べ替え

$ sort hoge.txt

$ sort -k 3 hoge.txt

-k 3 :3列目を対象として並べ替えを行う

ファイルの拡張子（Suffix）を取得する

$ echo file.txt | cut -d "." -f 2

- -f 1 にすると拡張子無しのファイル名が出力される

ファイルの行数を表示

$ wc -l hoge.txt

重複する行数を表示

$ uniq -c

現在時刻の取得

$ date '+%Y/%m/%d_%H:%M(JST)'

- 2011/03/31_12:20(JST) と表示される.

リダイレクト

$ echo 'hoge' > test.txt

- (標準出力がtexe.txtに向く(test.txtは上書きされる))

$ echo 'hogehoge' >> text.txt

- (もともとあったtest.txtに追加する)

$ cat << EOF >> text.out

hoge

EOF

- (cat と EOF の間に書いてあるものをtest.outに出力)

tarでファイルを圧縮

$ tar -cvzf hoge.tar.gz hoge

- (hogeは目的のディレクトリ名)

tarでファイルを解凍

$ tar -zxvf hoge.tar.gz

$ tar -jxvf hoge.tar.bz2

tarでファイルの中身を確認

$ tar -tzvf test.tar.gz

参考：UNIXの部屋コマンド検索:tar (*BSD/Linux)

pigzで並列圧縮

$ tar -cvf hoge.tar.gz --use-compress=pigz hoge

pigzで並列解凍

参考1：http://zlib.net/pigz/

参考2：http://tec-blog.menue.jp/?p=146

pbzip2で並列圧縮

$ tar -cvf hoge.tar.bz2 --use-compress=pbzip2 hoge

$ pbzip2 -vf hoge

pbzip2で並列解凍

参考1：http://compression.ca/pbzip2/

参考2：http://www.nkjmkzk.net/?p=1044

ftp 使用時に "530 Must perform authentication before identifying USER" というエラーが出た時の対処法

１．/etc/xinetd.d/gssftp をエディタで開く

２．以下の部分を編集

変更前： server_args = -l -a

変更後： server_args = -l

３．xinitd を再起動する

$ /etc/init.d/xinitd restart

参考URL：http://www.amatiny.com/blog/2008/02/redhat-enterprise-linux-4-upda.html

rsyncでバックアップ

$ rsync -avtph data_dir/ /tmp/

data_dir/ を再帰的に /tmp/ へバックアップ.

- -a : オールマイティオプション
- -v : 実行経過を表示する.
- -t : タイムスタンプはそのままにする.
- -p : パーミッションはそのまま.
- -h : 最後の情報の表示をわかりやすくする.
- --progress : 進捗状況を表示.
- -n : コピーはしないけど, 処理内容だけ表示 (dry run).
- --delete : バックアップ元で削除されたファイルは, バックアップ先でも削除する.
- --exclude "pattern" : pattern に一致するファイルやディレクトリを除く。
- --include "pattern" : pattern に一致するファイルやディレクトリを含む。
- --exclude-form=FILE : FILE 内に記述したファイルやディレクトリを除く。
- --include-form=FILE : FILE 内に記述したファイルやディレクトリを含む。

参考：http://open-groove.net/linux-command/rsync-exclude/ など。

lftp で並列ダウンロード等

参考：

pdftk(PDFファイル結合コマンド)

複数のPDFファイルを1つのPDFファイルに結合する。

$ pdftk input1.pdf input2.pdf cat output output.pdf

pdftk の Install (CentOS5.x) は ここを参照
- もっと詳しいオプションは、ここ

Adobe reader をコマンドラインで実行する際の引数

参考URL： http://partners.adobe.com/public/developer/en/acrobat/PDFOpenParameters.pdf

ps2raster

eps 形式の図の余白を切り取ってJPEG形式で出力

$ ps2raster test.eps -Tj -A

- (-A はBounding Boxが無いと怒られたときに付けます.)
- ps2raster については, 下記のURLの情報が非常に詳しいです. ありがとうございます.
- http://shizuoka.cool.ne.jp/gmt-man/GMT4.1.4/ps2raster.html

SSH

ssh で X windowも飛ばす

$ ssh -X user@host.jp

-X をつけるのがポイント。

-Y のようが良いときもあるらしい。

こんなのもOKらしい。

ssh であるサーバを介して接続する (config ファイルによる設定)

（ここでは, ’host.com’ というサーバを介して, ’remotehost.com’ というサーバに接続する. ）

まず、~/.ssh/config というファイルに以下を記入する.

Host remotehost.com

ProxyCommand ssh usr@host.com nc %h %p

上記の設定をした上で、下記のように’remotehost.com’に接続してみる。 $ ssh user@remotehost.com

このあと,

’host.com’ に対するパスワード,

’remotehost.com’ に対するパスワード

を順に聞かれるので、素直にそれぞれのパスワードを答える.

ssh でポートフォワードサーバを介して接続する。

（ここでは, ’host.com’ というポートフォワードサーバを介して, ’remotehost.com’ というサーバに接続する. ）

$ ssh -XCN2 -L 20456:remotehost.com:22222 usrname@host.com

-X: Xフォワーディングを有効にする。

-C: 通信を圧縮する。

-f: ポートフォワードでの通信確立後、バックグラウンドジョブへ移行する

-2: 通信プロトコルをssh version 2 のみで行う

-N: f オプションと同じ

-L 20456:remotehost.com:22222

20456：転送するポート番号

remotehost.com： remote側のIPアドレス

22222： host.com のssh ポート番号

鍵ペアを作成する

$ ssh-keygen -t rsa -b 2048

参考URL： http://web.kudpc.kyoto-u.ac.jp/manual/ja/login/pubkey#keygen_mac_linux_procedure

IP アドレスを変更して「WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!」と出てしまったとき

$ ssh-keygen -R 192.168.1.2

参考URL： http://futuremix.org/2007/08/openssh-warning

SSHFS を使ってリモートマウント

$ sshfs hoge@huga.com:/home/hoge/ /mnt

/mnt へマウント

$ fusermount -u /mnt

アンマウント

$ sshfs hoge@huga.com:/home/hoge/ /mnt -o ssh_command="ssh -C2 -i id_rsa"

ssh コマンドが必要な場合、 -o ssh_command を付加して実行

SCP

scp でファイルを転送

$ scp user@host:/home/user/hoge.txt ./

- (user@hostのhoge.txtをカレントディレクトリに転送.)

scp でディレクトリを転送

$ scp -r user@host:/home/user/huga/ ./

- (user@hostのhuga/ディレクトリをカレントディレクトリに転送.)
- -r を付けて, 再帰的に転送を行う.

scp でファイル転送(ssh ポート番号指定バージョン)

$ scp -oPort=22222 user@host:/home/user/huge.txt ./

KeePass2 でパスワード管理 on Ubuntu 13.10 (Saucy)

$ sudo apt-add-repository ppa:jtaylor/keepass

$ sudo apt-get update

$ sudo apt-get install keepass2

Dropbox で同期する場合、データベースを直接 Dropbox 内に作成する
- Master Key を指定する場合、*.key ファイルとデータベースファイルが同じ場所にあれば自動的に認識される
- パスワード作成時のアルゴリズムは自分でカスタマイズ or 既存の手法を自由に選択可能
- エントリを作成する際に URL も同時に入力しておくと、keepasshttp 使用時にご利益がある
- keepasshttp を使用するには plugin に登録してあげる
- 参考URL：http://www.maketecheasier.com/integrate-keepass-with-browser-in-ubuntu/
- その際、追加ライブラリも同時にインストールしておく
- 使用時は keepass2 本体を起動した状態で行う必要があるようだ
- WEB ページが更新されない時は、プラグインが Master Key の入力待ちになっている場合がある
- システム側で Proxy の設定を怠らなければ、Proxy 環境下でも問題無く使える
- プロキシ認証の場合、複数URLが指定できないといけないのだがどうすればいいんだ？

参考URL：

https://www.youtube.com/watch?v=RvV698aztNs (まずはこれをみて概要を把握すべし)

http://www.maketecheasier.com/install-keepass2-on-ubuntu-natty/ (実際のインストール・使用方法の概要)

http://android-smart.com/2012/08/dropbox%E3%82%92%E4%BD%BF%E3%81%A3%E3%81%9F%E8%87%AA%E5%8B%95%E5%90%8C%E6%9C%9F%EF%BC%86firefoxchrome%E3%82%A2%E3%83%89%E3%82%AA%E3%83%B3%E3%81%A7keepass%E3%82%92%E4%BE%BF%E5%88%A9%E3%81%AB%E3%82%AB.html

http://sourceforge.jp/magazine/11/08/09/1054240 (Windows User はこちらを見るべし)

StarDict (goldendict) の設定 on Ubuntu 13.10 (Saucy)

インストール：

以下のサイトを参考にインストール
最近は、Goldendict に移行しているらしい
参考URL：http://linux.just4fun.biz/Ubuntu/Ubuntu%E3%81%A7%E7%BF%BB%E8%A8%B3%E3%82%BD%E3%83%95%E3%83%88stardict%E3%82%92%E4%BD%BF%E7%94%A8%E3%81%99%E3%82%8B.html

英辞郎 ver.1.40 を追加：

- 以下のサイトを参考にインストール
- EIJI, REIJI, RYAKU, WAEI すべての変換が出来たことを確認。
- 参考URL：http://d.hatena.ne.jp/litt/20110807/p1
- ~~WAEIJRO はうまく変換できなかった。~~
- ~~また、参考URL２の Ruby スクリプトでは文字コード絡みのエラーで、私の環境下では正常動作しなかった~~
- ~~参考URL１：http://kdkk.github.io/blog/2013/05/11/eijiro-on-stardict/%20little%20something%20about%20me./~~
- ~~参考URL２：http://blog.designrecipe.jp/2011/01/01/eijiro-stardict-memo/~~

その他辞書の追加：

Oxford, Longman, Colins：http://abloz.com/huzheng/stardict-dic/
英和・和英：http://pkgs.fedoraproject.org/repo/pkgs/stardict-dic-ja/

Fuji Xerox ApeosPort-IV C4475 プリンタドライバの設定 on Ubuntu 13.10 (Saucy)

１．PPD が入ったパッケージをこちらからダウンロード。

２．$ cd /usr/share/ppd/Fujixerox/ ; gunzip fxlinuxprint.ppd.gz

３．プリンター追加時に上記の PPD ファイルを指定。

参考URL：http://tipsandmemo.blogspot.jp/2013/01/ubuntufuji-xerox-docucentre-iv-2060.html

Linux管理系コマンド

(# は rootでの実行, $ は userでの実行を示します)

OSの種類を表示

$ cat /etc/redhat-release (RedHat 系Linux の場合)

$ cat /etc/vine-release (Vine Linux の場合)

$ cat /etc/lsb-release (Ubuntu の場合)

カーネルのバージョン、アーキテクチャを表示

# uname -a

CPU情報

# cat /proc/cpuinfo

メモリ情報

# cat /proc/meminfo

パーティション情報

# lsblk

# fdisk -l

ログイン情報

# who

総合情報 (リアルタイム)

# top

HDD I/O情報 (リアルタイム)

# dstat

ネットワーク情報 (リアルタイム)

# iftop

ネットワークインターフェイスの認識状態を確認

$/sbin/ip link show

IP 情報を得る

# /sbin/ifconfig

通信が行われているか確認

# ping -c 10 http://www.google.com

通信経路確認

# route

ネットワークの再読み込み

# /etc/init.d/network restart

ユーザーの追加 (初期設定用テンプレート)

# useradd -g users -d /home/[username] [username]

グループの追加

# /usr/sbin/groupadd usergroup

グループIDの変更

# /user/sbin/groupmod -g 500 usergroup

Xサーバーを切る

# /sbin/init 3

Xサーバーを立ち上げる

# /sbin/init 5

時刻設定

# date -s "04/05 10:00 2014"

root のパスワードを忘れてしまった場合

kernel を選択する画面で、起動時のコマンドの末尾に 1 または single を付け加える。

シングルユーザーモードであれば、自動的に root ログインが可能となる。

参考URL： http://itpro.nikkeibp.co.jp/article/COLUMN/20061030/252224/

rpm(パッケージ管理)

# rpm -ivh package-1.1.0-x86_64.rpm

i :インストール
v :内容表示
h :なにか忘れた

dpkg (Debian 系パッケージ管理)

$ sudo dpkg -i hogehuga.deb

apt-get でいろいろ

$ sudo apt-get update

パッケージ更新の取得

$ sudo apt-get upgrade

パッケージの更新

$ sudo apt-get install hoge

”hoge” というパッケージを取得

$ sudo apt-cache search huga

”huga” という名前を含むパッケージを検索

$ sudo add-apt-repository ppa:hoge/hugas

ppa を追加する

$ sudo add-apt-repository --remove ppa:hoge/hugas

追加した ppa を削除する

yum でいろいろ

# yum install [packege-name]

パッケージ, ソフトウェアをインストールする。

# yum update

パッケージ, ソフトウェアアップデート(カーネルアップデートに注意！)。

# yum install --enablerepo=[rpmforge/epel] [packege-name]

RPMFORGEやEPELを使用してパッケージ, ソフトウェアをインストールする。
それぞれの *.repo が enable=0 になっているのが前提.
enable=1の場合は, パッケージの新しいものを優先してインストールする模様.

# yum remove [packege-name]

パッケージ, ソフトウェアをアンインストールする。

# yum search [packege-name]

欲しいパッケージ, ソフトウェアがあるかどうか検索する。

.bashrc を変更するときの注意点

ログイン時にメッセージを表示させるようしていると、

protocol version mismatch -- is your shell clean?

(see the rsync man page for an explanation)

rsync error: protocol incompatibility (code 2) at compat.c(64)

といったエラーが出て、rsync, ftp, lftp, scp 等が一切使えなくなる。

よっぽど必要に迫られた場合以外は、「ログイン時にメッセージを表示させるようにしない」こと。

参考URL：

http://md5.blog.shinobi.jp/Entry/34/

LinuxでソフトウェアRAID構築

CentOS5.5での外付けRAID構築です。

使用したHDD、PCIカードは以下です。

-----

外付けHDD：SA-DK5-ESR

HDD：SEAGATE ST1500341AS(1.5TB)

PCIカード：REX-PE30S

まず、PCIカードの増設ですが、

ドライバを入れなくとも自動で認識してくれました。

さすが、CentOS。

あとは、PCIとHDDをeSATAでつないでOK。

つぎは、RAIDの構築の前作業として、

空っぽのHDDにRAID用のパーティションを作成します。

ここでは、/dev/sde, /dev/sdf, /dev/sdg, /dev/sdh, /dev/sdi で認識された

5つのHDDについて行います。

[user@localdomain ]# /sbin/fdisk /dev/sdf

このディスクのシリンダ数は 182401 に設定されています。

間違いではないのですが、1024 を超えているため、以下の場合

に問題を生じうる事を確認しましょう:

1) ブート時に実行するソフトウェア (例. バージョンが古い LILO)

2) 別の OS のブートやパーティション作成ソフト

(例. DOS FDISK, OS/2 FDISK)

コマンド (m でヘルプ): n

コマンドアクション

e 拡張

p 基本領域 (1-4)

領域番号 (1-4): 1

最初シリンダ (1-182401, default 1):

Using default value 1

終点シリンダまたは +サイズまたは +サイズM または +サイズK (1-182401, default 182401):

Using default value 182401

コマンド (m でヘルプ): t

Selected partition 1

16進数コード (L コマンドでコードリスト表示): fd

コマンド (m でヘルプ): w

領域テーブルは交換されました！

ioctl() を呼び出して領域テーブルを再読込みします。

ディスクを同期させます。

[user@localdomain ]#

これを5つのHDD全てで行います。

そして次はRAIDの設定です。

今回は、RAID0を選択しました。

[user@localdomain ]# /sbin/mdadm -C /dev/md0 -l0 -n5 -f /dev/sd[efghi]1

意味としては、

-C /dev/md0 : 新しく作成する

-l0 : RAIDの番号(ここでは０)

-n5 : 使用するHDDの数

-f /dev/sd[efghi]1 : 使用するデバイスの指定

実行すると、

mdadm: /dev/sde1 appears to contain an ext2fs file system