acotie.me

3年前にブログの多言語化対応を実はしていた話

Sat, 06 Jul 2024 01:00:00 +0000

ブログ再構築の記事の続きです。

ブログの再構築を Jekyll + Netlify + Github で行った話 | acotie.me

注意

今回の記事は3年前にこのブログ上で実際に作ったことで、すでに多言語化対応済みで公開している状態でしたがまとめたいと思います。

なぜ作りたいのか？

英語の勉強のために英語で文章が書きたいと思ったこと
当時外資系企業に在籍しており海外の方と知り合う機会が多かったため英語化をしたいと思った

使用ライブラリ

Jekyllに対して拡張できる複数ライブラリを試して、私はこのpolyglotというライブラリを使うことにしました。 untra/polyglot: :abc: Multilingual and i18n support tool for Jekyll Blogs

候補ライブラリ

追加するまで

polyglotのREADMEの通りにすすめていきます

untra/polyglot: installation の通り、

`Gemfile` の group :jekyll_plugins に `gem "jekyll-polyglot"`を追加

# If you have any plugins, put them here!
group :jekyll_plugins do

  gem "jekyll-polyglot"
end

`_config.yml` のpluginsに以下を追加する

plugins:
- jekyll-polyglot

Configurationを参考に `_config.yml` に以下の設定を追加する

languages には対応したい言語の配列を追加し、 exclude_from_localization にはテンプレートを元に除外したいフォルダ、ファイルを指定します。

# Lang
languages: ["ja", "en"]
default_lang: "ja"
exclude_from_localization: [ "img" , "js", "javascript", "images", "css", "public", "fonts"]
parallel_localization: true
sass:
    sourcemap: never
lang_from_path: true

使い方

Jekyllで記事を作る場合、ブログ記事は _posts フォルダ内にMarkdownファイルを追加をします。例として、以下のようなイメージです。(ファイル名は How To Use Itより引用)

旧: _posts/2010-03-01-salad-recipes.md
新: _posts/2010-03-01-salad-recipes-en.md

新の _posts/2010-03-01-salad-recipes-en.mdを作成した場合、通常は日付+タイトル.mdだったものの最後に *-en.md 多言語対応したい言語のi18nを追加します。

これをすれば、実際の _posts/2010-03-01-salad-recipes-en.md の記事の内容に下記を追加する。

permalink: /salad-recipes と lang: en は必要です。

例 _posts/2010-03-01-salad-recipes-en.md

permalink: /salad-recipes
lang: en

さらに拡張する

Translation permalink information in pageセクション内の以下のサンプルコードを元に、テンプレートに組み込みます。

テンプレートの _layouts/post-sidebar.htmlに追加して記事のスイッチ部分を作っていく。

_layouts/post-sidebar.html

        <!-- Lang Switcher -->
        
        <span style="font-size:1.8rem"><a style="font-weight: bold;" ferh="/add-multiple-lang-for-blog" >ja</a> |</span>
        
        <span style="font-size:1.8rem"><a  ferh="/en/add-multiple-lang-for-blog" >en</a> |</span>

記事の投稿内にメニューの言語切り替えする ` ja | en ` のスイッチャーができました！

Leica Q2 を購入して1年経ちました &レビュー

Tue, 17 Aug 2021 15:00:00 +0000

2020年の夏頃にLeica Q2を買ってから、さらに写真の魅力について簡単にレビューをしたいと思います。

Leica Q2とは？

公式サイト: ライカQ2 // ライカQ // フォトグラフィー - Leica Camera AG

ライカQ2は、4730万画素の35mmフルサイズセンサーを採用しているコンパクトデジタルカメラです。ライカQの後継機で、防塵防滴仕様になっています。明るく高性能なレンズ「ライカズミルックス f1.7/28mm ASPH.」が採用され、有機EL電子ビューファインダーを搭載しており、4Kの動画撮影も可能です。

「ライカQ2」の撮像素子には、有効4730万画素の35mmフルサイズセンサーを採用しています。細部まで鮮明な静止画や4K動画を撮影できるほか、最高ISO感度50000までの高感度撮影も可能です。

今回新たに75mmレンズ相当の画角を選択できるようになり、さらに柔軟に表現を楽しめるようになりました。最大記録画素数で撮影できる28mmの焦点距離に加えて、ボタン操作一つで35mm、50mm、75mmの焦点距離の撮影範囲を示すブライトフレームを液晶モニター上にデジタル表示することが可能です。

source: 詳細 // ライカQ2 // ライカQ // フォトグラフィー - Leica Camera AG

アクセサリー類、買ったもの

購入時の2020年7月の価格のため、現在は価格の変動があるかもしれません。

液晶パネル用プロテクトフィルター 3,570円
- Deff Professional GLASS for LEICA 東京カメラ部推奨モデル (LEICA 03)
Leica 純正レンズフィルター 15,400円
- Leica(ライカ) フィルター E49 UVa II ブラック
Hard Graft カメラストラップ 19,658円 (商品16600円 + 送料3,058円)
- Duotone Camera Strap . Classic – hardgraft

所感

外観や心境について

箱がちょっとしたクローゼットみたいで豪華すぎた。
フォルムがめちゃくちゃかっこいい。重厚感があってシンプルかっこいい。
ご褒美感覚で買ったので、置いているだけでテンションが上がる。

機能面について

Leica Q2は、防滴防塵仕様なので外でも安心できる。
バッテリーの持ちが良い気がする。1000枚以上が余裕で撮れた。ライカSL用の大きなバッテリーが搭載されているとのこと。
Leicaの公式アプリ連携が便利。Bluetooth連携がスムーズで、Q2で撮った写真をすぐにアプリからスマホに取り出すことができる。外出先ですぐにシェアできる。

使用した後の感想

F1.7から設定できるライカ SUMMILUXレンズが明るくて、撮影時の背景がきれいにボケてくれて感動した。なんでもエモくなる気がする。
Q2で写真を撮ると、なんでも雰囲気が良く見えてしまい、上手になった気分になってしまう。
説明書をあまり読んでいなくて、マクロモードの存在に気づくのが遅くなった。お花などを気軽に撮れるのが良い。

作例

image1

image2

image3

image4

image5

image6

ブログの再構築を Jekyll + Netlify + Github で行った話

Wed, 26 May 2021 15:00:00 +0000

先週、新しくBlogの再構築を Jekyll + Forestry.io + Netlify + Github 環境で行いました。

実現できたこと

Jekyllをベースにしたブログテンプレートをベースに、オンラインでCMSのようなインターフェイスでブログを更新し、更新後はGit + Githubと連動してパブリッシュまで実行すること。

新しいブログ構成サマリ

ブログシステム： Jekyll
ブログ投稿用CMS： Forestry
デプロイ：Netlify (以前は Forestry)
ホスティング： Netlify (以前は AWS S3)
ソースコードのリポジトリ： Github

Jekyllとは？

静的サイトジェネレーター（Static Site Generator）のひとつ、Rubyでできている

Jekyllは静的サイトジェネレーターです。お気に入りのマークアップ言語で書かれたテキストを受け取り、レイアウトを使用して静的なWebサイトを作成します。サイトのルックアンドフィール、URL、ページに表示されるデータなどを微調整できます。

前提条件

Jekyllには次のものが必要です。

Rubyバージョン2.4.0以降

RubyGems

GCCとMake Ref. Quickstart | Jekyll • Simple, blog-aware, static sites

Forestry.ioとは？

Forestryとは？

理解すべき主なことは、他のコンテンツ管理システムとは異なり、Forestryは完全にGitによって支えられているということです。

簡単に言うと、ForestryはGitを介したエディターフレンドリーなインターフェースです。これは、開発者と編集者が同じワークフローとツールセットを使用できることを意味します。

これはまた、すべてのコンテンツとコードが常にあなたのものであり、あなたの手の届かないところにあるクラウドのデータベースに保存されていないことを意味します。

利点

静的サイトを構築してGitを利用したCMSを使用することを選択すると、従来のモノリシックCMSに比べて多くの利点があります。
Ref. Introduction | Forestry.io

再構築しようと思った原因

もともと Jekyll + Forestry.io + AWS S3を利用していました。いい感じでしたが、作成後にしばらく更新できておらず、2年ぶりに気合を入れて多言語対応のプラグイン kurtsson/jekyll-multiple-languages-plugin 導入したあたりから、S3に反映されないことに気づきました。

Forestry側でいつの間にかデプロイ機能がなくなっていたこと
多言語対応など大幅なカスタマイズをマージした結果、各ページのコンテンツや記事が Forestry.io の画面上に反映されなくなったこと

実現したいこと

気軽にブログ更新したい。モバイルからでも更新したい
CSSのカスタマイズも頑張りたい
Markdown + WYSIWYGでも書きたい

サイトを切り替えるまで

新しくブログ用の Github リポジトリを作成
Forestry に新しく作成したGithubリポジトリを連携する
ローカルでJekyll を動かしながら以前のブログの設定を移植する。CSS・レイアウトを移植する
Forestry 設定の更新
- カテゴリページの設定
- ブログ投稿内容の調整をする
- Settings > Sidebar など設定をチェックし更新する
Netlify アカウントを作成・設定
formspree.io お問い合わせフォームの動的化
テスト
Netlify ドメイン切り替え（DNS切り替え）

参考サイト：

Excel Tips vol.1

Tue, 22 Jan 2019 15:00:00 +0000

一つ上のセルを参照する

カテゴリなどで連続するセルが必要な際には便利

=INDIRECT(ADDRESS(ROW()-1,COLUMN()))

ひとつ上のセルの数値に+1する

No.1から100まで、連番の行を作りたいとき

=MAX(INDIRECT(ADDRESS(1,COLUMN())&":"&ADDRESS(ROW()-1,COLUMN())))+1

文章内で改行を追加する

改行コードはchar(10)、文字列結合は&で可能

="この文章を改行します" & char(10) & B5

WSL / Windows Subsystem for Linux + Ubuntuのセットアップ方法

Tue, 15 Jan 2019 13:00:00 +0000

Windows Subsystem for Linux + Ubuntu セットアップまで

参考サイト

PowerShellから管理者権限で実行

powershell.exe

> Start-Process powershell.exe -Verb runas

管理者権限で実行

Enable-WindowsOptionalFeature -Online -FeatureName Microsoft-Windows-Subsystem-Linux

再起動を求められる、再起動

WindowsアプリストアからLinuxと検索、特集ページからUbuntuをインストール

Ubuntuを起動

Username, Passwordを変更する

そのままアップデートする

$ sudo apt-get update
$ sudo apt-get upgrade

ライブラリインストール

$ sudo apt-get install curl jq git openssl 

agコマンドのインストール

$ apt-get install silversearcher-ag

コマンド使用できる

$ ag -a テスト ~/Documents/

ショートカットの設定

デスクトップやドキュメントへのシンボリックリンクを貼る

参考：Windows 10のWindows Subsystem for Linux（WSL）を日常的に活用する - ククログ(2017-11-08)

$ ln -s /mnt/c/Users/akiko.yokoyama/Documents ~/Documents
$ ln -s /mnt/c/Users/akiko.yokoyama/Desktop ~/Desktop
$ ls -la ~/Desktop
lrwxrwxrwx 1 yokoyama yokoyama 35 Mar  4 10:20 /home/yokoyama/Desktop -> /mnt/c/Users/akiko.yokoyama/Desktop
$ ls -la ~/Desktop
lrwxrwxrwx 1 yokoyama yokoyama 35 Mar  4 10:20 /home/yokoyama/Desktop -> /mnt/c/Users/akiko.yokoyama/Desktop
$ ls -la ~/Desktop/
Atom.lnk                                          Postman.lnk
Everythingで検索.lnk                              Slack.lnk
Fork.lnk                                          desktop.ini
GitHub Desktop.lnk

ターミナルのカラースキームを変更する

windows公式で公開されており、めちゃ簡単だった

https://github.com/Microsoft/console/releases

参考：コンソールにカラーテーマを！WSLも見やすくなる！ - lisz-works https://www.lisz-works.com/entry/ms-color-tool#入手方法

Pyenvのインストール

git clone https://github.com/pyenv/pyenv.git ~/.pyenv
ls -la
echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bash_profile
ls -la
echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bash_profile
echo 'eval "$(pyenv init -)"' >> ~/.bash_profile
source ~/.bash_profile

Redisのインストール

インストール

$ sudo apt-get install redis

起動テスト

$ redis-server
<起動>

set / getサンプル

$ redis-cli
127.0.0.1:6379> set hoge fuga
OK
127.0.0.1:6379> get hoge
"fuga"

MySQLのインストール

$ sudo apt-get install mysql-server

なんかだだハマった。MySQL途中で止めてしまったから。

これのおかげでなんとかなりそう　https://askubuntu.com/a/1091405

Ok I will answer to my question, thanks for the help, so what I have done after many try/error:
First, ensure you can run these commands without any error: (don't hesitate to reboot to avoid locks in apt)
sudo apt-get remove --purge mysql*
sudo apt update
sudo apt-get update
sudo apt-get upgrade
sudo apt-get autoremove
sudo apt-get autoclean
sudo dpkg --configure -a
Delete: (do backup before if you want but do no leave the files in these directories, even with .bak or .old extensions)
    - /etc/mysql
    - /var/lib/mysql
If you have an error mentioning alternatives, run: (replace my.cnf) by the file indicated in the error message)
sudo update-alternatives --remove my.cnf
Then reinstall:
sudo apt install mysql-server
Check now, if at least the mysql service is running:
sudo service mysql status
If still not OK, try to force reinstall:
sudo apt install mysql-server --reinstall
And reconfigure:
sudo dpkg-reconfigure mysql-server

Hyper設定

Puluginsに以下を追加
'hyper-material-theme',
'hyperlinks ',
'hypercwd',
'hyper-search',
'hyper-statusline',

イケてるプラグインをリストアップしてくれている

Awesome Hyper

Hyperの設定ファイルパス
vim /mnt/c/Users/yokoyama/.hyper.js

チャットボット hubot adapterを利用した Slack と Chatwork連携コードサンプル

Thu, 15 Mar 2018 00:00:00 +0000

hubotインストール後に、Slackとchatworkの連携を実現する方法について説明します。（サンプルコードあり）アダプターのインストールをして、環境設定するだけで簡単に実現できます。

まずAdapterとはなにか?

hubotが外部サービス連携するための仕組みです。以下の通り、公式のドキュメントによると hubotを実行するサービスへのインターフェイスです。 と定義されています。

機械翻訳です：
アダプターは、hubotを実行するサービスへのインターフェイスです。
Hubotには、2つの公式アダプターが含まれています。

シェル、つまり開発で使用するもの

キャンプファイヤー

ほとんどのチャットサービスで利用できるサードパーティのアダプタがあります。最も人気のあるものは次のとおりです。（省略）

ref. hubot/adapters.md at master · hubotio/hubot

準備1. npm側でhubotの各種ライブラリインストール

Adapter `hubot-slack`のインストール

$ npm install hubot-slack --save

Adapter `hubot-chatwork`のインストール

$ npm install hubot-chatwork --save

準備2. 各種テスト用チャンネル用意し、トークンを取得する

Slack: Slackのテストのチャンネルを作成し、トークンを取得する
Chatwork: Chatworkのテスト用の部屋(チャンネル？)を作成し、トークンを取得する

準備3. システム環境設定

以下の新しいシェルスクリプトをhubotのディレクトリに追加する。コマンドラインで完結するより、コードに残しておいたほうが運用上親切かと思われます。

env.sh

# slack
export HUBOT_SLACK_TOKEN=[API_TOKEN]

# chatwork
export HUBOT_CHATWORK_TOKEN="[CHATWORK_TOKEN]"
export HUBOT_CHATWORK_ROOMS="[CHATWORK_ROOM_ID]"
export HUBOT_CHATWORK_API_RATE="350"

hubotの起動方法

Slackの場合

$ ./bin/hubot -a slack -n sample-hubot

Chatworkの場合

$ ./bin/hubot -a chatwork -n sample-hubot

hubot x Slack or Chatwork のサンプルスクリプト

以下はサンプルスクリプトです。 robot.hear で正規表現がありますが、マッチすると res.send "[メッセージ]" を返してくれます。

scripts/posting-sample.coffee

module.exports = (robot) ->

  robot.hear /badger/i, (res) ->
    res.send "Yes, more badgers please!"

  robot.hear /I like pie/i, (res) ->
    res.send "makes a freshly baked pie"

  robot.hear /hello/i, (res) ->
    res.reply "Hello  #{res.message.user.profile.first_name}"

  robot.hear /get random color/i, (res) ->
    colors = ['red', 'blue', 'yellow', 'white', 'black']
    res.reply res.random colors

メッセージにリプライするサンプルスクリプト on chatwork

scripts/posting-sample.coffee

module.exports = (robot) ->

  robot.hear /(\[To:12345678\]*)/i, (msg) ->
    envelope = room: process.env.HUBOT_CHATWORK_ROOMS
    sendMsg = "Hi, I'm bot :)"
    robot.send envelope, sendMsg

チャットボットライブラリhubotをインストールとセットアップまで

Tue, 06 Mar 2018 00:00:00 +0000

Hubot installとセットアップ、動作確認まで試したのでメモする。実際にSlackなどの連携までは今回していない。

What’s Hubot?

Github社製のオープンソースのチャットボットライブラリ。CoffeeScript + Node.js環境で動かすことができる。

What is Hubot? Hubot is your friendly robot sidekick. Install him in your company to dramatically improve employee efficiency.

No seriously, what is Hubot? GitHub, Inc., wrote the first version of Hubot to automate our company chat room. Hubot knew how to deploy the site, automate a lot of tasks, and be a source of fun around the office. Eventually he grew to become a formidable force in GitHub, but he led a private, messy life. So we rewrote him. Today’s version of Hubot is open source, written in CoffeeScript on Node.js, and easily deployed on platforms like Heroku. More importantly, Hubot is a standardized way to share scripts between everyone’s robots.

HUBOT | Hubot is your friendly robot sidekick. Install him in your company to dramatically improve employee efficiency.

generator-hubotのインストール

$ npm install -g yo generator-hubot


npm WARN deprecated CSSselect@0.4.1: the module is now available as 'css-select'
npm WARN deprecated CSSwhat@0.4.7: the module is now available as 'css-what'
npm WARN deprecated minimatch@2.0.10: Please update to minimatch 3.0.2 or higher to avoid a RegExp DoS issue
npm WARN deprecated minimatch@0.3.0: Please update to minimatch 3.0.2 or higher to avoid a RegExp DoS issue
/usr/local/bin/yo-complete -> /usr/local/lib/node_modules/yo/lib/completion/index.js
/usr/local/bin/yo -> /usr/local/lib/node_modules/yo/lib/cli.js

> spawn-sync@1.0.15 postinstall /usr/local/lib/node_modules/yo/node_modules/spawn-sync
> node postinstall


> yo@2.0.1 postinstall /usr/local/lib/node_modules/yo
> yodoctor


Yeoman Doctor
Running sanity checks on your system

✔ Global configuration file is valid
✔ NODE_PATH matches the npm root
✔ Node.js version
✔ No .bowerrc file in home directory
✔ No .yo-rc.json file in home directory
✔ npm version

Everything looks all right!
+ yo@2.0.1
+ generator-hubot@0.4.0
added 715 packages in 25.991s

`yo hubot`コマンドでインストール&セットアップ

以下はコマンドラインインターフェイスで入力する。 Ownerはgitの設定から取得しているっぽい。

? Owner Akiko Yokoyama test@example.com
? Bot name sample-hubot
? Description A simple helpful robot for your Company
? Bot adapter campfire

$ yo hubot

? ==========================================================================
We're constantly looking for ways to make yo better!
May we anonymously report usage statistics to improve the tool over time?
More info: https://github.com/yeoman/insight & http://yeoman.io
========================================================================== Yes
                     _____________________________
                    /                             \
   //\              |      Extracting input for    |
  ////\    _____    |   self-replication process   |
 //////\  /_____\   \                             /
 ======= |[^_/\_]|   /----------------------------
  |   | _|___@@__|__
  +===+/  ///     \_\
   | |_\ /// HUBOT/\\
   |___/\//      /  \\
         \      /   +---+
          \____/    |   |
           | //|    +===+
            \//      |xx|

? Owner Akiko Yokoyama <xxxx@gmail.com>
? Bot name sample-hubot
? Description A simple helpful robot for your Company
? Bot adapter campfire
   create bin/hubot
   create bin/hubot.cmd
   create Procfile
   create README.md
   create external-scripts.json
   create hubot-scripts.json
   create .gitignore
   create package.json
   create scripts/example.coffee
   create .editorconfig
                     _____________________________
 _____              /                             \
 \    \             |   Self-replication process   |
 |    |    _____    |          complete...         |
 |__\\|   /_____\   \     Good luck with that.    /
   |//+  |[^_/\_]|   /----------------------------
  |   | _|___@@__|__
  +===+/  ///     \_\
   | |_\ /// HUBOT/\\
   |___/\//      /  \\
         \      /   +---+
          \____/    |   |
           | //|    +===+
            \//      |xx|

npm WARN deprecated coffee-script@1.6.3: CoffeeScript on NPM has moved to "coffeescript" (no hyphen)
npm WARN deprecated connect@2.30.2: connect 2.x series is deprecated
npm notice created a lockfile as package-lock.json. You should commit this file.
npm WARN hubot-help@0.2.2 requires a peer of coffee-script@^1.12.6 but none is installed. You must install peer dependencies yourself.

+ hubot-heroku-keepalive@1.0.3
+ hubot-diagnostics@0.0.2
+ hubot-google-translate@0.2.1
+ hubot-help@0.2.2
+ hubot-google-images@0.2.7
+ hubot-pugme@0.1.1
+ hubot-scripts@2.17.2
+ hubot@2.19.0
+ hubot-maps@0.0.3
+ hubot-redis-brain@0.0.4
+ hubot-rules@0.1.2
+ hubot-shipit@0.2.1
added 151 packages in 6.652s

ローカルで`bin/hubot`コマンドでhubotを動かしてみる

$ bin/hubot

npm WARN hubot-help@0.2.2 requires a peer of coffee-script@^1.12.6 but none is installed. You must install peer dependencies yourself.

up to date in 1.105s
sample-hubot> [Tue Mar 06 2018 20:23:40 GMT+0900 (JST)] WARNING Loading scripts from hubot-scripts.json is deprecated and will be removed in 3.0 (https://github.com/github/hubot-scripts/issues/1113) in favor of packages for each script.

Your hubot-scripts.json is empty, so you just need to remove it.
[Tue Mar 06 2018 20:23:40 GMT+0900 (JST)] ERROR hubot-heroku-keepalive included, but missing HUBOT_HEROKU_KEEPALIVE_URL. `heroku config:set HUBOT_HEROKU_KEEPALIVE_URL=$(heroku apps:info -s | grep web.url | cut -d= -f2)`
[Tue Mar 06 2018 20:23:41 GMT+0900 (JST)] INFO hubot-redis-brain: Using default redis on localhost:6379

実行サンプル

sample-hubot> sample-hubot echo "hello"
sample-hubot> "hello"

sample-hubot> sample-hubot ping
sample-hubot> PONG

Trying to train a Machine learning use word2vec model using as a corpus a Wikipedia

Thu, 22 Feb 2018 00:00:00 +0000

word2vecがMacで動く環境までと、wikipediaのデータを加工して学習させるまで。

参考サイト

wikipediaのデータを加工するまで
- word2vecを使って、日本語wikipediaのデータを学習する - Qiita
word2vecのインストール、実行まで
- 今からでもword2vecを触ってみよう - わいさわのエンジニアリング
word2vecにmecabで分かち書きしたwikipediaを学習させる
- Word２Vec, MeCab, ComeJisyo で病気の症状類似語を出してみた - Qiita

word2vecのインストール

word2vecはこちらからgit cloneしたらうまく行った

dav/word2vec: This tool provides an efficient implementation of the continuous bag-of-words and skip-gram architectures for computing vector representations of words. These representations can be subsequently used in many natural language processing applications and for further research.

$ git clone git@github.com:dav/word2vec.git word2vec

word2vecデモコードの実行

$ cd scripts && ./demo-word.sh

--
Enter word or sentence (EXIT to break): venture

Word: venture  Position in vocabulary: 6603

                                              Word       Cosine distance
------------------------------------------------------------------------
                                          ventures		0.599036
                                           company		0.483345
                                       investments		0.458870
                                            buyout		0.451463
                                        subsidiary		0.431377
                                         companies		0.430938
                                              firm		0.421534
                                            unocal		0.414683
                                              amex		0.414066
                                      conglomerate		0.413784
                                             joint		0.396755
                                              nyse		0.396211
                                        mitsubishi		0.384251
                                      crosscountry		0.383103
                                           bechtel		0.382134
                                           kleiner		0.379211
                                   daimlerchrysler		0.378791
                                          marketer		0.376548
                                              coms		0.376233
                                         financing		0.374592
                                         investors		0.373564
                                             matra		0.373524
                                            invest		0.370923
                                          sumitomo		0.369687
                                      subsidiaries		0.369541
                                              tata		0.369004
                                            paypal		0.366303
                                               psa		0.364887
                                              corp		0.364374
                                         investing		0.363979
                                          keiretsu		0.363619
                                             nynex		0.363340
                                        contractor		0.360837
                                            prisma		0.359162
                                             lycos		0.357675
                                               plc		0.357285
                                          refinery		0.356072
                                       corporation		0.354995
                                     conglomerates		0.354956
                                          holdings		0.353605




Enter word or sentence (EXIT to break): programming

Word: programming  Position in vocabulary: 876

                                              Word       Cosine distance
------------------------------------------------------------------------
                                         scripting		0.638737
                                         smalltalk		0.609791
                                               tcl		0.600699
                                            matlab		0.577854
                                           fortran		0.532493
                                           iverson		0.532436
                                              lisp		0.531992
                                       applescript		0.529222
                                       prototyping		0.522920
                                               awk		0.522085
                                      polymorphism		0.520571
                                             mumps		0.514660
                                              rexx		0.514517
                                          intercal		0.514188
                                              bcpl		0.512607
                                             ocaml		0.512148
                                       concurrency		0.511565
                                        programmer		0.509215
                                               oop		0.507332
                                           haskell		0.506930
                                               clu		0.506697
                                           jscript		0.505970
                                       interfacing		0.502187
                                               vba		0.493627
                                            markup		0.492610
                                       programmers		0.488856
                                        stroustrup		0.488107
                                           niklaus		0.486320
                                               apl		0.482244
                                              cweb		0.480151
                                          software		0.479891
                                              vhdl		0.479674
                                          blitzmax		0.478465
                                          datatype		0.477591
                                            prolog		0.475617
                                    implementation		0.473823
                                             booch		0.473752
                                         assembler		0.473023
                                         compilers		0.472527
                                            modula		0.472105

Wikipediaデータ関連

Wikipediaの日本語データのダウンロード

2.4GBあり、1時間くらいかかった

$ curl https://dumps.wikimedia.org/jawiki/latest/jawiki-latest-pages-articles.xml.bz2 -o jawiki-latest-pages-articles.xml.bz2

データの加工のためのruby製`wp2txt`インストール

WikipediaのデータがXMLのため、txtに変換させるライブラリをインストールする

gem install wp2txt bundler

wp2txtを実行しXMLをテキストにコンバート、加工する

実行完了まで1時間以上かかる。 517ファイル作られていた。

$ wp2txt --input-file jawiki-latest-pages-articles.xml.bz2

# 実行結果：こんな感じの連番のファイルが生成される
start:  jawiki-latest-pages-articles.xml-001.txt  
finish: jawiki-latest-pages-articles.xml-517.txt

連番のファイルをひとつのファイルにまとめる

$ cat jawiki-latest-pages-articles.xml-* > jawiki_wakati.txt

mecabを使ってコーパスファイルの作成

テキストにはコンバートできたけど、実際に使うためには文章がダラダラと書かれている状態なので mecabを使って、単語だけを切り出すように加工する。

homebrewを使ってmecabのインストール

$ brew install mecab

mecab実行コマンドを試す：mecabの分かち書きコマンド `mecab -Owakati`を実行

コンソール的な標準入力・標準出力なモードになるので、適当な文章を入れる。・

$ mecab -Owakati

＜入力待機状態＞

今日はお疲れ様でした。明日も頑張りましょう。            ←  入力した文章
今日 は お疲れ様 でし た 。 明日 も 頑張り ましょ う 。 ←  結果

こんにちは、私の名前は横山 彰子です。                   ←  入力した文章
こんにちは 、 私 の 名前 は 横山 彰子 です 。           ←  結果

mecabを使って単語だけ抽出する

$ mecab -Owakati jawiki_wakati.txt -o jawiki-mecab-data.txt

input-buffer overflow. The line is split. use -b #SIZE option.
input-buffer overflow. The line is split. use -b #SIZE option.
input-buffer overflow. The line is split. use -b #SIZE option.
input-buffer overflow. The line is split. use -b #SIZE option.

何度も input-buffer overflow. The line is split. use -b #SIZE option.が出てしまった。

バッファサイズ指定し、再実行`-bオプション`を使い再挑戦

$ mecab -Owakati -b 100000 jawiki_wakati.txt -o jawiki-mecab-data.txt

word2vecにmecabの分かち書きデータを学習させる

$ time ./word2vec -train jawiki-mecab-data.txt -output jawiki_wakati_mecab.bin -cbow 0 -size 200 -window 5 -negative 0 -hs 1 -sample 1e-3 -binary 1

バックアップ

これは古い方。 Wikipediaデータの学習、単語だけじゃなくてフルだから結果おかしくなった

$ word2vec -train jawiki_wakati.txt -output jawiki_wakati.bin -size 200 -window 5 -sample 1e-3 -negative 5 -hs 0 -binary 1
--
Starting training using file jawiki_wakati.txt
Vocab size: 1213139
Words in train file: 157879973
Alpha: 0.000005  Progress: 100.00%  Words/thread/sec: 182.72k  %

wikipediaの分かち書き

word2vec-distance jawiki_wakati.bin

Pow + xip.ioでRailsのバーチャルホストをlocalhostで共有する方法

Sat, 17 Feb 2018 00:00:00 +0000

バーチャルホスト云々をシンボリックリンク貼るだけで [project-name].dev に簡単にできるようになる。 xipを使うと、さらに同じネットワーク内の人にも簡単に共有ができる。

Powのインストール

公式サイト： Pow: Zero-configuration Rack server for Mac OS X $ curl get.pow.cx | sh

Anvilのインストール

公式サイト：Anvil for Mac - Run your sites locally

xip.ioとは

PowerDNS といういろいろなものをバックエンドに使える DNS サーバで作られた、IP アドレスをサブドメインに入れておくとその IP アドレスそのものに名前解決されるドメインです。

例えは、以下のような URL でローカルホストにアクセスできます（127.0.0.1 に解決される）。 xip.io で簡単バーチャルホスト - ngyukiの日記

ifconfigでローカルIPアドレスを確認する

$ ifconfig
＜省略＞
en0: 
 inet [ip-adress]

pow + xip.ioの組み合わせで、ローカルでpowを設定した [リポジトリ名.dev] を他の人に [リポジトリ名].[ローカルIPアドレス].xip.io で簡単に共有できた。xip.io便利。

$ curl curl -XPOST -v -H 'Content-Type: application/json' http://[project-name].[local-ip-address].xip.io/api/v1/auth/sign_in -d '{"email": "test@example.com", "password": "testtest" }

Rails console command tips

Fri, 02 Feb 2018 00:00:00 +0000

Railsコンソールのできることが定期的にググってしまうので書いていく

参考サイト

ActiveRecord入門 - Qiita

Railsコンソールあるある

$ rails c

pp Category.select("id, name").first.to_json
D, [2018-02-02T17:24:24.080967 #78025] DEBUG -- :   Category Load (0.3ms)  SELECT  id, name FROM `categories` WHERE `categories`.`deleted_at` IS NULL  ORDER BY `categories`.`id` ASC LIMIT 1
{"id":100,"name":"test name"}

#全カテゴリをとってくる
pp Category.all

#特定のIDのカテゴリをとってくる
pp Category.find(1)

#特定のIDのカテゴリのIDを取得
pp Category.find(1).id

#カテゴリの最初のレコードをとってくる
pp Category.first

#カテゴリの最後のレコードをとってくる
pp Category.last

#全カテゴリの`id`,`name`をとってくる
pp Category.select("id, name")

#全カテゴリの`id`,`name`のレコード数をとってくる
pp Category.select("id, name").size

#全カテゴリのname = "test name"をとってくる
pp Category.where(name: "test name")

#全カテゴリのname = "test"をID順でソートして3件とってくる
pp Segment.where(name: "test").order(:id).limit(3).to_json

#全カテゴリのname = "test"をID順でソートして1番目から3件とってくる
pp Segment.where(name: "test").order(:id).limit(3).offset(1).to_json

今の時間からランダムな4,5,6日後のいずれかを返す
[4,5,6].sample.days.from_now
=> Wed, 07 Feb 2018 19:21:07 JST +09:00


rand(1..10).days.ago
rand(1..10).hours

FactoryGirlの書き方メモ Blogモデルの例 nameとdescriptionには、連番で数字が入るようになり、カテゴリは’programming’,’design’,’marketing’,’sales’のいずれかのランダム

$ vim spec/factories/blogs.rb 

FactoryGirl.define do
  factory :blog do
    sequence(:name){|n| "name #{n}"}
    sequence(:category){ ['programming','design','marketing','sales'].sample }
    sequence(:description){|n| "description #{n}"}
    sequence(:user_id){ rand(1..3) }
  end
end

blogの呼び出し

FactoryGirl.create :blog

日付の扱いについて

start_datetime { rand(1..10).days.ago }
end_datetime { start_datetime + rand(1..10).hours }

as nameにする公文はこちら

User.select("settings -> 'language' as user_language")
User Load (7.1ms)  SELECT settings -> 'language' as user_language FROM `users` WHERE `users`.`deleted_at` IS NULL

Productとcategories, product_imagesをとってきて、categoriesのid2,1,6をDISTINCTする

Product.includes(:categories, :product_images).where(categories:{id:[2,1,6]}).uniq

console 見やすくする

extend Hirb::Console

table Category.all, vertical: true

********************* 1. row *********************
            id: 1
          name: category_name
    created_at: 2018-01-15 23:16:11 +0900
    updated_at: 2018-01-15 23:16:11 +0900
********************* 2. row *********************

acotie.me

3年前にブログの多言語化対応を実はしていた話

注意

なぜ作りたいのか？

使用ライブラリ

候補ライブラリ

追加するまで

Gemfile の group :jekyll_plugins に gem "jekyll-polyglot"を追加

_config.yml のpluginsに以下を追加する

Configurationを参考に _config.yml に以下の設定を追加する

使い方

さらに拡張する

Leica Q2 を購入して1年経ちました &レビュー

Leica Q2とは？

アクセサリー類、買ったもの

所感

外観や心境について

機能面について

使用した後の感想

作例

ブログの再構築を Jekyll + Netlify + Github で行った話

実現できたこと

新しいブログ構成サマリ

Jekyllとは？

Forestry.ioとは？

再構築しようと思った原因

実現したいこと

サイトを切り替えるまで

参考サイト：

Excel Tips vol.1

一つ上のセルを参照する

ひとつ上のセルの数値に+1する

文章内で改行を追加する

WSL / Windows Subsystem for Linux + Ubuntuのセットアップ方法

参考サイト

PowerShellから管理者権限で実行

WindowsアプリストアからLinuxと検索、特集ページからUbuntuをインストール

agコマンドのインストール

ショートカットの設定

ターミナルのカラースキームを変更する

Pyenvのインストール

Redisのインストール

MySQLのインストール

Hyper設定

チャットボット hubot adapterを利用した Slack と Chatwork連携コードサンプル

まずAdapterとはなにか?

準備1. npm側でhubotの各種ライブラリインストール

Adapter hubot-slackのインストール

Adapter hubot-chatworkのインストール

準備2. 各種テスト用チャンネル用意し、トークンを取得する

準備3. システム環境設定

hubotの起動方法

hubot x Slack or Chatwork のサンプルスクリプト

メッセージにリプライするサンプルスクリプト on chatwork

チャットボットライブラリhubotをインストールとセットアップまで

What’s Hubot?

generator-hubotのインストール

yo hubotコマンドでインストール&セットアップ

ローカルでbin/hubotコマンドでhubotを動かしてみる

実行サンプル

Trying to train a Machine learning use word2vec model using as a corpus a Wikipedia

参考サイト

word2vecのインストール

word2vecデモコードの実行

Wikipediaデータ関連

Wikipediaの日本語データのダウンロード

データの加工のためのruby製wp2txtインストール

wp2txtを実行しXMLをテキストにコンバート、加工する

mecabを使ってコーパスファイルの作成

homebrewを使ってmecabのインストール

mecab実行コマンドを試す：mecabの分かち書きコマンド mecab -Owakatiを実行

mecabを使って単語だけ抽出する

バッファサイズ指定し、再実行-bオプションを使い再挑戦

word2vecにmecabの分かち書きデータを学習させる

バックアップ

Pow + xip.ioでRailsのバーチャルホストをlocalhostで共有する方法

Powのインストール

Anvilのインストール

xip.ioとは

ifconfigでローカルIPアドレスを確認する

`Gemfile` の group :jekyll_plugins に `gem "jekyll-polyglot"`を追加

`_config.yml` のpluginsに以下を追加する

Configurationを参考に `_config.yml` に以下の設定を追加する

Adapter `hubot-slack`のインストール

Adapter `hubot-chatwork`のインストール

`yo hubot`コマンドでインストール&セットアップ

ローカルで`bin/hubot`コマンドでhubotを動かしてみる

データの加工のためのruby製`wp2txt`インストール

mecab実行コマンドを試す：mecabの分かち書きコマンド `mecab -Owakati`を実行

バッファサイズ指定し、再実行`-bオプション`を使い再挑戦