http://blog.k52.org/ ja nihonyamoriのブログです。フリーでWeb開発、デザインなどいろいろやってます。k52.orgにていろんなサービス、コンテンツを公開中。 Copyright 2012 Thu, 15 Mar 2012 23:21:23 GMT Thu, 15 Mar 2012 23:21:23 GMT http://adiary.abk.nu/#2.12 http://blogs.law.harvard.edu/tech/rss http://blog.k52.org/0154 http://blog.k52.org/0154 覚え書き Fri, 09 Dec 2011 05:24:27 GMT nihonyamori Alexaのサイトではトラフィックのグラフを7日、1ヶ月～6ヶ月、MAX（2年）のスパンで見られるけど、画像のURLを直接指定することで最大52ヶ月前（4年4ヶ月前）まで取得できることを知った。

例）
r=に期間を指定。u=でドメインを指定。

6ヶ月
http://traffic.alexa.com/graph?r=6m&u=twitter.com


52ヶ月
http://traffic.alexa.com/graph?r=52m&u=twitter.com


せっかくなのでCeronのサイト情報ページには52ヶ月を貼っておくことにしたよ！
http://ceron.jp/site/twitter.com

Ceronのサイト情報ページは
http://ceron.jp/site/＜ドメイン＞
で見られます。
]]> http://blog.k52.org/0153 http://blog.k52.org/0153 覚え書き Thu, 08 Dec 2011 04:19:27 GMT nihonyamori オープンソースの全文検索エンジンをいろいろ調べてみて、
Solrってのがなんか良さそうだったのでインストールしたりしてみた。

オープンソースの全文検索エンジンにはいろいろあって、有名なのはNAMAZUとかSenna。
NAMAZUは小中規模向けっぽい。
SennaはMySQLを置き換える格好になるのでちょっと使いたくないなと思ってた。
で、Solrは単独で機能する上にかなり大規模までいけるらしい。20億インデクスくらいいけるとどっかに書いてあった。
ちなみにエンジンのコアはLuceneというやつで、それにいろいろくっつけて便利にしたのがSolr。さらにGUIとクローラーまでくっつけたFessというのもあって、これは日本人が作ってたりする。クローラー付きのものにはNutchという海外産のものもある。
でもどれも全体的にドキュメントが少ない。今回試してみたけど、結局よくわからん部分も多く、実戦投入まではいきませんでした。Ceronの全文検索とかまかせられればよかったんだけど。
Nutchは「Googleに代わるオープンな検索エンジン」を標榜してたりするので、サイト内検索とかじゃなくネット全体の検索エンジンも作れそうな気もするけど実際のところ負荷的にどうなんですかね。期待もあるけど気軽に試すレベルでもないしなあ。20億インデクスじゃ足らなそうだけど。

で、以下、Solrをインストールして稼働させるまでに調べたことを備忘録でメモしておきます。ご参考まで。殴り書きですすいません。

・基本、ダウンロードして解凍するだけ。お手軽。

・サーバにサービスとして認識させるために起動シェルを登録。
http://ochien.seesaa.net/article/153105901.html
http://d.hatena.ne.jp/fat47/20110920/1316505461
init.dまわりの説明はこちら http://www.usupi.org/sysad/031.html

・そのままだと日本語対応してないので形態素解析とか入れる。
以前はSenが主流だったけど開発終了。いまは日本語検索にはGoSenを使うらしい。
http://d.hatena.ne.jp/lettas0726/20110711/1310375789
http://d.hatena.ne.jp/hjym_u/20110620/1308578328

・速度的にもSolr優秀。Sennaより成績いい。
http://thinkit.co.jp/book/2008/11/25/211

・PerlインタフェースとしてWebService::Solrがある。
けど、ちょっと巨大すぎ？依存モジュールがやたら多い。自作したほうがよさげ。

・基本マルチコアにする。
各コアにlibディレクトリを作り、それぞれに日本語トークナイザーを入れる。

・Solr自体がWebサーバ（jetty）を持ってて管理画面はその上で動く。Apacheと連携させちゃったほうが管理面で何かと便利そう。
http://www.atmarkit.co.jp/fjava/rensai4/safetomcat_01/safetomcat_01_2.html（理屈はここの中盤のTomcatの場合と同じ）
→でもなんかうまくいかなかった！！！未解決！

以上。

追記（12/9）
ちなみに本は下記を買いました。これ一冊で基本的な部分は困らない。

Apache Solr入門
]]> http://blog.k52.org/0152 http://blog.k52.org/0152 開発日誌 Tue, 06 Dec 2011 02:04:10 GMT nihonyamori 昨日、あたらしいサービスを公開しました。

レビューとレコメンドの総合サイト「フルチェック」
http://flck.jp/



ネット上のさまざまなサイトやブログで書かれたレビューを集約したレビューまとめサイトです。また、同様にネット上のさまざまなデータを分析して、商品同士の関連性を計算したレコメンド機能も提供する予定です。

３年ほど前から似たようなコンセプトでブロガーの本棚という書評まとめサイトを運営していますが、これを本だけに限らず拡大、充実させるような形を目指しています。ブロガーの本棚はそれなりに好評価をいただきながらもアクセス数的にはいまいち伸びなかったので仕切り直し、という意味もあります。
データも流用しているので、フルチェックが伸びそうであればブロガーの本棚は終了する方向で考えています。

あと、前述の通りレコメンド機能は充実させる予定です。
どこのショッピングサイトにもついているレコメンド機能ですが、自分の経験上あまり新しい出会いにつながってる感じがしません。もっとディープに掘り下げられるようなレコメンドが可能なんじゃないかと考えてます。
レコメンド単体のサービスにしたほうがエッジが効いてていいかなとも思ったんですが、トラフィック分散させてもモチベーションに関わるので総合サイトとしての扱いになりました。
ちなみにレコメンド系は過去に「この人も好きかも（閉鎖済）」というのを運営してたことがあります。

さらに商品検索結果は画像大きめにしてレビューも一覧できるようにしました。これは今運営中の「一望amazon」を踏襲しています。

というわけで、これまで自分が作ってきたショッピング系サイトのコンセプトをまとめたような格好になってます。いままで自分なりに便利だと思うものを作ってはきたけどあんまりトラフィックが伸びなかったのでリベンジ的な意味合いもあります。以前よりはサイト開発運営のノウハウも深まっていますし。

いろいろ理念だけ先行していて機能的には未成熟な感じですが様子見しながらバージョンアップを重ねていければと思います。
どうぞご利用ください。

レビューとレコメンドの総合サイト「フルチェック」
http://flck.jp/
]]> http://blog.k52.org/0151 http://blog.k52.org/0151 覚え書き Fri, 21 Oct 2011 02:41:59 GMT nihonyamori と思ったら取得用のURLが変わったみたい。

こちらを参考にどうぞ。
http://www.picolix.jp/blog/search/909/

Perlモジュールの
WWW::Google::PageRank
を使ってるんだけど、モジュール内のURLの記述を書き換えたら普通に取得できるようになりました。
]]> http://blog.k52.org/0150 http://blog.k52.org/0150 覚え書き Sun, 11 Sep 2011 11:28:04 GMT nihonyamori 公式ではないぽいが。

http://s.hatena.ne.jp/entries.json?uri=＜URL＞

ブックマークコメントに対するスターも取得できる。

＜追記＞（2011/12/11）
間違っていたので直しました。すみません。
クエリのキーはurlじゃなくてuriです。
]]> http://blog.k52.org/0149 http://blog.k52.org/0149 開発日誌 Mon, 15 Aug 2011 12:18:34 GMT nihonyamori 原寸画像検索をリニューアルいたしました。

原寸画像検索
http://gensun.org/



いろいろ変更しているのですが、主な変更ポイントを列記します。

■スマートフォンからの閲覧に対応
スマートフォンからのアクセスがだいぶ増えてきたので対応しました。
画面サイズに応じて横幅を調整することで、スマートフォンのような小さな画面でも快適に見られるようになっています。
ただ、数百枚単位で画像を並べているのでどうしてもスマートフォンではスペックが追いつかないことも...。次のページの読み込みが遅いことがありますが、その点はご容赦ください。

■各APIへのリクエストを削減
今まで、一部APIの利用制限をオーバーしてしまっていたため、検索結果の数が少なめになってしまうことがあったのですが、キャッシュの効率を上げ、なるべくAPIを叩かないよう調整しました。
APIの呼び出しを少なくしたことでレスポンスも向上しています。
ちなみに、米Yahoo!BOSS APIのVer2に対応し、従量制の有料APIを利用しはじめました。有料APIの使用は初めてですが料金を様子見しながらリクエストを調整していきたいと思います。

■検索ワードの解説や関連キーワードを画面下部に
画面下にマウスを持って行くと、検索キーワードについての補足情報が表示されます。誰これ？と思ってもすぐに調べられるのでなかなか便利です。


■画像の隙間が減った
さまざまな大きさの画像をずらっと並べていたので、どうしても画像の間に大きな隙間ができてしまうことがあったのですが、今回のバージョンでは画像の並び順に一手間加えることで隙間を減らすことに成功しています。

■表示できない、または削除済みの画像についてもテキスト表示が可能に
原寸画像検索は基本的に削除された画像については表示しない（というかホットリンクなので表示できない）仕様なのですが、削除されていてもテキスト情報だけは欲しいということもあるので、削除済み画像の情報を表示するオプションを用意しました。詳細設定から選択できます。
このオプションを指定すると、ホットリンク禁止のサイトについても同じようにテキストだけ表示されます。
（↓こんなふうに表示されます。）


■トップページのサムネイルが綺麗な正方形に
トップページや一覧ページに並べる画像をきれいな正方形にトリミングしました。見栄えはかなり良くなったかと。

■FC2の画像も見られる
FC2やYahooブログなど、一部のサイトは画像のホットリンクを禁止しています。そのため原寸画像検索では検索結果に出ることがなかったのですが、一部キャッシュシステムを導入し、これらのサイトの画像もキャッシュという形で表示できるようにしました。特にFC2は画像の量が多いので、検索ワードによっては表示される画像が大幅に増えています。
（ディスクを逼迫しないよう、キャッシュ画像のサイズはやや小さめに、画質も少し落としています。）

■評価制度
画像の下にある★をクリックすることで、画像に投票できます。
現時点では投票数が検索結果に影響することはありませんが、そのうち何かに使うかも…。

以上です。
旧サイト（http://gensun-images.com/）も稼動していますが、しばらくしたらリダイレクトさせて新サイトに統一する予定です。

原寸画像検索
http://gensun.org/
]]> http://blog.k52.org/0148 http://blog.k52.org/0148 開発日誌 Mon, 25 Jul 2011 09:07:56 GMT nihonyamori Ceron.jp専用の開発ブログをスタートさせました。

Ceron.jp開発ブログ

基本的にCeronのことはすべて「Ceron.jp開発ブログ」で書きます。
専用ブログの方では今まで書かなかったような細かい変更や実験的なものも記載していく予定です。

で、今ご覧のブログはこれまで通り、Ceron以外のサービスについての話や、nihonyamoriの個人的な雑記などを書いていくつもりです。
]]> http://blog.k52.org/0147 http://blog.k52.org/0147 開発日誌 Mon, 27 Jun 2011 08:57:26 GMT nihonyamori 新サービス作りました。動画検索サイトです。

全再生型動画検索サイト visme［ビスミー］


検索結果にサムネイルではなくプレイヤーをそのまま並べ、再生させながら検索できます。

一画面に収まる9～12個の動画が一挙に再生されます。
すごくノイジーになりそうな気がしますが、意外と普通に見れます。
従来の動画検索のような「検索→クリック→再生→戻る」を繰り返さなくても、なんとなく流し見しながらたくさんの動画の内容を把握できます。
スクロールしていくとどんどん下に検索結果がつながり、次々再生されていきます。ちなみに画面外にスクロールアウトした動画は、負荷の兼ね合いからも一時停止されます。

動画はどうしても一個の内容を把握するのに時間がかかってしまうので、もっと短時間でさくさく把握できる動画検索はできないかという考えで作りました。
他局の番組が一斉に写ってるテレビ局のバックヤードみたいなのを連想してもらえればと思います。

当然といえば当然ですが、ちょっと重たいです。

アクセスするといきなりいろいろ再生されて音が出るので、音量にご注意ください。
全再生型動画検索サイト visme［ビスミー］

]]> http://blog.k52.org/0146 http://blog.k52.org/0146 開発日誌 Mon, 11 Apr 2011 02:12:50 GMT nihonyamori メディア別 英単語帳 meditan（メディたん）
をリリースしました。



海外サイトごとの頻出英単語をリストアップするサービスです。
英語力は結局のところ単語の習得量に左右されますが、単純に英単語を勉強しまくるというのも辛いので、「読みたい海外サイトを読めるようになる」というのを目標にすればはかどるんじゃないかという発想です。

僕も英語は大変苦手なのでこれでなんとかしたいところです…。

単語テスト機能とかつけたかったんですが、大変そうなのでとりあえず一覧のみでのリリースにしました。CSVでダウンロード出来るようにしたので、ブラウザで見るよりもダウンロードしてExcelで自分で加工するなり印刷したりするなりしたほうがたぶん便利です。
ニーズがあれば改良していきます。訳を併記したり、熟語とかもリストアップできればよいなあと思ってます。
]]> http://blog.k52.org/0145 http://blog.k52.org/0145 開発日誌 Tue, 05 Apr 2011 11:58:41 GMT nihonyamori 検索などからtwitterの単独ページにたどり着いたときなど、そのつぶやきの前後を確認したくなる時があります。twitterには「次へ」「前へ」などのメニューがないので、ひとつ前のつぶやきを調べるだけでも一苦労です。

すでに前後を表示するGreasemonkeyというのがあるのですが、そういうものに頼らずに表示できるようにしたいと思い、Ceron.jpの機能として付与しました。

http://ceron.jp/url/ ＋ツイート単独のURL
にアクセスします。

例えば
http://ceron.jp/url/twitter.com/nihonyamori/status/48718590379171840



ツイートの右下に「前後のツイートを調査」があるので、クリックすると下記のように前後を含む一覧が表示されます。



地味ながら結構役立つと思います。まあ、正直twitter本家で実装すべき機能だと思いますが…。
ちなみに毎回URLを打つのは面倒ですので、Ceron.jpのブックマークレットを使うと、見ているツイートからワンクリックで簡単に切り替えることができるので、ぜひご利用ください。

追記（2011/4/6）
どうもtwitterの3200件制限がAPIにもあるようで、3200件より古いツイートではデータを取得できないようです。
]]> http://blog.k52.org/0144 http://blog.k52.org/0144 開発日誌 Mon, 17 Jan 2011 10:54:41 GMT nihonyamori そういえば今年の挨拶をブログでしていなかった。
今年もよろしくお願いします。

で、Ceron.jpに記事検索機能を実装しました。
Ceron.jpで収集した全ての記事を全文検索できます。
検索対象は10LINK以上集めた記事のみです。
Ceron.jp記事検索

画像は「卯年」で検索したところ。


google等の一般の検索エンジンで検索するのとはだいぶ違った結果が出るのでなかなか面白いと思います。ぜひお試しください。
opensearchにも対応しているのでFirefoxやIE8以上をお使いの方はブラウザの検索バーに組み込めます。詳しくはこちら

MySQLの全文検索を利用したオリジナル検索エンジンなので、いまのところ表記ゆれ等のかゆいところに手は届いていませんのであしからず。
]]> http://blog.k52.org/0143 http://blog.k52.org/0143 開発日誌 Sat, 11 Dec 2010 04:14:04 GMT nihonyamori 原寸画像検索の検索結果にYahoo!Japanの検索結果を組み込みました。
これまでの原寸画像検索は米Yahoo!、Bing、Amazonの3つのエンジンの組み合わせでしたが、米Yahoo!がBingのエンジンに切り替わるため、このままではBing、Bing、Amazonになってしまいます。
それだと面白くないので、米Yahoo!をYahoo!Japanに切り替えることにしました。
Yahoo!JapanはエンジンにGoogleを採用したので、実質的にはGoogle、Bing、Amazonの組み合わせになります。
Googleの画像検索は他と比べると検出量が多いので、検索結果のボリューム贈が期待できます。

ただ、米Yahoo!の画像検索APIについてはまだエンジンの切り替えが完了していないようです。なので米Yahoo!も現状とりあえず残したままにしており、切り替えが完了するまでは米Yahoo!、Yahoo!Japan（Google）、Bing、Amazonの4エンジン複合という形でいきます。
Yahoo!Japanは切り替え完了したようですが、キーワードによってGoogleと検索結果が異なってたりするので。まだ完全ではないのかもしれません。

ちなみに米Yahoo!API（Search BOSS）は有料化の方向で行くみたいですね。

■米Yahoo!、BOSS V2は課金モデルへ移行
http://www.sem-r.com/news-2010/20101014185235.html

中身がBingになるのだとするとBing APIがわりと制限ゆるめで無料なのでそっちを使った方がいいことになりますが、BingAPIもこれにあわせて何かしら変更されるかもしれません。
twitterやfacebookなどコミュニティ系のAPIは、APIの解放がコミュニティの醸成につながりますが、検索エンジンのAPIはサーバリソースが食われるだけであまりAPI提供元にメリットがありません。なのでBOSS有料化をきっかけに他のAPIの提供形態にも変化が出てくるかもしれません。
]]>