2005年6月27日月曜日

[6]サイト サムネイル画像Crena Html2jpg

サイト サムネイル画像Crena Html2jpg
一応、実用に耐えるものができましたので、フリー:公開しました。
CrenaHtml2jpg7.jpg
1万サイト取得に8時間程度かかります、1件だけ取得エラーでCrenaHtml2jpg自体が、
保護エラーで落ちました。=>SSL使用サイトで、正規の認証局を使用していない場合、
SSL証明のダイアログボックスが表示される場合に落ちる時があります。落ちない場合もある。
ダウンロード先は、http://dip.picolix.jp/page3.html
画面紹介は、http://dip.picolix.jp/disp5.html
1万サイト取得使用実績は、http://sozai.picolix.jp/dmoz/77596/86468/index.html
今まで、url2bmpをコマンドライン&スクリプトで使ってきたのですが、エラーや取りこぼしが多く、全自動では
使い物にならなかったですが、これで自前で自動取得ができるようになりました。

2005年6月19日日曜日

Yahoo Japan!検索順変動間際?

「検索エンジン考」 - 日YST変動の予兆?で、
-------
6/18にYahoo Japanの検索結果で表示される総インデックス数が、米国Yahooに近いものに変更されているとのことで、Yahoo Japanでの検索順位結果は、現時点で特に順位に変動は無いが、
”次回YST変動の本命は6月22日である。”とされています。
また、日本においては独自部分(検索アルゴリズム)の米YSTへの吸収を意味するものかもしれない。
-------
というコメントが上がっていました。
さて、キーワード「タータンチェック]で総件数を少し調べてみると。
Yahoo.co.jp 152,000件 Yahoo.com 159,000件 で言われるように下3桁が0になっています。
で、Yahoo.co.jpにおいて当管理サイト sozai.picolix.jpは、1位なのですが、Yahoo.com では、11位となっています。
いつも、Yahoo.co.jpの変動直後は、Yahoo.comと同じぐらいの検索順位の10位前後に落とされて、徐徐に、2,3週間かけて、1位に復活します。
sozai.picolix.jpは、Yahoo Japanのカテゴリーに登録されているので、そのためなんらかの加点があると思っています。
この辺りのYahoo.co.jp独自の加点(?)機能はどうなるでしょう?なくなってしまうのでしょうか?

2005年6月18日土曜日

[5] Crena Html2jpg : サイトキャプチャーツール

コマンドラインからの自動取得がほぼ完成したので、現在は、GUI画面の方を修正中です。
CrenaHtml2jpg-1.jpg
追加・修正項目:
 1)ブラウジング停止ボタン作成
 2)Image() 表示による、読み込みファイルのロック回避
 3)画像の画質調整
   「ソフトウェア情報館・別館」-JPEGサムネイル作成 その4 を参考にさせて頂きました。
 その他予定)
 4)URL入力&各種パラメータ設定
 5)タイムウエイト処理(FLASH画像等、読み込み後少し遅らせるため。
CrenaHtml2jpg.exe -owwwpicolixjp.jpg -fjpeg -w800x600 -s117x90 -uhttp://www.picolix.jp -q92
Quality 92
指定無しよりも若干画質が上がっています。
www92.jpg
Quality の指定無し
wwwn.jpg

2005年6月16日木曜日

[4] Crena Html2jpg : サイトのサムネイル画像の自動取得

サイトキャプチャーツールCrena Html2jpg バージョン0.2テスト中です。
コマンドラインで、スクリプト(バッチプログラム、perl等)から呼び出すと、FLASHを使用したサイトがキャプチャーできないのを修正
=>ブラウジング開始タイミングを、ON_WM_ACTIVATE()発生後にしてOKとなる。
USER AGENTは、
Mozilla/4.0 (compatible; MSIE 6.0; CrenaHtml2jpg 0.2)
で、おじゃまします。
一応、6,000サイト 7時間でエラーなく取得できました。
http://sozai.picolix.jp/dmoz/77596/902594/

IE6.0 SP2 フレームサイトが表示できない。

最近購入したDELLのXP home edtion ; IE6.0 SP2環境で、フレームを使用したサイトを閲覧するとなぜか真っ白になる現象が発生していましたが、下記の方法でやっと直りました。
(IEを一旦見た目上、削除しますので、この方法を実施される方は自己責任でお願いします。)
1)コントロールパネル-プログラムの追加と削除-Windowsのコンポーネントの追加と削除
-Internet Explorerのチェックを外す。”次へ”ボタンを押す。後はPCの指示どおり。
2)一度再起動する、最起動後、IEを削除するか聞いてくるので、”はい”とする。
画面上からIEのアイコンがなくなります。
3)コントロールパネル-プログラムの追加と削除-Windowsのコンポーネントの追加と削除
-Internet Explorerのチェックをする。 ”次へ”ボタンを押す。後はPCの指示どおり。
IE6.0が復活します。
以上で、フレーム使用のサイトも問題なく表示されました。また、自作キャプチャーツールCrena Html2jpgもフレーム使用のサイトでも問題なくキャプチャーできました。

2005年6月15日水曜日

[3] Crena Html2jpg : サイトのサムネイル画像の自動取得

今回作成した、サイトキャプチャーツール Crena Html2jpgで フレーム使用のサイトをキャプチャーしたとき、全フレーム読み込まずに、1フレーム、よくて2フレームしか表示しないことが判明
=>これじゃー コマンドラインから使用した、url2bmpと同じです。
読み込み完了を,DocumentCompleteで判断していたのですが、フレームを利用したサイトだとフレーム数分このイベントが発生します。
フレーム数分の最後で、終了判断しないといけないようです。
=>参考URL http://support.microsoft.com/kb/180366/EN-US/ の適用で、うまく動作しました。(ツールの公開はもう少し先です。)
※最近購入した自宅のXP HOME EdtionのIE6.0 SP2 環境だと、なぜか、フレームサイトがキャプチャーされない。
 アプリケーションの問題かとあれこれ悩んでいのですが、なんと通常のIEブラウザーで、 フレーム使用のサイトをみたら真っ白で表示されません!インターネットオプション-ツール-詳細設定でOKとして、再表示したら、フレームサイトも正しく表示されます。
但し一旦 IEを終了させて再度起動するとやはり、真っ白です。どなたかこの現象わかるかたおられるでしょうか?

2005年6月13日月曜日

[2]サイトのサムネイル画像の自動取得

当初、VC6.0で作っていたのですが、BMPからJPEGに変換するのに、GDI+を使おうと思ったのですが、VC6.0だといろいろ小細工が必要らしい。
「GDI+をVC++ 6.0(MFC)から利用する覚え書き」
http://live.under.jp/todashou/tips/MFC/gdiplus.html
最近のサンプルソースも、VC7.0で記述されているものも多く、手っ取り早く,Visual Studio .netをインストールして、C++(VC7.0)で作成することにした。
一応、最低限の機能ですが、テストバージョンが完成しました。
800x600 => 117x90のJPEGファイルにサムネイル画像を作成。(BMP,GIF,PNG変換対応)
crenahtml2jpg.jpg

2005年6月9日木曜日

サイトのサムネイル画像の自動取得

サイトのサムネイル画像の取得に,pixel-technologyのurl2bmpをvcプログラムから呼び出して使っているのですが、1万サイトを自動で取得すると、JavaScriptエラーのダイアログBOXや、ポップアップウインドウ、プラグインのダウンロード画面などで、デスクトップ画面が埋め尽くされてしまいます。またプログラムから呼び出すと、画像を取得できないことも良く発生する。
他に、Html2bmpを試したのですが、こちらも、url2bmpと同様で、1万サイトの取得には無理があるようです。
有料で、HTML2JPG HTML2JPG, Personal Edition、HTML2JPG, Enterprise Versionがありますが、これも途中でハングアップして今一、使えません。(コマンドラインから使えません。)
何か、いいのはないでしょうか?あればそれを使うのですが。
今のところ見つからないので、作ることにしました。(作成途中です。)
仮称:キャプチャーブラウザー CrenaScape 0.01
crenascape.jpg