Posts

docker kubernetesの基本の基本 chapter 1,2 dockerはLinuxマシンを想定して作られている。cgroupがLinuxの概念だからね。 コンテナはイメージから作る コンテナはカーネルを持たない。が、カーネル以外のosの機能を持っている (本書ではそこを周辺部分と言っている)。カーネルはホストOSと共有する。だから軽い。 コンテナはdocker Engineがあればどこでも動く コンテナはイメージとして書き出すこともできる！ここがsingularityのsifとは違うところだね。おそらくDockerはデフォルトでsingularityのsandboxと同じように、中身の改変が可能なのではないか？と思っている。まだ確信には至っていない。 –> そのとおりです。dockerはどの時点においても動いているコンテナをイメージとして書き出すことができます。 そのときに使うコマンドが、commitです。 dockerでは物理的なマシンのディスクをマウントすることが可能。 コンテナの外部のディスクに書き込むことで、ほかのコンテナとデータを共有することができる。 dockerイメージはdocker hubからダウンロード可能 chapter3 dockerを使う dockerの環境構築方法が書いてあるだけでした。お疲れ様です。 chapter4 systemctl enable dockerでデーモンを自動起動させてください dockerコマンドの基本構文を抑えましょう docker <上位コマンド> <副コマンド> <オプション> <上位コマンド>　== 何を <副コマンド> == どうする っていうのが結構しっくりきました。 ...

Abstruction 近年の大規模な数値シミュレーションは、シミュレーション時のデータ書き込みのみならず、何度も読み出しが実行されるポスト処理においてもストレージがボトルネックになることが多い。 ポスト処理の内容は多岐にわたるが、様々なポスト処理に対応するための条件として、不必要なデータのi/oを極力減らすことがあげられる。本論文では、シミュレーションデータのrefactoring, compressing, retrievalのフレームワークを紹介する。refactoringにより粒度の細かい精度でデータを分解でき、要求した精度でデータを取得することが可能になる。本研究で紹介するフレームワークを使うことで、state-of-the-artの手法を使った時と比べ、複数の精度でデータを要求したときに大幅に取得するデータを減らすことができた。さらに粗い精度でのデータ要求があったときに、分析時間の短縮につながった。 具体的には、本フレームワークを使うことでほかのフレームワークを使った時と比べ、ある精度でのデータ要求があったときに64％のデータ削減を達成した。さらに、1024コアを使って600GBのデータの書き込みと読み込みを実行した際、従来の手法と比較した際、それぞれ1.36倍、2.52倍の性能向上を示せた。 introduction 大規模な数値シミュレーションから生み出されるデータ量は、ストレージのI/O性能を超えている。 並列ファイルシステムは高価なため、増設することが難しい。 一方、並列ファイルシステムに書き込まれたデータは、PFSの容量が圧迫する目的と、長期保存をする目的ですぐに二次記憶に退避される。 PFSのバンド幅は2-2.5Tb/sであるのに対し、二次記憶のバンド幅は1-2GB/sである。そして、このI/Oバンド幅が低いことが、科学的な発見を遅らせる原因となっている。 これらの問題があるため、多くの科学者は可逆圧縮や非可逆圧縮を使い、データの書き込み量や読み込み量を減らす。しかし、可逆圧縮は圧縮率が低いため、先の問題解決には不十分である。このことから近年、より大幅に圧縮が可能な非可逆圧縮が注目を浴びている。非可逆圧縮は、ユーザが指定した許容誤差を保証する範囲でデータの圧縮をする。 しかし、この手法にも欠点がある。 それは、QoIがわからない、つまり、現象の発見に必要な最低限の許容誤差がわからない点である。 非可逆圧縮によるI/Oの恩恵と、QoIを両立させるためには、あるステップで許容誤差を緩めていき、様々な許容誤差で圧縮されたデータをためておけばいいが、それは本末転倒で、結果的に多くのデータをためることになってしまう。さらに、ある誤差で取得したデータの精度が十分でない場合は、再び誤差が小さいデータを1から取得する必要があり、結果的にI/Oを圧迫してしまう。 この問題に対処するのがProgressive compressionである。Progressive compressonとtransmitonは、まずデータを複数の精度に階層的に分解する。そして、ユーザがより高精度のデータを要求するときには、階層構造になったデータのより精度が高い一部分のみをユーザは新たに取得し、それを今までに取得したデータに重ね合わせる。これによりより高精度のデータを得られる。 本研究では、I/Oにボトルネックが生じるという課題を、このProgressive retrievalを用いて解決する。 MGARDというフレームワークを用いることではこれを実現することが可能である。しかし、MGARDはresolution incremental re-compositionをサポートしているのみで、各階層ごとに隣接している精度が粗いという課題がある (これが多分bit-plainを考慮していないっていう話につながるんだと思う) 。本論文ではこれを解決するフレームワークをMGARDを用いて新たに作る。 本研究のcontributionは下記のとおりである。 データリファクタリングアルゴリズムと理論の紹介。本アルゴリズムは、MGARDとbit-plane encodingを組み合わせである。このアルゴリズムは、データを複数の階層の解像度と精度に分解することを可能にする。 データを段階的に取得および再構成できるフレームワークの実装。この段階的な取得により、以下の2つの利点がある：1）データの取得/ストリーミング、再構成、および解析を非同期で実行でき、いつでも既知のエラー範囲内で行えます。2）次の精度レベルに至るデータの部分だけをストリーミングして解析結果が収束するまで、I/Oの負荷を減少。 私たちは貪欲アルゴリズムを一般化して、複数のエラーメトリクスに対してデータの取得効率を改善します。このアルゴリズムは多様な事後解析に適応でき、解析に基づいて再構成されたデータの取得順序を変更することで取得サイズをさらに削減したり、粗い粒度の表現を提供することで解析のパフォーマンスを向上させることができます。また、私たちはフレームワークを最適化します。 chapter2 問題と関連研究 イントロのようやく ・過去10年間におけるデータとストレージ容量の不均衡な成長は深刻な問題である。 ・exascaleコンピューティング時代ではさらに深刻化し、科学的な発見を妨げる要因となっている。 ・ストレージとI/Oの制約に対処する有望な候補として、非可逆圧縮があげられている ・しかし、文献には広範な圧縮技術が存在するにもかかわらず、科学アプリケーションのコミュニティにおけるこれらの受け入れは低い その理由は 1）データの削減プロセスがデータを生成した本来の現象に影響を及ぼす可能性があること。 2）単一のエラー制約の下で削減されたデータが、異なる解析のさまざまなニーズに適合しない可能性があること また、シミュレーションデータはPFSから二次記憶に移される、が二次記憶はバンド幅が小さいためデータの取得が遅くなる。データの生成（例：大規模な実験、シミュレーション）は時折行われるのに対し、生成されたデータはさまざまな研究によって取得される。よって、セカンダリストレージ層の低い帯域幅が不適切な/過剰なデータの取得コストを高める。私たちは、解析に必要な精度にちょうど適合する量のデータをユーザーに提供したいと考えています。 背景 bit-plane encoding (ビットプレーン符号化)　整数をビットで表したときに、桁が上位なビットほど、精度に与える影響が大きい。これは浮動小数点でも同じで、各桁ごとにデータを保存することで、精度に与える影響を優先度付けすることが可能となる。 ...

1R 日進特別 2勝クラス 中京ダート1800m 16頭 中京競馬場の特徴 スタートしてすぐにめっちゃ急な上り坂があります。つまり、スローペースになりやすいと。で、スローペースになると？？そうなんですね。前残りになります。 目標頭数 4頭 初ダート アルバーシャ 初2勝クラス 全頭診断 セグレドスペリオル: お話になりません。もう数年2勝クラスにいて、ここでいきなり勝ち上がるわけがなかろう。 サンライズジャスト: 前回調子を落としたのはなぜでしょう？その前まではかなりいい競馬をしていたと思う。 でも、今回もあんまり調教よくなさそう。どうした？？ アルバーシャ: あー、万ねん2勝クラスタイプのやつです。ダートに変えて心機一転、といったところでしょうが、まあ、厳しいのではないでしょうか？が、どうやらパワータイプのようで、ダートだと一変する可能性があるらしいです。が、まあキリでいいでしょう。 シェットランド: ワンちゃんといった感じ。脚質は先行。中山ではなかなかいい足を使っていた。 あー、中京のダートも最後上り坂。中山ほどではないけれども、中山に近いものはある。ということで、こいつ、前からいってワンチャンあると感じている。いや全然あるで。 マルカアトラス: まあ、前回、3着だったんだけど、その時の勝ち馬がいかんせん雑魚なんですわ。つまり、雑魚相手に3着と。1章クラスを勝ち上がった時、0.1秒差なんですけど、その時の2着はまだ1勝クラスをうろうろしています。ということでキリです。 ジョーコモド: この辺で一発あってもおかしくないやつです。が、やっとの思いで1勝クラスを勝ち上がってきた感が強く、まー、厳しそうだね。思い切って切っていいです。調教は見ますが。 ロードジャスティス: んーーー、なんか、調子を落としている気がする。特に最後末脚があるわけでもないし。 凡走する気配が漂っています。キリです。 ショウサンキズ: なるほど、2走前でじょーこもどに負けていますね。これは厳しいのではないですか？ スナークレジスト: 後ろからですねー。後ろから来すぎて届かないですねー。4走前、3着はいってますが、その時の相手は雑魚ですねー。キリですね。 サンデーミラージュ: はい、きり。 タガノカンデラ: 勝ち上がりの時の相手はまだ１しょうくらすをうろうろ。つまりまぐれで2章に上がってきた雑魚です。キリ。 ブラビオ: 上に同じく。2着の相手は、そのまま地方競馬に行きました。おつ。 キングダムウイナー: あー、二着の相手は一回地方に行って2勝目を挙げて2クラスに来たけど、まあ全然だめですね。これはキリです。際なら。 ニホンピロオーセン: あー、園田で1勝稼いだ雑魚ですねー。まあないと思いますよ。 ブルレスカ: はい、きり！！ ラニカイ: こいつは、連帯率えぐいぞ。未勝利と一生倉s。今回来ても全然おかしくなさそうだけどなー。中京もめっちゃ走ってきてるし。まあ、前回は輸送失敗やな。 でもね、分かったこいつのからくり。小倉だったからだな。小倉ってまあ、中央競馬でも末端だし、あんまり強い馬が集まってこないのよ。で、こいつの脚質、差しなんだけど、小倉って差しにピッタリの競馬場なんですよね。それで最速出しまくってただけですね。ってことで、こいつもキリです。お疲れ様でした。 決定馬 ２，３，４，５ 2R いわき特別 2勝クラス 福島ダート1700m 12頭 目標頭数 2頭 初ダート 初2勝クラス ワールドハート (地方勝ち) 全頭診断 トリプルスリル： あー、勝ち上がったときの2着がまさかまさかうざんまい。このレースにも出てるね。で、2勝クラスには一回出て大負けと。壁にぶち当たったね。今回もないね。キリで。 脚質的には、先行。福島は合いそうだけどね。勝ち上がったのも福島だしね。ただ、ポテンシャルがない。 ヴィンテージボンド 強いね。こいつだと思う。栗東からの長距離輸送は初めてだけど、新潟とかも経験しているから大丈夫やろ。タイム指数も問題ない。4ヶ月の休養明け一発目、さあって感じ。入れておくのはいい。脚質的には逃げ、先行。福島にも合いそう。 ナンヨーヴィヨレ： あー、二章クラスで足踏みしている系。 ...

東京10R ダート1600m このレース、初めてダートに出てくるやつらが多すぎて怖い。何が起こるかわからない。ということで、5頭くらいに絞って、残りは単勝の保険を買っておこうという算段。 初ダートの馬たち スリートップ絆 リトルくれば0 シャチ 初3勝クラスの馬たち サクセスローレル 里のるふぃあん (ほぼキリ判定) ヴぁーんフリート ワールドタキオン 正直、上がってきて一気に行ける奴は、ほぼゼロなんよ。この中に雑魚が3頭混ざっていると思ってほしい。まず、下にも書いてるけど、サクセスローレルはザコ。理由は書いてある通り。 次、里のるふぇぃあん まず、場体重が上がってきているのはいいこと。ただね、前回がかなり走りやすい馬場だったから買った説を提唱したい。つまり、こいつもザコやな。ただ、明日の場体重次第だな。あと、調教。 調教も、特に目立ったことはない。そして、上がってきたときの相手、実は雑魚節、というのもサクセスローレルに負けている、そいつ。上がって一気に勝ち上がれる馬ではない。どっからどう見ても。ということで、思い切って切っていいと思う。ただ、場体重は見て。で、切ったら保険で入れて。2000円くらいでいいから。 ヴぁーんフリート。 こいつもね、ただ走りやすい馬場でかっただけかん強い。前回-6切ろ来てるし、ぶっちゃけ陣営は勝負かけていた感が強いね。その前も-4切ろ。かなり酷使してる感が強い。しかも中1週やで。どうなんやろう、こいつもびみょうやなー。きっていいとおもうでー。そんなに強くないやろ。4,5,6と中一か月で使ってきて、今回は中一周やで。マジで。負荷かけすぎちゃいます？ はい、馬の体重を見て判断したいと思います。うん。 ワールドタキオン： わからん、こいつはわからん（笑） 全島診断 サクセスローレル： 初3章クラス。で、前回-10kgで、5/27ね、勝負に来ている感じだった。しかも、相手はそんなに強くないね、前回2着以外は全部着以下。つまり、こいつもザコってことやな。 スぺロディア： 全盛期杉田。＆勝ち上がったと胃の相手が雑魚パターン 里のルフィ案： ワンチャンだな。こいつも勝ち上がりだけど、ダートにしてから、開花したタイプで、しかも勝ち上がりの時の相手もけっこうつよい。いや、本当か？？そいつ、ピー藍オラクルってやつなんだけおⅮ、サクセスローレルに負けてるわ。しかし、この里のルフィ案ってやつ、4戦続けて場体重上げてきてるのよね。ここで、一気に下げてきたらワンチャンある。先行だし、 最後流してるしね、こいつ結構強いかもしれなに。 シャチ： 初ダート。新聞を参考にしてみます。 ないな。 鈴鹿まくふぃ： ないなー、勝ち上がった時の相手が雑魚すぎる。 スリートップ絆： 初ダート。 ないと予想。 鈴鹿でreや： ない、以上。前回-10KGダシ。なか2ヶ月だしね。マー猛全盛期は過ぎたってこちゃな。6歳だしな。 ぐりゅーすごっと： 内。キリ。上がってきたときの相手がマジで雑魚。話にならん。 ふるヴぉーと： いや、強いで。3章クラスの猛者たちにもまれてちゃんと強くなってると思う。ダート1400で、安定して1:24台が出せている。1:23も出せている。いろんなペースにも対応できると思う。なかなか強い。 エーティーまくふぃー： 先行。末もまあある。まあ、懸念は発東京ってところかな。 間一か月開けてる。こくらとか、新潟とか言ってもまあ、普通に走ってるし、今回も大丈夫なんじゃないか？ リトルくれば―： 初ダート： なんか、最近体重めっちゃ挙げてきてるのよね。こんかいの相手雑魚だから、ここで一気に体重下げてきたらワンチャンあるで。初ダートし。いやまじで。まあでも、オッズ的にwin5に入れるよりは、探勝で2000位かっておくのがいいと思う。 シャンブル： 初ダートなのよねー。ベジャールには4馬身差で負けている。そのベジャールが初ダートで勝ち上がった。しかし、シャンブルはなんか弱そうなのよね。どうなのやろうか。てか、あのダート戦、めちゃめちゃレベル低かったのよ。ベジャールがかって、アメリカンファクトが二着で、三着がライラボンドだっけか？ まあ、今回は勝てないと思います。キリでいいと思います。 ヴぁーんフリート： そんなに杖久根木がするのは俺だけ？上にも書いたけど、まあ見てみよう。 うん、続けて馬体重下げてきているし、勝ち上がりだし、ここ最近よく見えているのは、馬場指数が-20とかだからだし、 ここで、場体重が上がったらキリでいいと思う。中一周だしね。どうなんだろう。いやーざこだとおもうんですけどー。 くらーべどらど： 勝ち上がった時の相手が雑魚杉。内。先行。あしない。キリ。問題ない。 ライラボンド： 調教がめっちゃいいのよね。どうしよう。切りたいけど切れない。 馬体重も適性がわからん。意外と上がってきているときの調子がいいのか？こいつは、かなり仕上がってきているっぽいです。 ワールドタキオン: は、強いのかはっきり言ってわからん。雑魚集もする。前回に2章クラスを勝ち上がってきているんだけど、この時の相手が猛ジャックなんだよね。まあ、ジャックはザコだからさ。そいつに勝って3勝にきて、いきなり3勝で勝ち上がれるかって言ったら、かなり怪しいと思うぞ。 買い目 (5頭に絞りたい) ふるぼーと ヴァンフリート エーティーまくふぃ0 ライラボンド ワールドタキオン ...

第一回 IT is for storing, retreaving and what you need to know when developing web software. hardware operating system software applications and development database networking internet & web technologies security data vs information data is just a objective, raw type of bit which is just objectively observed. Information is knowledge gaind by analizing data. ビジネスで使われるITの一連のサイクルをこの授業でやろうって話だな。 データ収集　→　モデル構築　→　モデルのデプロイ　っていう、まあよくやるやつや。 まあ、これを達成するために、上の3,4,6をやります。データベース、ソフトウェア開発、インターネット。 成績評価 10% attendance 45% homework,assignments 45% final exam. ...

非可逆圧縮アルゴリズム Mgard Mgardとは MGARD (MultiGrid Adaptive Reduction of Data) is a technique for multilevel lossy compression and refactoring of scientific data based on the theory of multigrid methods 何だけどね、ここのrefactoringってところが重要なんだよね。 multilevel refactoringってところがね。そもそもin the context of HPC data manipulation , refactoringとは何ぞやって話なんだけど、 Refactoring: Refactoring refers to the process of restructuring or reorganizing the data to improve its efficiency or facilitate specific operations. In the context of scientific data, refactoring often involves rearranging the data in a way that aligns with the multilevel structure or grid hierarchy used in the compression algorithm. This can enhance the compression efficiency and enable faster access to different levels of resolution. とね。すごくないか？？？enable faster access to different levels of resolutionだってよ？？？すごくないか？？？ ...

前日になって論文紹介の準備を始めるやつー、はい俺です。 abstraction self-describingなファイルフォーマットのメタデータをうまく抽出して、クエリスピードを爆上げしようって話。 self-describingであるファイルフォーマット、例えば、HDF5ファイルフォーマットとか、adios2のBP5フォーマットとかは、データとそのデータに関するメタデータを含むファイルフォーマットになっている。これだと、そのファイルを読み込んでから出ないとクエリが発行できないため、利便性にかける。 ファイルシステムをjuleaっていうのに置き換えることで、we can use dedicated backends for key-value and object stores, as well as databases. これの意味が分からないのんだけど。どういうことなんだろう。 というか、SDDFsからメタデータを抽出して何かいいことあるのだろうか？ファイル操作がもっと簡単になるのだろうか？？そういうことなのだろうか？？ introduction まあデータがますます増えていると。コンピュータの計算速度よりもI/Oがボトルネックになっている。というのは有名な話。まあ、POSIXのI/Oを使ってたらそれは遅くなるよね、、、という話もあり。 で、データを効率よく管理するためにHDF5やAdios2といったライブラリや、特殊なフォーマットを持つファイルが登場してきた。これらのファイルは、データとそのデータに関するメタデータを含む、self-describing data formatsというもの。だから、ファイルを交換するだけですぐに使うことが可能。つまり、ポータビリティにめちゃめちゃ優れる。が、メタデータとデータが一つになっているためにデータにアクセスするにはファイルを全部読み込まないといけない、という問題が生じる。そこで、メタデータとデータを分けて保存することで、データ中の任意の部分へのアクセスが高速化される、ということだね。俺もそうだと思う。 この論文の貢献 (Contirbution) prior workでは、HDF5のメタデータとデータそのものを分けて保存することがどれくらい有益だったのかを示したわけですね。 本論文では、Adios2においてもこのようなデータの分離が有効であることを示す。ということですね。 summary of contribution BP3/BP4を分ける方法 ADIOS2を改造する感じで実現した。 ただのBP3/BP4の読み書きをparallel and distributedな環境で実施した時の評価を持ってきた。 って話だね。 backgroundかな ADIOS2が何なのか。 BP3/BP4でデータを保存するのね。 で、actual writing and reading behavior of adios2 is determinded by the used engine.ってことで、ファイルへの読み書きをする実体？？は、ADIOS側で決められるよーって話だったよね。 これいまだに信じられないんだけど、本当なのか？これはADIOSを実際に使ってみるのがいいと思う。XMLファイルで設定ができるって話だったからね。 ...

まあ、またwin5を解体って話よ。今回は1万円に抑えたい。で、最後の一頭はソールオリエンス、お前に決めた。頼んだぞ。まじで。 東京9R マリオは来ない。２章で勝ち上がったときのやつも雑魚だし。 エコロファルコン。こいつはちょっと怖いけど、先行だし。まあ叩きだと信じたい。あー、調教の南wで93.8秒か。流石におそすぎるね。やる気なさすぎ。ということできりだね。 結果：絵ころファルコンはブービーと。 そこからもきりのやつが続く。 で、カラフルキューブはちょっと気になるね。気にはなる。 グランツアーテム。こいつも気にはなる。馬体重次第ではあるのだが、そうだね、 ベジャールがないのは、初ダートだからだね。３章クラスでいきなりダート来て勝てるほど甘くはないだろ。 プラチナトレジャーも同じ。急に勝てるわけがなかろう。 結果：プラチナとれじゃーは11着 ミッキーが来ないで3万人域のメン・アット・ワークが来るわけがない。なぜなら、タイム勝ちがすぎる。どう考えてもミッキーのほうが強い。まじでそう思う。ここはミッキー一頭で切りに受けたい。 ミッキー貫花いったく。 結果：ミッキーは4着と。だめだね。終了。 15番ミッキー (1頭) 結果：ベジャールが来て終了。ミスりました。だめだね、初ダートだからって来ないって決めつけちゃ。くるやつは来る。 にちゃく、首差でグランつあーてむ。マー惜しかったね。 京都9R ここが一番わからないまじで。6頭くらい行っていいかもマジでわからんから。 2章クラスだからね。まだわからんのよね。上がっていくやつは一発で上がっていくし。だめなやつはずっとここにいる。 1−3は問答無用で消しなんだよね ヴォル語はじつは強い。最近調子出ていないけど本当は強い。 例クリエータは消し。1章で買ったときの相手が雑魚すぎる。たまたま上がれてきた説が濃厚である。 ここは5頭出いける気がしてきた。 インテンスフレイムは切りだ。そもそも1色ラスで勝ち上がれなかったやつが2章に来て急に勝てるとは考えづらい。 変わりに早稲田くんを入れる 4,5,7,11,15 早稲田はーつくんんが来やがった。まあ入れておいてよかった。 東京10R ローシャムパークは抜いていく。なんだかだめらしい。 デコラシオンが来ない理由は、中山専用機だから。東京みたいに長くいい足を使うところでは来ない通れは思っている。 デービットバローズ カーペン足りた 新保 カーペンタリア トー染料 ルージュリナージュ ローシャムも入れておくか 6,7,14,16,17,5 森野環奈ちゃんも保険買っておいてくれ。 5頭 結果：入れておいて政界や。ローシャムがちゃんと来た。で、デービットバローズはなんか知らんがぼろ負けや（笑） 京都10R ルプ流フォール 継子茶 びーあすとにっしど この三頭だな。 里のラムセスは普通にタイムがそんなに良くないです。 17番のルージュは切った。その代わりに 保険馬券を買っておくこと。 あと、レッドベルオーブ お願いします。馬連とかでいいと思います。 保険、 レッドベルオーブ ルージュ 結果：これは継子茶が圧勝でした。 東京11R ソールオリエンス一択 で、ここまで残っていた場合だが、ファントムシーフを軸に３連ぷくを買おう。3万円分ほどね。それがいいのではないか？？それがいいね。 二列目、 ソールオリエンス、 足すティえーら トップナイフ シャザーン (4とう) ３列め 、鳳凰ビスケッツ、ハーツコンチェルト、 メタルスピード ドゥラエレーで 里のグランツ ...

注意： この記事はハッカーが主人公の物語から抜粋した一部である。 これだからWebは最高だ はい、なんていうんでしょうかね、Webアプリケーションのペネトレーションテストができるめっちゃ便利なツールを見つけてしまったんです。まあ、これを見つけたきっかけは、あるサイトのAPIフォーマットを特定したかったっていうことなんですけど、いかんせん最近のサイトはSSLで暗号化されているからWireshark等のNICでパケットをキャプチャするツールじゃあ中身は解析できないんですよね。そこで見つけたのが、ZAP、通称man-in-the-middle-proxyってい神ツールです。クライアントとサーバの間に立って動作するこのツールは、まあプロキシとして働いてくれて、SSLの内容を見放題。その他にも便利な機能がたくさんついている。まじで神！！ zapのインストール zapはjava上で動く。Ghidraといい、すごいツールはなんかJavaで書かれているんだけど、その理由は何だろう。まあいいや。まずはJavaをインストールする。11+がいい。 sudo apt install default-jre sudo apt install default-jdk その次、 ZAPの公式からinstallerを持ってきてあとは、シェルスクリプトを走らせるだけ。 ZAPの使い方 基本的にはWebブラウザでアクセス可能なページの診断だったり脆弱性のチェックに使う。で、完全に自動化された脆弱性診断のAutomated scanっていうのと、ブラウザを普通にいじっているみたいに自分で脆弱性を見つけるManual scanっていうのがある。 気をつけてほしいのが、scanをするともう攻撃とみなされても仕方がない、ということ。 しかし、モードを選べて、safe modeっていうのを選択すると、攻撃とみなされないかも。わからん。 Automated Scan これは、ターゲットとなるサイトのディレクトリ構造をクローリングして各ページに対して、脆弱性チェックのリポートを出してくれるツールになっている。うん、結構便利だと思う。 manual scan これがこのツールの真骨頂だと思う。HUDっていう、新しい機能なんだけど。HUDの説明簡単に下に書いておくか。 The HUD is a completely new way to interact with ZAP. It overlays security information on top of the application you are testing and allows you to access key ZAP features. It is easier for people new to security to understand but it also allows experienced penetration testers to focus on the application they are testing. By default, the HUD is injected into all of the HTML pages proxied through the ZAP desktop. You can turn it on and off easily using the [green radar] button on the ZAP toolbar. It is not injected by default into pages proxied through ZAP when it is running in headless/daemon mode as that could break unit tests. This behaviour can be changed via the HUD options. まずは、各ページ、さらに今まで訪れたページ (そのサイトの)に対して、脆弱性のレポートを出してくれるってところは前と同じ。だが、ここからがすごい。まじで。httpとwebsocketのリクエストの内容が全部見られるってところ。これはやばくないか？？？やばいね。 さらに、変更が許されていないフォームを変更したり、リクエストを送るときにリクエストの内容を書き換えたり、リクエストをpendingしたりできる。これはやばい。見放題だね。ちょっと怖いね。今日の夜が楽しみすぎるって話なんだわ。ちょっとできることまとめるわ。 ...

開発をするときの流れ 何を作るかを考える 紙とペンでシステムの構成を考える。このときにコンポーネントを洗い出す。更に、コンポーネント同士のやり取りについても考える。APIを作ることを考えて、入出力関係も簡単に考えておくのがいいでしょう。 データベース設計をする。このときにどんなデータが必要かをすべて洗い出しておく必要がある。テーブルの設計もここでやります。.sqlファイルにどんどん書いていくのがいいでしょう。 OpenAPI Specification formatでAPIの仕様書をかく。 コンポーネントに分ける。コンポーネントのAPIを設計する 実装 テスト