-
Notifications
You must be signed in to change notification settings - Fork 0
/
Review
227 lines (134 loc) · 11.4 KB
/
Review
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8">
<title>Review | ian's page</title>
<meta name="viewport" content="width=device-width, initial-scale=1, shrink-to-fit=no">
<meta name="description" content="对一些关键词的了解程度机器学习numpy pandas :用来做数据清洗和画图展示sklearn :用于数据清洗后的预处理以及机器学习函数库opencv:描述点和线的位置进行画图keras :简化版的tensorflow，跑过minst等入门数据集torch : 写过反向传播和梯度计算tf : 调用LeNet进行灰度图像分类 Hadoop在查阅的大数据的资料中hadoop是排名第一的高频词，学习后">
<meta property="og:type" content="article">
<meta property="og:title" content="Review">
<meta property="og:url" content="https://ianzzzzzz.github.io/Review">
<meta property="og:site_name" content="ian's page">
<meta property="og:description" content="对一些关键词的了解程度机器学习numpy pandas :用来做数据清洗和画图展示sklearn :用于数据清洗后的预处理以及机器学习函数库opencv:描述点和线的位置进行画图keras :简化版的tensorflow，跑过minst等入门数据集torch : 写过反向传播和梯度计算tf : 调用LeNet进行灰度图像分类 Hadoop在查阅的大数据的资料中hadoop是排名第一的高频词，学习后">
<meta property="og:locale" content="zh_CN">
<meta property="article:published_time" content="2022-05-11T08:10:28.000Z">
<meta property="article:modified_time" content="2022-05-16T02:21:57.371Z">
<meta property="article:author" content="ZhengYiheng or ianZheng">
<meta name="twitter:card" content="summary">
<link rel="alternate" href="/atom.xml" title="ian's page" type="application/atom+xml">
<link rel="shortcut icon" href="/favicon.png">
<link rel="stylesheet" href="https://cdn.jsdelivr.net/npm/[email protected]/index.min.css">
<link rel="stylesheet" href="/css/style.css">
<link rel="stylesheet" href="/fancybox/jquery.fancybox.min.css">
<meta name="generator" content="Hexo 6.2.0"></head>
<body>
<div id="container">
<div id="wrap">
<header id="header">
<div id="banner"></div>
<div id="header-outer" class="outer">
<div id="header-title" class="inner">
<h1 id="logo-wrap">
<a href="/" id="logo">ian's page</a>
</h1>
<h2 id="subtitle-wrap">
<a href="/" id="subtitle">some straight words</a>
</h2>
</div>
<div id="header-inner" class="inner">
<nav id="main-nav">
<a id="main-nav-toggle" class="nav-icon"></a>
<a class="main-nav-link" href="/">Home</a>
<a class="main-nav-link" href="/archives">Archives</a>
</nav>
<nav id="sub-nav">
<a id="nav-rss-link" class="nav-icon" href="/atom.xml" title="RSS 订阅"></a>
<a id="nav-search-btn" class="nav-icon" title="搜索"></a>
</nav>
<div id="search-form-wrap">
<form action="//google.com/search" method="get" accept-charset="UTF-8" class="search-form"><input type="search" name="q" class="search-form-input" placeholder="搜索"><button type="submit" class="search-form-submit"></button><input type="hidden" name="sitesearch" value="https://ianZzzzzz.github.io"></form>
</div>
</div>
</div>
</header>
<div class="outer">
<section id="main"><article id="post-Review" class="h-entry article article-type-post" itemprop="blogPost" itemscope itemtype="https://schema.org/BlogPosting">
<div class="article-meta">
<a href="/Review" class="article-date">
<time class="dt-published" datetime="2022-05-11T08:10:28.000Z" itemprop="datePublished">2022-05-11</time>
</a>
</div>
<div class="article-inner">
<header class="article-header">
<h1 class="p-name article-title" itemprop="headline name">
Review
</h1>
</header>
<div class="e-content article-entry" itemprop="articleBody">
<h1 id="对一些关键词的了解程度"><a href="#对一些关键词的了解程度" class="headerlink" title="对一些关键词的了解程度"></a>对一些关键词的了解程度</h1><h4 id="机器学习"><a href="#机器学习" class="headerlink" title="机器学习"></a>机器学习</h4><p>numpy pandas :用来做数据清洗和画图展示<br>sklearn :用于数据清洗后的预处理以及机器学习函数库<br>opencv:描述点和线的位置进行画图<br>keras :简化版的tensorflow，跑过minst等入门数据集<br>torch : 写过反向传播和梯度计算<br>tf : 调用LeNet进行灰度图像分类</p>
<h4 id="Hadoop"><a href="#Hadoop" class="headerlink" title="Hadoop"></a>Hadoop</h4><p>在查阅的大数据的资料中hadoop是排名第一的高频词，学习后我把hadoop总结为，可以实现高可用的分布式计算和存储服务，其中由hdfs提供存储，由mapreduce进行计算，由yarn和zookeeper负责集群的监控与调度，也见过k8s上的实现。说来惭愧，在hadoop的学习中，在完成环境配置后只跟着课程写了几个WordCount，主要收获是，了解了虚拟机的使用，以及对命令行操作的了解。</p>
<h4 id="消息队列"><a href="#消息队列" class="headerlink" title="消息队列"></a>消息队列</h4><p>我了解到消息队列可以在高峰时进行缓冲，还能做到消息的分发。对rabbit和kafka进行部署后发现我的数据量太小了（峰值3000条/s），还达不到消息队列的瓶颈，于是选择了安装更为简单的rabbitmq，采用手动ack的方式消费消息。对比rabbitmq，kafka安装比较繁琐，基于zk的集群管理还要先部署zookeeper，不过新版本可以将集群管理在kafka内完成。在学习hadoop的过程中，使用flume的tailDir Source监控hdfs中的文件，发送到netcat。</p>
<h4 id="计算框架"><a href="#计算框架" class="headerlink" title="计算框架"></a>计算框架</h4><p>用java写flink完成了日志数据的json解析->watermark->keyby->process流程，基本完成了论文中的特征提取功能，有想用CEP库对行为状态进行建模，以及CDC进行数据的抓取，但目前还没有足够的了解。<br>用scala写过spark的wordcount，我感觉像是内存版的mapreduce，第一次写了scala，发现lambda表达式的写法好多样：）</p>
<h4 id="Zookeeper-K8S-yarn"><a href="#Zookeeper-K8S-yarn" class="headerlink" title="Zookeeper K8S yarn"></a>Zookeeper K8S yarn</h4><p>zookeeper进行节点状态的监控和配置的管理<br>yarn进行任务管理和资源的分配<br>k8s似乎无所不能，在k8s上运行过flink官方配置的session集群。但我目前还不需要，k8s是为了支撑起更大的应用，而我目前的需求compose就可以满足。</p>
<h4 id="爬虫-xpath-正则表达式-Scrapy-Ajax"><a href="#爬虫-xpath-正则表达式-Scrapy-Ajax" class="headerlink" title="爬虫 xpath 正则表达式 Scrapy Ajax"></a>爬虫 xpath 正则表达式 Scrapy Ajax</h4><p>爬取了海关的静态网页，觉得很无聊，写正则表达式好费劲，爬取动态网页更是繁琐，用了beautifulsoup能简化点工作。</p>
<h4 id="Spring-Mybatis-Hibernate"><a href="#Spring-Mybatis-Hibernate" class="headerlink" title="Spring Mybatis Hibernate"></a>Spring Mybatis Hibernate</h4><p>spring在注解上写配置<br>mybatis 自己写sql映射，听说plus很好用，但没用过。<br>hibernate能根据数据库自己生成持久化代码，但是知识体系学习起来成本高，只跑了helloworld还报错了</p>
<h4 id="Swift-AndroidStudio-Flutter"><a href="#Swift-AndroidStudio-Flutter" class="headerlink" title="Swift AndroidStudio Flutter"></a>Swift AndroidStudio Flutter</h4><p>这部分学习挺有收获的，对移动端app要怎么设计有了初步的了解，对我来说十分的新鲜。<br>试试了mac独占的swift，option类型挺新鲜，不会有空指针的问题。在这个过程中重新对语言有了认识。</p>
<h4 id="HTML-CSS-Tomcat-Nginx-React-Vue"><a href="#HTML-CSS-Tomcat-Nginx-React-Vue" class="headerlink" title="HTML CSS Tomcat Nginx React Vue"></a>HTML CSS Tomcat Nginx React Vue</h4><p>我对前端知识的了解仅限于html的各类标签和css中如何设置样式，以及tomcat和nginx的区别。nginx专注于纯html这种静态资源并且能作为反向代理服务器使用，渲染行为在用户端进行而tomcat是对java的实现，专注于jsp这种动态页面，所以tomcat提供的html可能因用户而异，渲染的结果由服务端决定。当时想了解前端的原因的主要是被各种好看的UI效果吸引了，为什么他的页面能做的这样华丽，我也想做个华丽的博客，可是了解之后感觉并不是我想的那样容易，在这个过程中还尝试了宝塔和wordpress，也在React和Vue的官网游荡了几天，他们写的都是js，但是我在脑中没能把这个框架的调用方式和实际的需求联系起来，看过就忘。</p>
<h4 id="Wordpress-宝塔面板-Hexo"><a href="#Wordpress-宝塔面板-Hexo" class="headerlink" title="Wordpress 宝塔面板 Hexo"></a>Wordpress 宝塔面板 Hexo</h4><p>还是因为我想做个好看的动态博客，还想体验一下怎么管理一个网站，于是在docker中运行了wordpress和宝塔面板，发现可以配置的功能令人眼花缭乱，我的知识储备还不匹配，最后老实的用了hexo。</p>
<h4 id="待补充"><a href="#待补充" class="headerlink" title="待补充"></a>待补充</h4><p>事务 两阶段三阶段提交 规范化 范式<br>exactlyOne和幂等性<br>分布式算法 paxos raft zab bully 《设计数据密集型应用》读后感 《编码与类型系统》读后感</p>
</div>
<footer class="article-footer">
<a data-url="https://ianzzzzzz.github.io/Review" data-id="cl34mdmk50001dd9k7kp8eajo" data-title="Review" class="article-share-link">分享</a>
</footer>
</div>
<nav id="article-nav">
<a href="/Intro" id="article-nav-newer" class="article-nav-link-wrap">
<strong class="article-nav-caption">前一篇</strong>
<div class="article-nav-title">
Intro
</div>
</a>
</nav>
</article>
</section>
<aside id="sidebar">
<div class="widget-wrap">
<h3 class="widget-title">归档</h3>
<div class="widget">
<ul class="archive-list"><li class="archive-list-item"><a class="archive-list-link" href="/archives/2022/05/">五月 2022</a></li></ul>
</div>
</div>
<div class="widget-wrap">
<h3 class="widget-title">最新文章</h3>
<div class="widget">
<ul>
<li>
<a href="/Intro">Intro</a>
</li>
<li>
<a href="/Review">Review</a>
</li>
</ul>
</div>
</div>
</aside>
</div>
<footer id="footer">
<div class="outer">
<div id="footer-info" class="inner">
© 2022 ZhengYiheng or ianZheng<br>
Powered by <a href="https://hexo.io/" target="_blank">Hexo</a>
</div>
</div>
</footer>
</div>
<nav id="mobile-nav">
<a href="/" class="mobile-nav-link">Home</a>
<a href="/archives" class="mobile-nav-link">Archives</a>
</nav>
<script src="/js/jquery-3.4.1.min.js"></script>
<script src="/fancybox/jquery.fancybox.min.js"></script>
<script src="/js/script.js"></script>
</div>
</body>
</html>