Correctly call completion-in-region in shell.el

* lisp/shell.el (shell-dynamic-complete-command)
(shell-dynamic-complete-environment-variable): Correctly call
completion-in-region (bug#50125).

Copyright-paperwork-exempt: yes

; Fix escaping in recent ibuf-ext.el doc change.

Fix space at the start of appt mode line element

* lisp/calendar/appt.el (appt-check): Add space at the end
(bug#18164) -- all `global-mode-string' elements should have it
there to get an even space distribution.

Add ibuffer-saved-filter-groups example to the doc string

* lisp/ibuf-ext.el (ibuffer-saved-filter-groups): Add an example
for this complicated syntax (bug#18694).

Fix dired switch (that contain quotes and spaces) parsing

* lisp/files.el (insert-directory): Tokenize shell strings
correctly (bug#18875).

Fix st.el doc string

* lisp/term/st.el (xterm-st-extra-capabilities): New user option
(bug#50119).
(terminal-init-st): Use it to avoid a two-second timeout.

Add support for history of image tags and completion in the minibuffer

* lisp/image-dired.el (image-dired-tag-history): New variable holding the
tag history.
(image-dired-tag-files, image-dired-tag-thumbnail, image-dired-delete-tag)
(image-dired-tag-thumbnail-remove): Use it for the user input.

Avoid problems when one tag/file is a substring of another

* lisp/image-dired.el (image-dired-remove-tag): End of filename is bound
by ";" and end of tag is bound by ";" or end of line.

New placement of newline characters in image-dired-db-file

It's more usual to have the newline at the end of the line, instead of the
beginning. This change avoids missing newline at the end of the file, an
empty line at the start and eventually a lot of empty lines when
`require-final-newline' is not nil.

* lisp/image-dired.el (image-dired-write-tags): Insert newline at the end
of the line, instead of the beginning.
(image-dired-remove-tag): Do not delete empty line at end of buffer.

Fix deletion of associated image

* lisp/image-dired.el (image-dired-delete-marked): Treat original images
first, because point position is used when there are no marked files.

Fix inaccuracies in documentation of 'message-truncate-lines'

* doc/lispref/display.texi (Echo Area Customization):
* src/xdisp.c (syms_of_xdisp): Adjust the documentation of
message-truncate-lines to changes that fixed bug#46718.

Minor doc fixes in icomplete.el

* lisp/icomplete.el (icomplete-section): Add :version.
(icomplete--augment): Doc fix.

; * src/xdisp.c (hscroll_window_tree): Fix a typo in a comment.

Fix errors with hscrolling mini-windows under truncate-lines

* src/xdisp.c (hscroll_window_tree): Disallow hscroll in
mini-windows that display echo-area messages.  (Bug#50096)

stterm doesn't understand all codes that xterm does

* lisp/term/st.el (xterm-st-extra-capabilities): New user option
(bug#50119).
(terminal-init-st): Use it to avoid a two-second timeout.

; Correct :version tag of icomplete-selected-match face

* lisp/icomplete.el (icomplete-selected-match): Fix :version

Section by 'group-function' in Icomplete and Fido's vertical modes

Fixes: bug#48545
* lisp/icomplete.el (icomplete--augment): Rewrite from icomplete--affixate.
(icomplete--render-vertical): Rework.
(icomplete--vertical-minibuffer-setup): Separator is hardcoded "\n", no
need to set.

Improve fix of bug#49888 on no-pattern flex sorting

This version is functionally equivalent, but doesn't duplicate any
code.  When nothing "flexy" is happening, it works by simply not doing
any metadata adjustments, instead of attempting to synthesize a
function to mimic the non-flex case.

* lisp/minibuffer.el (completion--flex-adjust-metadata): Simplify.

Fix vc-root-diff broken with Git as well

* lisp/vc/vc.el (vc-root-diff): Fix similar to 35023214031e1 by
avoiding the abbreviated directory name in argument (bug#39452).

Improve documentation of 'assoc'

* doc/lispref/lists.texi (Association Lists):
* src/fns.c (Fassoc): Document how TESTFN is called.  (Bug#50110)

; Fix paren typo

* lisp/progmodes/xref.el (xref--collect-matches): Widen temporarily.

* lisp/mouse.el: More fixes for context-menu.

(context-menu-map): Remove menu title "Context Menu" (bug#50067).
(context-menu-minor): Reverse sub-menus to display exactly in the same order
as on the menu bar.

Improve documentation of last change.

* etc/NEWS: Mention the string value of 'auto-composition-mode'.

* src/composite.c (syms_of_composite) <auto-composition-mode>: Doc
fix.

Disable auto compositions on the Linux console only

* lisp/term/linux.el (terminal-init-linux): Disable auto
compositions on "linux" consoles (bug#21363).

* src/composite.c (inhibit_auto_composition): New function to
implement this.
(composition_compute_stop_pos, composition_adjust_point)
(Ffind_composition_internal): Use it.
(syms_of_composite): Document it.

* src/lisp.h: Export tty_type_name.

* src/term.c (tty_type_name): Factored out.
(Ftty_type): Use it.

Add undo-in-region test case for bug#21523

Yet another place inside redisplay_window to prevent quitting

* src/xdisp.c (handle_single_display_spec): Inhibit quitting
around the call to lookup_image.  (Bug#44448)

Fix abort when turning on Hebrew or Arabic input methods

* src/xdisp.c (face_before_or_after_it_pos): Add the missing
initialization of the bidi scan direction.  (Bug#50107)

Add menu bindings to new functions in image-dired.el

* lisp/image-dired.el (image-dired--with-marked): New macro for
cycling over marked thumbnails.
(image-dired-tag-thumbnail, image-dired-tag-thumbnail-remove): Can
handle now also all marked thumbnails.
(image-dired-tag-marked-thumbnails): Remove it, because it's
obsoleted by `image-dired-tag-thumbnail' now.
(image-dired-delete-marked): Use new macro
`image-dired--with-marked', and add command to menu (bug#50000).

; * etc/NEWS (Icomplete): Fix typo and remove redundant word

Fix ediff3 layouts with window-combination-resize non-nil (Bug#49277)

* lisp/vc/ediff-wind.el (ediff-setup-windows-plain-compare)
(ediff-setup-windows-multiframe-compare): Fix three windows
layouts produced by ediff3 when 'window-combination-resize'
was customized to t and 'even-window-sizes' to nil.

Fix behavior when switch-to-prev-buffer-skip is a function (Bug#49275)

* lisp/window.el (switch-to-prev-buffer)
(switch-to-next-buffer): More correctly handle cases where
'switch-to-prev-buffer-skip' is a function.

; Fix quoting of braces in electric-tests.el.

* Fix `native-compile-target-directory' effectiveness for async compilation.

* lisp/emacs-lisp/comp.el (comp-run-async-workers): Forward to async
workers `native-compile-target-directory'.

* lisp/mouse.el (context-menu-filter-function): Fix type.

Another fix for quitting while displaying non-selected windows

* src/xdisp.c (handle_face_prop, extend_face_to_end_of_line):
Inhibit quitting around the call to face_at_pos, to prevent
leaking wrong value of point when the user quits while we
redisplay a non-selected window.  (Bug#44448)

* test/lisp/electric-tests.el: Skip most c-mode tests on hydra.

; * etc/NEWS: Fix wording of a recently added entry.

; Fix a comment in a recent commit.

* lisp/help-mode.el (help-mode-syntax-table): Fix punctuation in a
comment.

Fix TTY display performance degradation due to many markers

* src/coding.c (encode_coding_object): Don't assume that
src_object == dst_object means src_object is the current buffer.
Add the missing commentary that explains the arguments.
(Bug#49127)

Improve `forward-sexp' in *Help* buffers

* lisp/help-mode.el (help-mode-syntax-table): New variable (bug#39134).
(help-make-xrefs): Use it to make picking out symbols in curved
quotes work reliably.
(help-xref-on-pp): Ditto.

Bind <up> and <down> in icomplete-vertical-mode

Suggested by Ergus <spacibba@aol.com>

* lisp/icomplete.el (icomplete-vertical-mode-minibuffer-map): Bind
<up> and <down>

Jump to first,last completion with M-<, M-> in icomplete-vertical-mode

Fixes: bug#49005
Co-authored-by: Simon Lang <simon.lang@outlook.com>
* lisp/icomplete.el (icomplete-backward-completions): Return
non-nil iff something was stepped.  Ajust docstring.
(icomplete-forward-completions): Adjust docstring.
(icomplete-vertical-goto-first, icomplete-vertical-goto-last): New commands.
(icomplete-vertical-mode-minibuffer-map): Bind new commands to M-< and M->.

Merge branch 'feature/context-menu'

ruby-mode imenu: Support methods with modifiers

* lisp/progmodes/ruby-mode.el (ruby-imenu-create-index-in-block):
Support methods with modifiers (visibility or otherwise)
(bug#50079).

vc-git-region-history: Fix to call 'diff' more correctly

* lisp/vc/vc-git.el (vc-git-region-history):
Fix to pass a list to the backend 'diff' command (bug#39452).

Make icomplete-vertical-mode take immediate effect (bug#49075)

* etc/NEWS: Mention change.

* lisp/icomplete.el (icomplete-vertical-mode):
(fido-vertical-mode): Tweak docstring.  Turn on
icomplete-mode. and fido-mdoe

; Fix menu entry alignment of last change

* doc/lispref/elisp.texi (Top): Fix alignment.

* test/Makefile.in: Verbose logging for electric-tests on hydra.

Plug another hole for longjmp-ing from 'redisplay_window'

* src/fringe.c (update_window_fringes): Inhibit quitting, so as
not to longjmp out of redisplay_window.  (Bug#44448)

Add Command Modes to Elisp manual menu and add index entries

* doc/lispref/commands.texi (Command Modes): Add index entries.

* doc/lispref/elisp.texi (Top): Add entry for the Command Modes
node to the detailed node listing.

Fix recent documentation additions

* doc/lispref/searching.texi (Search and Replace): Document the
new functions by @defun.

Merge from origin/emacs-27

9664ee182c (origin/emacs-27) C++ Mode: Don't confuse the pointer oper...
b3aec9ee48 CC Mode: Fix unstable fontification of doc strings.

# Conflicts:
# lisp/progmodes/cc-fonts.el

Make overlays-in treat zero-length overlays at point-max consistently

* doc/lispref/display.texi (Finding Overlays): Adjust documentation.

* src/buffer.c (overlays_in): Treat the end of the buffer and the
end of the narrowed-to buffer the same (bug#19422).
(Foverlays_in): Adjust doc string.

Fix cursor movement on the Linux console with certain characters

* lisp/term/linux.el (terminal-init-linux): Switch off
auto-compositions, because they confuse cursor movement on the
Linux console (bug#21363).

Minor clarification for define-minor-mode :variable

* lisp/emacs-lisp/easy-mmode.el (define-minor-mode):
* doc/lispref/modes.texi (Defining Minor Modes): Clarify what the
setter function should do (bug#14875).

Remove prettification for \par in tex-mode

* lisp/textmodes/tex-mode.el (tex--prettify-symbols-alist): Remove
prettified version of `\par'.  Many fonts don't display anything for
the character it was mapped to (#x2029 PARAGRAPH SEPARATOR), so
enabling prettification makes every `\par' disappear (bug#50073).

; * test/lisp/vc/diff-mode-tests.el: Remove useless \

Add new functions to replace strings/regexp in a region

* doc/lispref/searching.texi (Search and Replace): Document them.
* lisp/subr.el (replace-string-in-region)
(replace-regexp-in-region): New functions.

* lisp/emacs-lisp/shortdoc.el (regexp, buffer): Mention them.

Don't remove `fontified' in nxml--buffer-substring-filter

* lisp/nxml/nxml-mode.el (nxml--buffer-substring-filter): Removing
`fontified' is probably unnecessary (bug#50061).

Fix regressions in the last change

* lisp/vc/vc-git.el (vc-git-register):
Use file names verbatim with 'git update-index', as it only accepts
file names, not pathspecs (bug#39452).

* lisp/vc/vc.el (vc-print-root-log):
Expand ROOTDIR, so that vc-git-print-log doesn't receive an
abbreviated name.  Literal pathspecs don't work with those.

C++ Mode: Don't confuse the pointer operator -> with the type indicating ->

This fixes bug #47468.

* lisp/progmodes/cc-engine.el (c-looking-at-inexpr-block): While searching
backwards for "->" which is a type indicating operator, disallow also commas.

CC Mode: Fix unstable fontification of doc strings.

Also optimize a loop over several line doc-comments.

* lisp/progmodes/cc-fonts.el (c-font-lock-doc-comments): New variable
comment-mid, used as the starting point for applying c-doc-face-name in a
line comments.  In block comments, apply this face not from `comment-beg' but
from `region-beg', no earlier than the start of the fontification region.

Use map-keymap in context-menu-global, context-menu-local, context-menu-minor

* lisp/simple.el (shift-select-mode): Add new choice 'permanent' (bug#50038).

(handle-shift-selection): Handle new choice 'permanent'.

* lisp/tab-bar.el (tab-bar-new-button-show): Make variable obsolete.

* lisp/nxml/nxml-mode.el (nxml-mode): Use add-function

This avoids calling the internal function `buffer-substring--filter`
from `nxml.el`.

(nxml--buffer-substring-filter): Adjust accordingly.

Filter out rng-state elements in nxml-mode buffers from the kill ring

* lisp/nxml/nxml-mode.el (nxml--buffer-substring-filter): Filter
out `rng-state' objects (bug#50061).
(nxml-mode): Set `filter-buffer-substring-function'.

Sort by recency in flex completion style when no flexy stuff happening

Fixes: bug#49888
* minibuffer.el (completion--flex-adjust-metadata): Fall back to usual
alphanumeric, length, recency strategy if no minibuffer input.  There
is still a bug indicated by the nearby FIXMEs, though.

Allow evaluating Python code across machines

* python.el (python-shell-send-string): Ensure that the temporary file
is created in the host running the Python process (bug#50057).

Run execute-extended-command key binding suggestion from a timer

* lisp/simple.el (execute-extended-command): Run the key binding
suggestion from a timer instead of in the program flow -- this
allows `post-command-hook' to be executed immediately (bug#50042).

Make Emacs compile with musl instead of glibc

* src/alloc.c: musl doesn't have malloc_info (bug#50058).

; * src/xdisp.c (display_mode_lines): Fix comment.

Fix unwarranted point movement after C-g

When the same buffer is displayed in more than one window,
redisplay temporarily moves point to the window-point when it
works on non-selected windows.  If we allow C-g to quit out of
redisplay_window in this situation, point will appear to have
moved to the window-point of that non-selected window, which is
unwarranted.  These changes prevent quitting in strategic places,
so that we never quit out of redisplay_window.
* src/xdisp.c (run_window_scroll_functions):
Prevent quitting while running window-scroll-functions, so that we
don't quit out of redisplay_window with temporarily moved point.
(redisplay_window): While redisplaying the mode line, prevent
quitting, to avoid exiting while point is temporarily moved.
(decode_mode_spec): Use safe_call1 instead of call1, to trap any
errors instead of letting them throw out of redisplay.  (Bug#44448)

Mark up commands in shortdoc.el for modes

* lisp/emacs-lisp/shortdoc.el: Add command mode tagging
(bug#50064).

Fix bug#50063 when using icomplete-fido-kill with C-x p p

C-x p p utilizes a completion table "category" which is 'project-file'
icomplete-fido-kill only functioned for 'buffer' and 'file', and
failed with a non-informative message when something else was used.

* lisp/icomplete.el (icomplete-fido-kill): Support 'project-file'
class.  Use cl-case, instead of pcase.

Fix vc-git-state for filenames with wildcards

* lisp/vc/vc-git.el: (vc-git--literal-pathspec-inner),
(vc-git--literal-pathspec), (vc-git--literal-pathspecs) new functions
to add ":(literal)" pathspec magic (bug#39452).

(vc-git-registered), (vc-git-state), (vc-git-dir-status-goto-stage),
(vc-git-register), (vc-git-unregister), (vc-git-checkin),
(vc-git-find-revision), (vc-git-checkout), (vc-git-revert),
(vc-git-conflicted-files), (vc-git-print-log), (vc-git-diff),
(vc-git-previous-revision), (vc-git-next-revision),
(vc-git-delete-file), (vc-git-rename-file) functions
vc-git--literal-pathspec, vc-git--literal-pathspecs applied.

Revert "Bind the GIT_LITERAL_PATHSPECS environment variable"

This reverts commit a2d0ff26005c5c10ffe0d84bd8b458a06828be82.

It was found to break a certain use case, and we decided to go with
the other solution (bug#39452).

Mark auto-revert-test02-auto-revert-deleted-file as unstable

* test/lisp/autorevert-tests.el
(auto-revert-test02-auto-revert-deleted-file): This tests fails
about 30% of the time for me.

* src/w32.c (_sys_read_ahead): Pacify a silly compiler warning.

* lisp/emacs-lisp/easymenu.el (easy-menu-do-define): Fix bug#50051

This corrects the quite confused conversion to closure done in
commit a070bd1c8b5213ad469d41dd80d392f924644aed.

* lisp/progmodes/cc-engine.el (c-ml-string-in-end-delim): Rewrite function

Fix 'random' on MS-Windows when integers are wider than 30 bits

* src/w32.c (random): Provide more random bits for MS-Windows
builds with EMACS_INT that is wider than 32 bits.  (Bug#32605)

Add a test for netrc folding parsing (bug#25769)

Filter out -L foo labels in diff-hunk-file-names

* lisp/vc/diff-mode.el (diff-hunk-file-names): Filter out "-L foo"
labels (bug#10160).

Revert "Add macro `seq-setq`."

This reverts commit a8a3fd8f8e27089ac46bf98e534529ff03f679a5.

The same patch was applied twice.  Remove the second instance.

Make lm-crack-address less strict

* lisp/emacs-lisp/lisp-mnt.el (lm-crack-address): Use
mail-header-parse-address-lax (bug#50049).

Add new functions for lax mail address splitting

* lisp/emacs-lisp/subr-x.el (string-clean-whitespace): Autoload.
* lisp/mail/mail-parse.el (mail-header-parse-addresses-lax)
(mail-header-parse-address-lax): New functions.

Add macro `seq-setq`.

* doc/lispref/sequences.texi (seq-setq): Document this macro.

* test/lisp/emacs-lisp/seq-tests.el (test-seq-setq):
Test this macro (bug#50053).

Add macro `seq-setq`.

* doc/lispref/sequences.texi (seq-setq): Document this macro.

* lisp/emacs-lisp/seq.el (seq-setq): New macro.

* test/lisp/emacs-lisp/seq-tests.el (test-seq-setq):
Test this macro (bug#50053).

Fix memory-report counting of vector/hash table sizes

* lisp/emacs-lisp/memory-report.el (memory-report--object-size-1):
Count element values in vectors and hash tables.

Copyright-paperwork-exempt: yes

Fix merging of ambiguous nil maps

* lisp/emacs-lisp/map.el: Bump version to 3.1.
(map--merge): New merging subroutine that uses a hash table in place
of lists, for both efficiency and avoiding ambiguities (bug#49848).
(map-merge): Rewrite in terms of map--merge.
(map-merge-with): Ditto.  This ensures that FUNCTION is called
whenever two keys are merged, even if they are not eql (which could
happen until now).  It also makes map-merge-with consistent with
map-merge, thus achieving greater overall predictability.
* etc/NEWS: Announce this weakening of guarantees.
* test/lisp/emacs-lisp/map-tests.el (test-map-merge)
(test-map-merge-with): Don't depend on specific orderings.  Test
that nil is correctly merged into a plist.

Add font-lock-doc-markup-face (bug#50041)

This face is intended for mark-up syntax and constructs inside text
using font-lock-doc-face; ie, documentation comments and strings in
programming modes.

* lisp/font-lock.el (font-lock-doc-markup-face): New face.
* lisp/cus-theme.el (custom-theme--listed-faces): Add it to the list.
* doc/lispref/modes.texi (Faces for Font Lock): Document it.
* etc/NEWS: Mention it.

; * etc/NEWS: Improve wording of a recent addition.

CC Mode: Fix a bug in yesterday's patch

* lisp/progmodes/cc-mode.el (c-before-change-check-unbalanced-strings): Check
the language has multi-line strings before calling
c-ml-string-opener-at-or-around-point.

Make `debug' reset `inhibit-read-only' while running

* lisp/emacs-lisp/debug.el (debug): Bind `inhibit-read-only' to
nil in case we're in a context that has bound it to t (bug#26947).

Adjust previous diff-changed-unspecified change

* lisp/vc/diff-mode.el (diff-changed-unspecified): Adjust the
definition to Emacs 28 (bug#26969).

Add new face diff-changed-unspecified

* lisp/vc/diff-mode.el (diff-changed-unspecified): New face.
(diff-font-lock-keywords): Use it (bug#26969).

permanently-enabled-local-variables doc string clarification

* lisp/files.el (permanently-enabled-local-variables): Clarify
what kind of local variables this refers to.

Make info-look search harder for the Python info file

* lisp/info-look.el (python-mode): Try harder to find the correct
info file (bug#31405).